robots.txt Nedir? Nasıl Olmalı? Örnekler

robots.txt dosyası genellikle aşağıdaki gibi kullanılır;

User-Agent: *
Allow : /

Wordpress için ise aşağıdaki gibi kullanılır;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Bu cevap yeterince yardımcı oldu mu?

Daha Fazlası

Http den Https SSL Yönlendirme

http linkleri https olarak yönlendirmek için aşağıdaki kodu .htaccess e ekleyerek...

Web Siteyi www Şeklinde Yönlendirme

Eğer web sitenizin www açılmasını istiyor iseniz aşağıdaki kuralı .htaccess dosyası içerisine...

invalid response from acme-v02.api.letsencrypt.org status 400 Hatası Nedenleri

Let's Ecnrypt SSL kurmayı denediğinizde invalid response from https...

503 service unavailable ne demek? Çözümü

Bazen sitelerinizde 503 service unavailable hatası görebilirsiniz. Bu hatanın bir çok nedeni...

.htaccess ile tüm ipleri engelleyip belirli iplere izin verme

.htaccess ile yalnızca sizin belirleyeceğini ip adreslerinin sitenize erişmesini sağlayıp, kalan...