robots.txt Nedir? Nasıl Olmalı? Örnekler

robots.txt dosyası genellikle aşağıdaki gibi kullanılır;

User-Agent: *
Allow : /

Wordpress için ise aşağıdaki gibi kullanılır;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Bu cevap yeterince yardımcı oldu mu?

 Bu dökümanı yazdır

Daha Fazlası

Web Siteyi www Şeklinde Yönlendirme

Eğer web sitenizin www açılmasını istiyor iseniz aşağıdaki kuralı .htaccess dosyası içerisine...

.htaccess ile 301 Yönlendirme Nasıl Yapılır?

Linux sunucularda Apache kullanan web sunucularında 301 yönlendirme oldukça basittir..htaccess...

Index of (Dizin Listeleme) Nasıl Kapatılır?

Apache kurulu sunucuda Index of yani dizin listelemeyi kapatmak için aşağıdaki seçeneklerden...

Http den Https SSL Yönlendirme

http linkleri https olarak yönlendirmek için aşağıdaki kodu .htaccess e ekleyerek...

.htaccess ile tüm ipleri engelleyip belirli iplere izin verme

.htaccess ile yalnızca sizin belirleyeceğini ip adreslerinin sitenize erişmesini sağlayıp, kalan...