robots.txt Nedir? Nasıl Olmalı? Örnekler

robots.txt dosyası genellikle aşağıdaki gibi kullanılır;

User-Agent: *
Allow : /

Wordpress için ise aşağıdaki gibi kullanılır;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Bu cevap yeterince yardımcı oldu mu?

Daha Fazlası

Http den Https SSL Yönlendirme

http linkleri https olarak yönlendirmek için aşağıdaki kodu .htaccess e ekleyerek...

.htaccess ile 301 Yönlendirme Nasıl Yapılır?

Linux sunucularda Apache kullanan web sunucularında 301 yönlendirme oldukça basittir..htaccess...

.htaccess İle Tarayıcı Önbellekleme

Tarayıcı önbellekleme için .htaccess dosyanızın en altına ekleyebilirsiniz;<IfModule...

.htaccess ile tüm ipleri engelleyip belirli iplere izin verme

.htaccess ile yalnızca sizin belirleyeceğini ip adreslerinin sitenize erişmesini sağlayıp, kalan...