robots.txt Nedir? Nasıl Olmalı? Örnekler

robots.txt dosyası genellikle aşağıdaki gibi kullanılır;

User-Agent: *
Allow : /

Wordpress için ise aşağıdaki gibi kullanılır;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Bu cevap yeterince yardımcı oldu mu?

Daha Fazlası

Index of (Dizin Listeleme) Nasıl Kapatılır?

Apache kurulu sunucuda Index of yani dizin listelemeyi kapatmak için aşağıdaki seçeneklerden...

Web Siteye Belirli İp Adresleri Üzerinden Erişime İzin Verme

.htaccess dosyanıza aşağıdaki gibi ekleyebilirsiniz.order deny,allowdeny from allallow from...

Http den Https SSL Yönlendirme

http linkleri https olarak yönlendirmek için aşağıdaki kodu .htaccess e ekleyerek...

.htaccess İle Tarayıcı Önbellekleme

Tarayıcı önbellekleme için .htaccess dosyanızın en altına ekleyebilirsiniz;<IfModule...

Alt Klasöre (Dizine) Wordpress Kurma

Diğer wordpress in kurulacağı /altklasör/ altına wordpress dosyalarını yükleyin. Ardından...