robots.txt Nedir? Nasıl Olmalı? Örnekler

robots.txt dosyası genellikle aşağıdaki gibi kullanılır;

User-Agent: *
Allow : /

Wordpress için ise aşağıdaki gibi kullanılır;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Bu cevap yeterince yardımcı oldu mu?

Daha Fazlası

.htaccess İle Tarayıcı Önbellekleme

Tarayıcı önbellekleme için .htaccess dosyanızın en altına ekleyebilirsiniz;<IfModule...

.htaccess ile tüm ipleri engelleyip belirli iplere izin verme

.htaccess ile yalnızca sizin belirleyeceğini ip adreslerinin sitenize erişmesini sağlayıp, kalan...

.htaccess ile 301 Yönlendirme Nasıl Yapılır?

Linux sunucularda Apache kullanan web sunucularında 301 yönlendirme oldukça basittir..htaccess...

503 service unavailable ne demek? Çözümü

Bazen sitelerinizde 503 service unavailable hatası görebilirsiniz. Bu hatanın bir çok nedeni...

Alan Adı Dnsleri Sunucuya Yönlenmeden Siteyi Görüntüleme

Alan adı dnsleriniz sunucunuza yönlenmeden mod_userdir özelliği aktif ise web sitenizi...