robots.txt Nedir? Nasıl Olmalı? Örnekler

robots.txt dosyası genellikle aşağıdaki gibi kullanılır;

User-Agent: *
Allow : /

Wordpress için ise aşağıdaki gibi kullanılır;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Bu cevap yeterince yardımcı oldu mu?

Daha Fazlası

http'den https'ye Yönlendirme Ve www Yönlendirme

Aşağıdaki kuralı .htaccess dosyanıza ekleyerek web sitenin hem http den https şeklinde...

Web Siteye Belirli İp Adresleri Üzerinden Erişime İzin Verme

.htaccess dosyanıza aşağıdaki gibi ekleyebilirsiniz.order deny,allowdeny from allallow from...

.htaccess ile 301 Yönlendirme Nasıl Yapılır?

Linux sunucularda Apache kullanan web sunucularında 301 yönlendirme oldukça basittir..htaccess...

Web Siteyi www Şeklinde Yönlendirme

Eğer web sitenizin www açılmasını istiyor iseniz aşağıdaki kuralı .htaccess dosyası içerisine...