robots.txt Nedir? Nasıl Olmalı? Örnekler

robots.txt dosyası genellikle aşağıdaki gibi kullanılır;

User-Agent: *
Allow : /

Wordpress için ise aşağıdaki gibi kullanılır;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Bu cevap yeterince yardımcı oldu mu?

Daha Fazlası

.htaccess ile 301 Yönlendirme Nasıl Yapılır?

Linux sunucularda Apache kullanan web sunucularında 301 yönlendirme oldukça basittir..htaccess...

Web Siteye Belirli İp Adresleri Üzerinden Erişime İzin Verme

.htaccess dosyanıza aşağıdaki gibi ekleyebilirsiniz.order deny,allowdeny from allallow from...

Alt Klasöre (Dizine) Wordpress Kurma

Diğer wordpress in kurulacağı /altklasör/ altına wordpress dosyalarını yükleyin. Ardından...

.htaccess ile tüm ipleri engelleyip belirli iplere izin verme

.htaccess ile yalnızca sizin belirleyeceğini ip adreslerinin sitenize erişmesini sağlayıp, kalan...