robots.txt Nedir? Nasıl Olmalı? Örnekler

robots.txt dosyası genellikle aşağıdaki gibi kullanılır;

User-Agent: *
Allow : /

Wordpress için ise aşağıdaki gibi kullanılır;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Bu cevap yeterince yardımcı oldu mu?

Daha Fazlası

invalid response from acme-v02.api.letsencrypt.org status 400 Hatası Nedenleri

Let's Ecnrypt SSL kurmayı denediğinizde invalid response from https...

Alan Adı Dnsleri Sunucuya Yönlenmeden Siteyi Görüntüleme

Alan adı dnsleriniz sunucunuza yönlenmeden mod_userdir özelliği aktif ise web sitenizi...

Alt Klasöre (Dizine) Wordpress Kurma

Diğer wordpress in kurulacağı /altklasör/ altına wordpress dosyalarını yükleyin. Ardından...

Web Siteyi www Şeklinde Yönlendirme

Eğer web sitenizin www açılmasını istiyor iseniz aşağıdaki kuralı .htaccess dosyası içerisine...

.htaccess İle Tarayıcı Önbellekleme

Tarayıcı önbellekleme için .htaccess dosyanızın en altına ekleyebilirsiniz;<IfModule...