robots.txt Nedir? Nasıl Olmalı? Örnekler

robots.txt dosyası genellikle aşağıdaki gibi kullanılır;

User-Agent: *
Allow : /

Wordpress için ise aşağıdaki gibi kullanılır;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Bu cevap yeterince yardımcı oldu mu?

Daha Fazlası

503 service unavailable ne demek? Çözümü

Bazen sitelerinizde 503 service unavailable hatası görebilirsiniz. Bu hatanın bir çok nedeni...

invalid response from acme-v02.api.letsencrypt.org status 400 Hatası Nedenleri

Let's Ecnrypt SSL kurmayı denediğinizde invalid response from https...

Alan Adı Dnsleri Sunucuya Yönlenmeden Siteyi Görüntüleme

Alan adı dnsleriniz sunucunuza yönlenmeden mod_userdir özelliği aktif ise web sitenizi...

Alt Klasöre (Dizine) Wordpress Kurma

Diğer wordpress in kurulacağı /altklasör/ altına wordpress dosyalarını yükleyin. Ardından...

Index of (Dizin Listeleme) Nasıl Kapatılır?

Apache kurulu sunucuda Index of yani dizin listelemeyi kapatmak için aşağıdaki seçeneklerden...