robots.txt Nedir? Nasıl Olmalı? Örnekler

robots.txt dosyası genellikle aşağıdaki gibi kullanılır;

User-Agent: *
Allow : /

Wordpress için ise aşağıdaki gibi kullanılır;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Bu cevap yeterince yardımcı oldu mu?

Daha Fazlası

Web Siteye Belirli İp Adresleri Üzerinden Erişime İzin Verme

.htaccess dosyanıza aşağıdaki gibi ekleyebilirsiniz.order deny,allowdeny from allallow from...

Index of (Dizin Listeleme) Nasıl Kapatılır?

Apache kurulu sunucuda Index of yani dizin listelemeyi kapatmak için aşağıdaki seçeneklerden...

Alan Adı Dnsleri Sunucuya Yönlenmeden Siteyi Görüntüleme

Alan adı dnsleriniz sunucunuza yönlenmeden mod_userdir özelliği aktif ise web sitenizi...

503 service unavailable ne demek? Çözümü

Bazen sitelerinizde 503 service unavailable hatası görebilirsiniz. Bu hatanın bir çok nedeni...

invalid response from acme-v02.api.letsencrypt.org status 400 Hatası Nedenleri

Let's Ecnrypt SSL kurmayı denediğinizde invalid response from https...