robots.txt Nedir? Nasıl Kullanılır?

Robots.txt dosyası arama motorları ve örümceklere sitenizdeki dosya ve klasörleri gezip kayıt etmeleri için izin veren ya da engelleyen dosyadır. Dosya kendi başına normal bir text dosyasından farksızdır ve basit şekilde Notepad ile hazırlanabilir.Sitenizin bulunduğu ana klasöre koyulmalıdır.

Neden robots.txt Dosyasına İhtiyacım Var?

Tüm arama motorları, sitenize girer girmez öncelikli olarak bir robots.txt dosyası arar. Sitenizin herhangi bir bölümüne, örümceklerin girmesini istemiyorsanız ya da girmesini istiyorsanız bir robots.txt dosyası bulundurmak her zaman için yararlıdır. Çünkü bu dosya örümcekler için bir karşılama dosyası, menü gibi görev yapar.

Neden Örümcekleri Engellemek İsteyebilirim?

Site henüz tamamlanmamış olabilir ya da henüz tam olarak bitmemiş sayfalar içeriyor olabilir. Ve bu durumda sitenizin ya da sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.

Hata sayfalarını, cgi-bin gibi klasörleri ya da teşekkür ettiğiniz, içinde sadece “tamam” gibi kısa mesajlar bulundurduğunuz dosya ve klasörlerinizin kayıt edilmesi kimsenin işine yaramayacaktır.

Birbirine benzeyen, geçişli sayfalarınız varsa bütün robotların aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski doğurabilir.

Yer almak istemediğiniz arama motorlarından ya da e-mail toplayan zararlı örümceklerden robots.txt dosyası aracılığıyla kurtulabilirsiniz.

robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt dosyasını herhangi bir text editör ile oluşturabilirsiniz.Robots.txt dosyasının temel içeriği şu şekildedir:

User-Agent:[Örümcek ya da Bot İsmi]

Disallow: [Klasör ya da Dosya İsmi]

Robots.txt Dosyası ile Belirli Bir Dosyayı Belirli Bir Bottan Korumak

Mesela "haberler" diye bir bölüm oluşturuyorsunuz ve henüz tamamlanmadan robotların gelip kayıt etmesini istemiyorsunuz. Bu durumda, hedef tüm robotlar olduğu için özellikle robot ismi belirtmek yerine yıldız işareti * kullanmalısınız. Bu tüm robotları kapsayacaktır.

User-Agent: *

Disallow: /haberler/

Koruduğunuz bölüm isminin başına ve sonuna “/”  işaretini koymanız o klasördeki tüm dosyaları kapsayacaktır.

Tüm Robotlara Kayıt İzni Vermek

Hedefimiz yine tüm botlar olduğu için yıldız * işaretini kullanıyoruz ve Disallow bölümünü boş bırakıyoruz.

User-Agent: *

Disallow:

Tüm Robotları Dosya Ve Klasörlerden Uzak Tutmak

User-Agent: *

Disallow: /

Robots.txt İle Birden Fazla Klasör Engellemek

Ayarları dikkatli bir şekilde yapmalısınız. Yoksa istemediğiniz dosya ve klasörleri kayıt ettirebilir, istediklerinizi engelleyebilirsiniz.

User-Agent: *

Disallow: /cgi-bin/

Disallow: /_borders/

Disallow: /_derived/

Disallow: /_fpclass/