Robots.txt konusunda, daha önce meta taglar konusunda bahsetmiştik ve önemini yüzeysel olarak vurgulamıştık şimdi biraz daha detaylı inceleyeceğiz.

Robots.txt, bütün arama motorlarının gönderdiği robotlar vasıtasıyla websitenizin hangi sayfalarının sıramala alıp almayacağına dair kodlar içeren basit ve önemli bir yönlendirme robot kodlamasıdır.

Tüm arama motorlarının ortak olarak baktığı herhangi bir websitenin hangi sayfalarının indekslenip, hangi sayfalarının indekslenmeyeceğini söyleyen dosyadır.

Google, Yandex,Bing gibi hemen hemen tüm arama motorlarında web ortamına sunduğunuz yeni olan her içeriği, web sitesini, sayfanızı hatta değişiklikleri görebilmek için periyodik ve anlık olarak robot (örümcek) denilen bir yazılım kullanırlar ve bu yazılım ile bütün ağları otomatik olarak ziyeret edip rapor oluştururlar. Bu robotları bizim web sitemizde karşılayabilmemiz için onlara bir yer göstermemiz gerekecek bu durum sizi yoklamaya gelen teftiş memurlarına benzer güzel. Robot yazılıma uygun bir yer gösterebilmek için, bu yazılımın ilk geldiğinde bakacağı yer robots.txt dosyasıdır. Siz bu dosyayı onlara sunduğunuzda incelemeye başlar, bu dosya yok ise zaten sizi dikkate almayacak ve istenilen sonuçları alamayacaksınız. Var ise robots.txt dosyanızın içeriğindeki, yazılan komutlara yönelik rapor alarak sitenizden ayrılır ve bu şekilde indekslenmeye başlarsınız.

Robots.txt dosyanız olmadığını var sayarsak, bu direksiyonsuz ve hatta frensiz bir aracın içinde olmanız anlamına gelir ki bunu kimse istemeyecektir. Ama bir komut yazmak istenmiyor ise bile boş dahi olsa bir robots.txt dosyası mutlaka olması sizin faydanızadır. Bunun nedeni botlar sayfanızı ziyaret ettiğinde robots.txt dosyasını arayacaklar olmadığın da karşısına çıkacak ilk sayfa “404 not found” sayfası olacağı için bu bir hata olarak kayıt edilecektir.

İndexlemek İstemediklerimiz İçerikler Neler Olabilir ?

Mesela; admin sayfanız buna örnek olabilir, yada içerik içerisindeki videolarınız ve resimleriniz içinde bu aracı kullanabilirsiniz. Yada yapım aşamasında bir siteniz var ise yedek bir site üzerinde çalışıyorsanız. Bu siteleriniz indeksleme aldıktan sonra bunları temizlemeniz oldukça zor olacaktır. Bu gibi durumlarda robot.txt dosyasına yazacağınız bir komutla bu yükten kurtulabilirsiniz.

Robots.txt dosyası nasıl oluşturulur ?

Robots.txt dosyası oluşturmak için illaki yazılımcı olmanıza yada yazılım bilmenize gerek yoktur. Yalnızca indeksleme istemediğiniz saylara bir kaç komut yeterlidir.

1) User-agent (Bot veya Robot ismi)
2)Disallow (Klasör veya Dosya ismi)

Örnekleyelim;

1- User-agent:* Disallow:

Bu komut bütün dizinleri indeksler

2- User-agent: * Disallow: /

Bu komut ise hiç bir dizini indekslemez.

3- User-agent: * Disallow: /tmp/ Disallow: /private/ Disallow: /cgi-bin/ Disallow: /images/

Robotlar, tmp,admin, cgi-bin,images, klasörlerini indekslemeyecektir.

Bunun gibi kodları kendinizde geliştirebilirsiniz, temel mantık bu 3 örnek şeklindedir.