Robots.txt Nedir?

Robots.txt en basit anlamda web sunucusuna yerleştirilen bir komut dosyasıdır. SEO çalışmaları açısından önemli olan robots.txt dosyası sayesinde arama motoru botlarına sitenizde hangi bölümlerin dizine eklenip, hangi bölümlerin eklenmeyeceğinin bilgisi verilmektedir. Arama motoru botları web siteleri ziyaret ettiğinde ilk olarak robots.txt dosyasını ziyaret etmektedir. Böylece dosyadaki komutlara göre taranacak dizinleri tespit ederek, sitenin izin verilen bölümlerini arama ağı dizinlerine eklerler. Bazı durumlarda web sitesinin önemli bilgiler içeren kimi bölümleri arama motoru botlarının erişimine kapatılmak istenmektedir. Böyle durumlarda robots.txt kullanımından faydalanılmaktadır. Ancak robots.txt dosyası oluştururken çok dikkatli olunmalıdır. Çünkü yanlış oluşturulacak bir robots.txt dosyası sonrasında sitenin gerekli olan bölümleri arama motorlarının erişimine kapatılabilir. Bu da SEO açısından sitenize zarar verebilir.

Robots.txt komut dosyası sayesinde arama motoru botlarının sitenizdeki hangi alanlara erişebileceklerini belirleyebildiğiniz gibi hangi arama motoru botlarının dosyalarınıza erişebileceğini de belirleyebilirsiniz. Yani erişime açtığınız bir site alanına bazı arama motoru botlarının ulaşmasını da robots.txt sayesinde engelleyebilirsiniz. Robots.txt dosyası her web sitesinde olması gereken ve doğru hazırlanmış olması gereken bir dosyadır. Peki, SEO için en doğru robots.txt yönetimi nasıl olmalıdır? Robots.txt dosyası neden kullanılmalıdır? Robots.txt komut dosyası hakkında bilinmesi gereken önemli detaylar nelerdir?

Neden Robots.txt Dosyası Kullanılmalıdır?

Robots.txt dosyasının genel kullanım amacı arama motoru botlarının sitenizde erişebileceği alanların belirlenmesine yöneliktir. Ancak robots.txt dosyası sadece bu amaçla kullanılmamaktadır. Örneğin; siteniz yapım aşamasındaysa, genel bir bakım söz konusuysa veya site tasarımında değişiklik yapıyorsanız böyle durumlarda da robots.txt komutları kullanılabilmektedir. Eğer ki siteniz yeni bir web sitesiyse ve henüz tasarım çalışmalarınız bitmediyse böyle bir durumda arama motoru botlarının sitenize erişimini engelleme adına bu dosyadan faydalanabilirsiniz. Sonrasında site üzerindeki çalışmalar bittiğinde ise robots.txt dosyasını düzenleyerek sitenizi ve ilgili alanları arama motoru botlarının erişimine açabilirsiniz.

Robots.txt kullanılmak istenmesinin bir başka nedeni de ücretli bağlantıların kullanılmak istenmesidir. Ayrıca arama motorları robotları için özel talimatlara ihtiyaç duyan reklamların sitede kullanılabilmesi içinde robots.txt dosya komutu kullanılmaktadır. Henüz site için SEO çalışmalarına başlanmadıysa veya site içerisinde SEO açısından eksiklikler varsa bu gibi durumlarda da arama motoru botlarının siteyi indekslemesinin engellemesi için robots.txt sık olarak kullanılmaktadır.

Robots.txt Dosya Komutları Nelerdir?

Robots.txs dosya komutu ile site sahipleri temelde dört farklı komut dosyasına sahip olmaktadır. Dosya komutları her zaman kesin ve net olarak oluşturulmalıdır. Yazım yanlışı yapılmadığından emin olunmalıdır. Komut dosyalarında küçük, büyük harf ayrımı yapılmamaktadır. Ancak komut dosyasında belirtilmiş olan dizin ya da URL’lerde büyük, küçük harf ayrımı veya özel karakter ayrımı yapılmaktadır.

User-agent Robots.txt Dosyası Kullanımı

User-agent dosya komutu kullanılarak arama motoru botlarının sitenizi taramasına izin verebilir ya da taramalarını engelleyebilirsiniz. Tüm arama motoru botlarının sitenizi taramasına izin vermek için komut satırını aşağıdaki gibi kullanabilirsiniz;

User-agent: *

Arama motoru botlarının sitenizi taramasını engellemek için ise robots.txt komutunu aşağıdaki gibi kullanmanız gerekmektedir;

user-agent: *
disallow: /

Dizin Engelleme veya Dizin İzin Verme Robots.txt Dosyası Kullanımı

Robots.txt komut dosyası ile sitenizdeki belirli dizinlerin erişimini arama motoru botlarına kapatabilir veya erişmelerine izin verebilirsiniz. Bunun için allow veya disallow komutunu kullanmanız gerekmektedir. Disallow olarak kullanım gerçekleştirirseniz bu komut dosyasındaki kısıtlama sadece arama motoru örümceklerine özel olmaktadır. Yani herhangi bir dizinin erişimini arama motoru botlarına engellemeniz, ilgili dizine kullanıcıların erişimini engellememektedir. Herhangi bir dizini arama motoru botlarına karşı sınırlandırmak için aşağıdaki komutu kullanabilirsiniz;

user-agent: *
disallow: /ornek/

Bu komut satırını sitenize eklemeniz durumunda arama motoru örümcekleri sitenizdeki http://www.orneksite.com/ornek/ URL’sine sahip olan “ornek” dizinini taramayacaktır. Ayrıca bu dizin içerisinde yer almakta olan sayfalarda dizine eklenmeyecektir.

Sayfa Engelleme veya Sayfa İzin Verme Robots.txt Dosya Kullanımı

Robots.txt komut kullanımında dilerseniz sitenizdeki belirli sayfalara erişim kısıtlaması getirebilir ya da istediğiniz sayfaların erişimine izin verebilirsiniz. Bunun izin vermek için allow erişim kısıtlamak için ise disallow komut satırını kullanmanız gerekmektedir. Dizin erişimi engelleme de olduğu gibi sayfa engelleme de yapılacak kısıtlama sadece arama motoru botlarına özgüdür. Yani sitenize gelen kullanıcılar ilgili sayfalara erişebilecektir. Aşağıdaki komut satırını kullanarak sayfa erişim kısıtlaması yapabilirsiniz;

user-agent: *
disallow: /ornek-calismalar.html/

Bu robots.txt komut satırını kullanarak http://www.orneksite.com/ornek-calismalar.html/ adresinde yer almakta olan içeriğin taranması ve dizine eklenmesi engellemiş olacaktır.

Tarama Gecikmesi Belirtme Robots.txt Dosya Kullanımı

Robots.txt dosyası içerisinde crawl-delay komut satırı kullanılarak arama motoru örümceklerinin sitede tarama yapması için kullanabileceği süreyi belirleyebilirsiniz. Bu komutun kullanılmasının sebebi sayfa yüklenmesini geciktiren botların olumsuzluğunu engellemek, sıklıkla sunucu hatası yaşanan sitelerin veya yüksek ziyaretçisinden dolayı trafik yoğunluğu olan sitelerin hizmet verememe ihtimalini ortadan kaldırmaktır. Tarama gecikmesi belirtmek için robots.txt dosyasında aşağıdaki gibi komut satırı oluşturabilirsiniz;

user-agent: yandexbot
crawl-delay: 3

Bu komut satırı ile sitenize gelen yandexbot arama motoru botlarının sitenizde sadece 3 dakika boyunca tarama yapmasını istediğinizi belirtirsiniz.

Özel Robots.txt Dosya Komutları

Robots.txt dosyasında yukarıda belirtilen dosya komutlarının haricinde bazı özel komutlarda kullanılabilmektedir. Belirli bir karakteri içeren ya da belirli bir URL’yi içeren sayfaları tamamıyla arama motoru örümcüklerinin erişimine kapatmanız mümkündür. Bazı özel robots.txt dosya komutlarına örnek vermek gerekirse;

user-agent: *
Disallow: /*.swf$

Yukarıdaki örnekteki gibi dosya içerisinde bu komut satırını kullanırsanız sitenizde URL uzantısı .swf olan tüm sayfaları arama motoru botlarının erişimine kapatmış olursunuz.

User-agent: Googlebot
Disallow: /*.asp$

İçerisinde $ işareti olan yukarıdaki komut satırını kullanırsanız, sitenizdeki URL uzantısı .asp olan bütün sayfaları arama motoru botlarının erişimine kapatmış olursunuz.

SEO çalışmaları açısından önemli bir faktör olan Robots.txt dosya kullanımı hakkında aklınızdaki soruları sormak veya Kurumsal SEO Danışmanlığı hizmeti almak için Stratejik SEO ile iletişime geçebilirsiniz.