ROBOT.TXT NEDİR?
Robot engelleme standardı, web böceği veya web örümceği gibi yazılımların web sunucularının kamuya açık bölümlerinin tamamına veya bir kısmına erişimini engellemeye yarayan bir standarttır.
Robot.txt kısa anlamı ile bir dosya türüdür. Bu dosya şekli farklı birçok arama motorlarının sitenizde erişmemesi gereken yerleri göstermesi adına sitelere yerleştirilmiş olan bir kök dizin dosyasıdır. Çok da büyük olmayan bir komut kısmına sahip olan ‘robotları engelleme standardı’ olarak Türkçe tabir ile bilinen bir standart kullanmaktadır. Sistem bu komutlar ile çalışmaktadır.
Her hangi bir siteye erişim noktasında masaüstü ya da mobil tarayıcıya göre değişikliğe uğrayarak hangi bölümlerin saklanması gerektiğini gösterir. Site sahipleri bazı zamanlar sitenin bazı bölümlerine arama motorlarının erişimlerini istemezler. Bilindiği üzere tüm arama motorları sitelere belli botlar ile giriş yaparak sitelerin içeriğine algoritmik bir yazılım eşliğinde kontrolünü yapar ve bu sayede sitenin arama motoruna eklenmesi ile birlikte aynı zamanda kaçıncı sırada çıkması gerektiğinin tahlilini yapar. Bilindiği gibi SEO bazında, yani en fazla insana ulaşmak noktasında bu arama motorları botlarının siteler için büyük bir önemi vardır.
Robot.txt Doğru Kullanımı ve Önemi
Arama motorlarında en üst sıralara çıkabilmek adına bu tür botlar sitelere giriş yaparak o siteyi belli bir sıralamaya sokar. Bu her ne kadar önemli olsa da yine de site içerisindeki bazı kısımların bu botlara kapatılması da istenir. Fakat eğer yanlış bir robot.txt komut dizini verilirse o zaman SEO açısından sıkıntılı bir durum yaşanabilir. Bu yüzden bu komut dizini doğru bir şekilde yapılmalıdır. Aslına bakılırsa robot.txt dosyası hazırlama aşamasında birçok dikkat edilmesi gereken husus bulunmaktadır. Şimdi bunlara bir maddeler halinde bakalım.
- Robot.txt dosyası mutlak suret ile sitenin kök dizinine eklenmiş olmalıdır.
- Her zaman UTF-8 karakter kodlamasına uygun olarak hazırlanıp doğru bir şekilde yerleştirilmelidir.
- Robot.txt dosyası mutlaka sitenin URL’si ile format olarak benzer bir şekilde olmasına dikkat edilmelidir.
Bunların eşliğinde her sitenin kök dizininde robot.txt dosyası kesinlikle bulunması bir mecburiyettir. URL standardının yakalanmasına özen gösterilmelidir ve bir alt klasörde veya daha farklı bir dosyada olmamasına da dikkat edilmesi gerekmektedir.
Robot.txt Nasıl Olmalı?
İlk olarak mutlaka bu dosya türü düz bir metin olarak hazırlanmalıdır. Aynı zamanda sadece UTF-8 olarak bir karakter kodlaması yapılmalıdır. Bunun haricinde her hangi kodlama kullanılması yanlıştır. Dosya her ne zaman isteniyorsa değiştirilebilir bir formatta sürekli düzenlenebilir bir şekilde hazırlanmış olması oldukça önemlidir. Yani değişken bir yapıda olması yenilikler yapma fırsatı verebilir. Kullanımda ise site içeriğinden hiçbir zaman kaldırılmaması gerekmektedir. Her daim çalışır halde kalmalı ve kaldırılmamalıdır. Site içerisinde gizli olarak tutulması ise büyük bir önem taşımaktadır. Robot.txt dosyası içerisinde bir takım belirlenmiş olan işlemleri yapabilmek adına bilinen bazı komutlar kullanılmaktadır. Bunlara ise 3 farklı kategoride bakmak mümkündür.
Grup komutları olarak geçen; dizin engelleme ya da izin verme, arama motoru engelleme ve izin verme ile birlikte, sayfa engelleme ve izin verme ve benzeri komutlar bulunmaktadır.
Aynı zamanda grup dışı komutlar olarak; sitenin genel haritası belirtme. Yorum ile notlar olarak da; değiştirilebilir olan bu dosya adına yorum ve notlar kısmıdır.
Robot.txt Komutları Önemi
Bilindiği üzere SEO hizmetinin siteleri devam etmesi açısından büyük bir önemi bulunmaktadır. Bu yüzden arama motoru botlarının sitenin gerekli kısımlarında dolaşmalarına büyük bir önem verilmelidir. Bu yüzden robot.txt dosyası hazırlanırken komut dizinlerine oldukça dikkat edilmeli ve ona göre belirlenmiş olan standart komutların dışına çıkmamak gerekmektedir. Aksi takdirde bu botların ulaşması gereken yerlere kapalı hale getirilebilir. Komutlar aynı zamanda kesin ve net ifadeler ile yazılmalıdır. Yapılabilecek bir yazım hatası kodlamayı geçersiz kılabileceği bilinmeli.
