Robots.txt ayrıştırması standart hale geliyor
25 yıllık REP, standart üzere gözükse de farklı web geliştiriciler robots.txt belgesini ayrıştırırken farklı yöntemler kullanabiliyor. Haliyle bu da karışıklığa sebebiyet veriyor. Kimi arama robotlarının da boyutları yüzlerce megabayta varan robots.txt evraklarını okumakta zorlanması durumları zorlaştıran bir diğer sıkıntı. Velhasıl Google, kendi ayrıştırıcısını açık kaynak kodlu yayınlayarak bu stil sıkıntıların ortadan kalkıp, aşikâr bir standardın oluşmasını istiyor.
Google, birçok iş koluna ayrılmış olsa da arama motoru kısmı şirketin temelini oluşturuyor. Sitelerin indekslenip arama sonuçlarında çıkması da Googlebot isimli arama robotu sayesinde sağlanıyor. Farklı geliştiricilerin de kendi arama robotları var. Robots.txt ayrıştırması için Google’ın yayınladığı bu kütüphane kullanılırsa, arama robotlarının da siteleri indekslemesi çok daha rahat olacak.
Tabii ki geliştiriciler tarafından benimsenmediği sürüce standart haline gelmesi mümkün değil. Fakat Google “Web site sahiplerinin ve geliştiricilerin internet tecrübesini geliştirmeye odaklanıp, arama robotlarını nasıl denetim edecekleriyle uğraşmamalarını istiyoruz.” açıklamasında bulundu. Geliştiricilerden kütüphane hakkında geri dönüşler bekleniyor.
