Robots.txt dosyası, bir web sitesinin kök dizininde yer alan ve arama motoru botlarının (crawler/spider) hangi sayfalara erişip erişemeyeceğini belirleyen basit bir metin dosyasıdır. Robots.txt dosyasının temel amacı, web sitesinin hangi bölümlerinin taranmasına izin verileceğini ya da engelleneceğini açık bir biçimde belirtmektir. Arama motoru botları bir siteyi ziyaret ettiğinde, ilk baktıkları yer robots.txt dosyasıdır. Buradaki talimatlar doğrultusunda sitenin sayfalarını tarayıp dizine ekler ya da göz ardı ederler.

Bu dosya sayesinde sunucu kaynakları daha verimli kullanılabilir, yinelenen içerikler botlardan gizlenebilir ve arama motorlarının dizinlerine yalnızca istenen içeriklerin eklenmesi sağlanabilir. Ayrıca, bazı özel alanların (örneğin yönetim panelleri, test sayfaları ya da kullanıcıya özel dinamik içerikler) arama motoru sonuçlarında görünmemesi için robots.txt oldukça kritik bir rol oynar. Biliyor muydunuz, yanlış...