Robots.txt е текстов файл, който представлява протокол за изключване на роботи (Robots Exclusion Protocol). Този файл се намира в главната (root) директория на даден уебсайт и е първото място, което повечето роботи на търсещите машини (т.нар. crawlers) проверяват при посещение. Неговата основна функция е да предоставя директиви и указания на роботите относно това кои части от уебсайта имат право да бъдат сканирани (Crawled) и кои трябва да бъдат изрично изключени.
Концептуално, robots.txt не е механизъм за сигурност, а по-скоро инструмент за управление на сканирането (Crawl Budget). Чрез директиви като Disallow и Allow, той позволява на уебмастъра да предотврати достъпа на роботите до директории или файлове, които съдържат дублирано, нискокачествено, конфиденциално или чисто техническо съдържание, което няма нужда да бъде индексирано. Това е изключително важно, за да се гарантира, че ценният бюджет за сканиране се изразходва за най-важните и стратегически страници на сайта.
Въпреки че robots.txt може да забрани сканирането, той не може да гарантира пълно изключване от индекса. Търсачките могат да индексират URL адрес, ако намерят връзки към него от други места в мрежата. Следователно, файлът е първа линия на защита и управление, но за пълно изключване от индекса (noindex) са необходими допълнителни мета директиви.
