SEO-wiki – Что такое Robots.txt

Файл Robots.txt является для поискового робота своеобразной инструкцией, в которой вебмастер прописывает основные параметры и настройки для индексации сайта. Текстовый файл Robots.txt размещается в корневой директории сайта, при изменении условий поискового продвижения, а также при возникновении такой необходимости, этот документ может быть изменен вебмастером.