Для чего обычно используется файл robots.txt?
(Отметьте один правильный вариант ответа.)
Варианты ответа
для контроля за индексацией страниц сайта(Верный ответ)
для размещения информации о внешних ссылках
для создания ботов для сайта