Как будет вести себя поисковый робот, если не обнаружит файл robots.txt?
(Отметьте один правильный вариант ответа.)
Варианты ответа
исключит сайт из выдачи
оставит результаты прошлого обхода
обходить все страницы сайта по внутренним ссылкам(Верный ответ)