Разрешение на индексацию страница даёт в двух местах, и мы читаем оба: тег meta name="robots" в коде и заголовок X-Robots-Tag в ответе сервера. Второй встречается реже и потому опаснее — его не видно, открыв исходный код страницы в браузере, и о нём обычно не знают.
Отдельно разбираем robots.txt: правила Allow и Disallow, Crawl-delay, ссылки на карты сайта и Clean-param. Наш робот соблюдает эти правила, а не обходит их: сервис для владельца сайта не должен вести себя как парсер-пират. Если раздел закрыт в robots.txt, мы туда не пойдём и честно напишем, что не пошли.