Сайт закрыт целиком и об этом забыли
«Disallow: /» ставят на время разработки, а убрать забывают. Сайт не появляется в поиске неделями, и причину ищут где угодно, только не в этом файле. Это первое, что стоит проверить, если страниц нет в выдаче.
Вместе SEO · Инструмент
Генератор robots.txt
Соберите файл под свой движок за минуту и сразу проверьте, что в нём нет ошибок. Всё считается прямо в браузере — ничего никуда не отправляется.
robots.txt
User-agent: * Disallow: /search/ Disallow: /*?s= Disallow: /*?q= Disallow: /cart/ Disallow: /checkout/ Disallow: /order/ Disallow: /personal/ Disallow: /lk/ Disallow: /account/ User-agent: Yandex Disallow: /search/ Disallow: /*?s= Disallow: /*?q= Disallow: /cart/ Disallow: /checkout/ Disallow: /order/ Disallow: /personal/ Disallow: /lk/ Disallow: /account/ Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&yclid&gclid&from&_openstat
Положите файл в корень сайта, чтобы он открывался по адресу вашсайт.ру/robots.txt. Проверьте, что открывается именно он, а не страница ошибки.
Проверить свой robots.txt
Вставьте содержимое файла — покажем ошибки, из-за которых роботы ведут себя не так, как вы ожидаете. Ничего никуда не отправляется, проверка идёт прямо в браузере.
Что такое robots.txt простыми словами
robots.txt — это текстовый файл в корне сайта, которым владелец говорит поисковым роботам, какие разделы обходить не нужно. Он не запрещает индексацию сам по себе и не защищает страницы от посторонних: закрытая в нём страница может попасть в поиск по внешней ссылке. Его задача проще — не тратить время робота на служебные адреса: корзину, личный кабинет, результаты поиска по сайту, версии для печати.
Шесть ошибок, которые встречаются чаще всего
robots.txt путают со способом скрыть страницу
Запрет в файле означает «не обходи», а не «не показывай». Если на закрытую страницу ведут ссылки, поисковик может показать её в выдаче без описания. Чтобы страница не попадала в поиск, нужен мета-тег noindex — а для этого страница должна быть открыта для обхода.
Закрыты фильтры, которые приносили трафик
Страницы вида «купить красные кроссовки 42 размера» — это часто самый тёплый трафик. Закрывать фильтры стоит, только если такие страницы не проработаны и плодят дубли.
Закрыты стили и скрипты
Старая привычка со времён, когда роботы не умели рисовать страницы. Сегодня закрытые CSS и JS мешают поисковику увидеть страницу так, как её видит человек, — и он может решить, что сайт не адаптирован под мобильные.
Нет строки Sitemap
Карта сайта в robots.txt — самый простой способ сообщить роботам обо всех страницах. Яндекс берёт её в первую очередь именно оттуда.
Clean-param в общей группе
Директиву понимает только Яндекс. В группе для всех роботов остальные её просто пропустят, поэтому её выносят в отдельную группу User-agent: Yandex.
Частые вопросы
Где должен лежать robots.txt?
Только в корне сайта, чтобы он открывался по адресу вашсайт.ру/robots.txt. В подпапке или с другим именем роботы его не найдут. Проверьте после загрузки: по этому адресу должен открываться текст, а не страница ошибки.
Нужен ли robots.txt маленькому сайту?
Формально без него можно жить: если файла нет, роботы обходят всё подряд. Но даже у сайта-визитки обычно есть служебные адреса и страница поиска, а строка Sitemap помогает роботам быстрее находить новые страницы.
Закрывать ли роботов нейросетей?
Это решение владельца, и одинаково правильного ответа нет. Закроете — ваши тексты перестанут попадать в обучение моделей и в ответы ИИ, но и ссылок оттуда не будет. Оставите открытыми — часть трафика может приходить из AI-ответов. Генератор умеет и то, и другое.
Как проверить, что файл работает?
Откройте его по прямому адресу в браузере, а затем загрузите сайт в Яндекс.Вебмастер и Search Console — у обоих есть инструмент проверки robots.txt, который показывает, доступна ли конкретная страница. Наш аудит сайта тоже читает этот файл и сообщает, если закрытые в нём страницы получают внутренние ссылки.
Что делать после того, как файл готов?
Проверьте сайт целиком: файл может быть идеальным, а страницы всё равно не попадать в поиск из-за других причин — ошибок ответа сервера, canonical на чужой адрес или закрытых в коде страниц. Это и показывает технический аудит.
Файл готов. Что дальше
robots.txt решает одну задачу из десятка. Страницы могут не попадать в поиск из-за ошибок ответа сервера, canonical на чужой адрес, запрета в коде страницы или дублей заголовков — этого файл не покажет.