Индексация сайта: почему страницы не попадают в поиск

Индексация — это ответ на вопрос, попадёт ли страница в поиск вообще. Пока страницы нет в индексе, всё остальное не имеет значения: можно сколько угодно улучшать заголовки и разгонять скорость, показывать эту страницу поиску всё равно нечего.

9 проверок30% оценки здоровья

Поисковый робот приходит на сайт, читает код страницы и решает две вещи: можно ли её индексировать и какую версию считать основной. Оба решения он принимает не сам — их подсказывает сама страница: директивами в коде, заголовками сервера, ссылкой canonical, файлом robots.txt. Ошибка в любой из этих подсказок стоит страницы целиком.

Именно поэтому у группы самый большой вес в оценке здоровья — три десятых. Одна забытая строчка noindex, оставшаяся с разработки, обнуляет работу всей команды над разделом.

Проверки раздела

Страница закрыта от индексации

Критично

Что это значитВ коде страницы стоит запрет noindex — поисковик её не покажет, сколько бы вы её ни улучшали.

Как исправитьУберите meta name="robots" content="noindex" (или заголовок X-Robots-Tag) со страниц, которые должны быть в поиске.

#meta-noindex

Canonical ведёт на недоступную страницу

Критично

Что это значитУказана каноническая страница, которой не существует или которая редиректит — поисковик получает противоречивый сигнал.

Как исправитьИсправьте адрес в canonical на существующую страницу, отдающую код 200.

#canonical-broken

Страница отдаёт ошибку

Критично

Что это значитСтраница недоступна: люди попадают в тупик, поисковик выбрасывает её из индекса.

Как исправитьВосстановите страницу или настройте 301-редирект на подходящую замену.

#http-error

Ссылки со страницы не передают вес

Важно

Что это значитДиректива nofollow говорит поисковику не переходить по ссылкам — внутренние страницы недополучают вес.

Как исправитьУберите nofollow из meta robots, если это не сделано намеренно.

#meta-nofollow

Не указана каноническая ссылка

Важно

Что это значитБез canonical поисковик сам решает, какую версию страницы считать главной, — и может выбрать не ту.

Как исправитьДобавьте <link rel="canonical"> с полным адресом самой страницы.

#no-canonical

Canonical указывает на другую страницу

Важно

Что это значитСтраница сама говорит поиску «индексируй не меня, а вон ту», и в выдачу она не попадёт. Это нормально, если вы осознанно склеиваете дубль. Если нет — страница потеряна зря.

Как исправитьПроверьте каждый адрес из списка: если это дубль другой страницы — всё верно, оставьте. Если это самостоятельная страница — исправьте canonical на её собственный адрес.

#canonical-other

Цепочка редиректов

Важно

Что это значитКаждый лишний переход замедляет загрузку и теряет часть ссылочного веса.

Как исправитьНастройте редирект сразу на конечный адрес, без промежуточных шагов.

#redirect-chain

Страница ошибки отдаёт код 200

Важно

Что это значитПоисковик считает такую страницу нормальной и держит её в индексе, засоряя выдачу пустышками.

Как исправитьНастройте сервер: несуществующие адреса должны отдавать код 404 (или 410).

#soft-404

Страница закрыта в robots.txt, но на неё есть ссылки

Важно

Что это значитВы ссылаетесь на страницу с сайта, а поисковику запрещено её смотреть. Обычно это забытое правило в robots.txt.

Как исправитьЛибо откройте страницу в robots.txt, либо уберите ведущие на неё внутренние ссылки.

#blocked-by-robots

Как мы это находим

Разрешение на индексацию страница даёт в двух местах, и мы читаем оба: тег meta name="robots" в коде и заголовок X-Robots-Tag в ответе сервера. Второй встречается реже и потому опаснее — его не видно, открыв исходный код страницы в браузере, и о нём обычно не знают.

Отдельно разбираем robots.txt: правила Allow и Disallow, Crawl-delay, ссылки на карты сайта и Clean-param. Наш робот соблюдает эти правила, а не обходит их: сервис для владельца сайта не должен вести себя как парсер-пират. Если раздел закрыт в robots.txt, мы туда не пойдём и честно напишем, что не пошли.

Частые вопросы

Чем «страницы нет в индексе» отличается от «страница низко в выдаче»?

Это два разных состояния. Страницы нет в индексе — поисковик её не знает и не покажет ни по какому запросу, даже если искать точную фразу с неё. Страница низко — она в индексе, но проигрывает другим. Проблемы из этой группы дают первое состояние, и чинить их надо раньше всего остального.

Исправил ошибку — когда страница появится в поиске?

От нескольких дней до нескольких недель: робот должен зайти снова. Ускорить можно, отправив адрес на переобход в Яндекс.Вебмастере и Google Search Console. Пока страница не переобойдена, в поиске всё останется по-старому, даже если в коде уже всё верно.

Закрывать страницы от индексации — всегда ошибка?

Нет. Служебные страницы, корзину, результаты фильтров и личный кабинет закрывают намеренно, и это правильно. Ошибкой это становится, когда закрытой оказывается страница, которую вы продвигаете. Поэтому сервис не убирает такие находки, а показывает список адресов — решение по каждому принимаете вы.

Проверить, есть ли это у вас

Аудит обходит до пятисот страниц и по каждой проверке из этого раздела отдаёт список конкретных адресов — не «14 ошибок», а какие именно страницы. Бесплатно, 1–3 минуты.

Проверить свой сайт