Собираем из обхода, а не из ссылок на одной странице
Наш робот идёт по сайту так же, как поисковый: от главной по внутренним ссылкам и по вашей текущей карте. Поэтому в файл попадают реально существующие страницы, а не то, что нашлось в меню.
Вместе SEO · Инструмент
Обходим сайт как поисковый робот и собираем карту из настоящих страниц: без редиректов, ошибок и закрытых от индексации адресов. Заодно показываем, чем новая карта отличается от вашей текущей.
Карта сайта — это файл sitemap.xml со списком страниц, которые вы хотите видеть в поиске. Она не влияет на позиции и не заменяет внутренние ссылки, но помогает роботу быстрее находить новые и редко посещаемые страницы. Главное правило: в карте должны быть только рабочие адреса, открытые к индексации. Карта с ошибками и редиректами не ускоряет обход, а тратит его впустую.
Наш робот идёт по сайту так же, как поисковый: от главной по внутренним ссылкам и по вашей текущей карте. Поэтому в файл попадают реально существующие страницы, а не то, что нашлось в меню.
Страницы с ошибкой, редиректы, закрытые тегом noindex, дубли под canonical и адреса, запрещённые в robots.txt, отсеиваются. И вы видите список, что именно исключено и почему.
Если карта на сайте уже есть, мы сравниваем: какие живые страницы в неё не попали и какие мёртвые адреса до сих пор числятся. Обычно это самое полезное, что даёт проверка.
Поле lastmod заполняется из заголовка ответа сервера. Ставить всем страницам сегодняшнюю дату нельзя: поисковики быстро перестают доверять таким датам, и польза от поля пропадает.
Самое частое противоречие: карта говорит «индексируй», мета-тег говорит «не индексируй». Поисковик верит запрету, а доверие к карте падает.
Робот приходит по адресу из карты и попадает на перенаправление. Обход потрачен, страница проиндексирована по другому адресу. В карте должен быть конечный адрес.
Файл выгрузили год назад и забыли. Половины страниц уже нет, новых в карте нет. Для небольшого сайта проще пересобирать карту вручную раз в месяц, чем настраивать автообновление.
Яндекс берёт карту в первую очередь из строки Sitemap в robots.txt. Без неё файл найдут не сразу.
Со слешем и без, с www и без, http и https. В карте должен быть один вариант — тот же, что в canonical.
Google эти поля игнорирует, Яндекс считает слабой подсказкой. Одинаковые значения у всех страниц не несут смысла вовсе — проще не добавлять их совсем.
Если страниц меньше пары десятков и все они связаны ссылками, робот найдёт их и без карты. Но карта не вредит и ускоряет появление новых страниц в поиске, а сделать её — минута. Для интернет-магазинов и сайтов с сотнями страниц она нужна обязательно.
В корень сайта, чтобы он открывался по адресу вашсайт.ру/sitemap.xml. Затем добавьте строку Sitemap с полным адресом файла в robots.txt и отправьте карту в Яндекс.Вебмастер и Google Search Console — так поисковики узнают о ней сразу, а не при следующем обходе.
Каждый раз, когда добавляются или удаляются страницы. На сайтах с редкими изменениями достаточно пересобирать её раз в месяц, на активных — настроить автоматическую генерацию в CMS. Наш генератор удобен как разовое решение и как проверка того, что автоматика делает всё правильно.
По стандарту — до 50 тысяч адресов и до 50 мегабайт. Если страниц больше, делают несколько файлов и один индексный, который на них ссылается. Мы обходим до 1000 страниц за раз — для большинства сайтов этого достаточно.
Нет. Карта помогает роботу найти страницы, но не влияет на то, какое место они займут. Если страница не в поиске, причина обычно в другом: закрыта от индексации, дублирует другую или её содержание слабее, чем у конкурентов. Это показывает полная проверка сайта.
Нет. Мы соблюдаем robots.txt, держим паузы между запросами и сбавляем скорость, если сайт отвечает медленно. Робот представляется как VmesteSEO-Audit — его видно в логах.
Карта помогает роботу найти страницы, но не отвечает на вопрос, что с ними не так. Если страницы в поиске не появляются, причина обычно глубже: дубли заголовков, ошибки индексации, тонкое содержание. Это и показывает полная проверка сайта — она обходит те же страницы и разбирает каждую.