Новые статьи не появились в sitemap.xml: как найти ошибку публикации

Сравните три списка

Первый — материалы, которые редакция считает опубликованными. Второй — URL, доступные на сайте с ответом 200. Третий — адреса внутри публичного `sitemap.xml`. Выберите три недостающие статьи и проверьте их вручную. Если страницы не открываются, сначала решайте публикацию. Если страницы открываются, а XML старый, смотрите генератор и кеш.

У статического сайта карта часто формируется при сборке. Новые статьи, добавленные после неё, не появятся до новой сборки и выпуска. У динамического сайта генератор может фильтровать материалы по статусу, дате или языку. Эти варианты требуют разных исправлений; не меняйте robots.txt, пока не поняли, на каком этапе URL исчезает.

Точки проверки

Если карта разбита на индекс и несколько файлов, проверяйте и индекс, и нужный дочерний sitemap. Ошибка может быть в том, что новый файл создан, но не включён в индекс.

Правильный адрес и актуальная версия

URL в карте должны соответствовать каноническим страницам: один протокол, основное доменное имя, корректный путь и статус 200. Не включайте черновики, страницы с `noindex` и адреса, которые сразу перенаправляют на другую версию. Поле `lastmod` используйте для реальных существенных изменений, если система его формирует; не обновляйте все даты ежедневно ради видимости активности.

Google Search Central по созданию sitemap поясняет, что карта сообщает о страницах, но её отправка остаётся подсказкой, а не гарантией обхода. Справка Яндекс Вебмастера описывает добавление, обновление и диагностику XML-файла.

Проверка после исправления

Откройте публичный XML, найдите все новые URL, проверьте синтаксис и ответ сервера. Затем убедитесь, что `robots.txt` указывает на актуальную карту или она добавлена в Вебмастере. Не ограничивайтесь локальным файлом разработчика: на сервере может лежать предыдущий выпуск.

Для будущих публикаций добавьте автоматическую проверку: после сборки число опубликованных статей сопоставляется с числом URL блога в sitemap, а несколько новых адресов тестируются на 200, canonical и наличие в XML. Если выпуск падает на этой проверке, ошибка не уходит на продакшн. Такой контроль надёжнее ручного напоминания «не забудьте карту».

Как проверить XML без специальных сервисов

Откройте публичный файл в браузере или загрузите его командой на сервере. Найдите точный путь одной новой статьи, затем проверьте начало XML и набор тегов `loc`. Если адрес в файле есть, но отдаёт 404, проблема не в генераторе списка, а в выпуске страниц или неверном пути. Если URL вообще нет, смотрите статус материала и фильтр генератора. Если локально адрес есть, а публично нет, вероятен старый релиз или кеш. Такой порядок быстрее, чем сразу переписывать конфигурацию сайта.

Как отличить кеш от старой сборки

Сравните содержимое файла на сервере и ответ через публичный домен, по возможности с разных точек. У кеша может быть свой срок жизни и правило сброса. Не очищайте весь CDN наугад, если достаточно обновить конкретный XML. После исправления повторите поиск URL в публичном ответе и проверьте заголовки кеширования. Только живой файл имеет значение для робота.

Если sitemap доступен, но Яндекс показывает ошибку

Посмотрите конкретное сообщение Вебмастера и время последней проверки. Возможно, XML отдавал ошибку временно, содержит URL другого домена или робот получил старую закешированную версию. Сравните ответ для обычного посетителя и для проверки сервером без авторизации. Не нужно создавать новый файл с другим адресом на каждую временную ошибку: сначала устраните её причину и дождитесь повторного чтения.

Что записать в инструкции выпуска

После добавления статей сборка должна создать страницы и карту из одного списка опубликованных URL. Проверка выпуска сравнивает оба набора до переключения сервера. После переключения повторяет сверку на публичном домене. Если что-то расходится, выпуск останавливается или откатывается целиком. Этот процесс важен для блога с регулярными крупными партиями: ручная проверка одного XML легко пропустит десять забытых страниц.

Почему у новой статьи может не быть URL в карте

Проверьте правило публикации: дата могла быть назначена на завтра, статья осталась со статусом «готово», но не «опубликовано», либо генератор фильтрует только определённую категорию. Такие причины видны в данных ещё до сборки. Сверьте флаг публикации с тем, что показывает публичный блог. Если редактор видит материал только через прямую ссылку, а список и sitemap его исключают, выпуск неполон.

Если адрес уже есть в карте, но страницу не видно в поиске, переходите к диагностике индексации.