404 внутри sitemap.xml

Sitemap.xml это список подсказок для роботов: «эти URL важны, обойдите их в первую очередь». Карта не гарантирует индекс, но тратит бюджет обхода и внимание на то, что вы сами перечислили. Если в файле до сих пор удалённые товары, старая пагинация или хвосты тестового стенда, вы отправляете роботов в тупик и засоряете отчёты покрытия.

Правило простое: в карте только канонические, индексные адреса с ответом 200. Редирект и 404 в sitemap не публикуют: для переехавшего URL добавьте в карту конечный адрес после редиректа, а на старом настройте 301 на сервере или в CMS. Для удалённой страницы уберите строку из sitemap, верните 404 или 410 на самом URL и не оставляйте его в списке «важных».

Как попадают лишние адреса

• генератор выгружает «все посты за всё время», включая черновики, которые гостю отдают 404
• после редизайна плагин держит старый список id
• сменился CDN или языковой префикс, а карта ещё со старыми путями
• вложения и картинки остаются в списке после удаления файла (битые изображения)

Проверка

1. Откройте /sitemap.xml и дочерние карты.
2. Выборочно откройте URL в браузере. Запишите статус и финальный адрес после редиректов.
3. Сверьте с Search Console и Яндекс Вебмастером: 404 «из sitemap» обычно приоритетнее остальных.
4. Если файл огромный, сделайте полный обход из Chrome, выгрузите CSV и отфильтруйте по статусу.

Практика

Пересоберите карту с живых публичных URL. Исключите noindex, каноникал «на другую страницу», ответы 3xx и 4xx. Если адрес переехал, в sitemap должен быть финальный URL, а не промежуточный редирект.

Чистая карта сама по себе не поднимет позиции. Грязная продолжает учить ботов устаревшей схеме сайта.