Что делает каждый файл
sitemap.xml помогает поисковым системам находить постоянные страницы. В нём полезно перечислять канонические URL, исключив служебную 404-страницу. robots.txt описывает рекомендации по обходу путей; это не механизм безопасности и не способ спрятать конфиденциальные данные. Закрытые адреса нельзя защищать одной записью Disallow.
Как поддерживать файлы в порядке
После изменения структуры страниц проверяйте все адреса карты сайта на существование. Не добавляйте туда каждый вариант адреса с www и без www одновременно. robots.txt должен содержать абсолютную ссылку на sitemap. Отсутствующие страницы должны возвращать HTTP 404, а не успешный статус с текстом «не найдено».
На статическом сайте карта может генерироваться из списка страниц при каждой сборке, без ручного редактирования XML.
Три пункта для проверки
- Проверьте, что URL в sitemap отвечают успешно.
- Исключите служебные и дублирующиеся адреса.
- Не считайте robots.txt средством ограничения доступа.