Sitemap и robots.txt: что проверить перед запуском сайта
Перед открытием сайта для поиска недостаточно просто удалить временную заглушку. Ошибка в robots.txt может закрыть важный раздел от обхода, а в Sitemap могут остаться тестовые адреса. Эти два файла выполняют разные задачи, поэтому их проверяют отдельно.
За что отвечает robots.txt
Файл robots.txt лежит в корне сайта и задаёт правила обхода для поисковых роботов. В нём обычно закрывают служебные разделы, результаты внутреннего поиска и технические URL, которые не нужны в выдаче.
Запрет обхода не является надёжным способом удалить уже известную страницу из поиска. Яндекс прямо указывает, что закрытый в robots.txt адрес всё равно может участвовать в поиске. Для удаления используют подходящий способ на самой странице или в ответе сервера, оставляя роботу возможность увидеть указание.
За что отвечает Sitemap
Sitemap сообщает поисковой системе об актуальных страницах сайта. В файл включают канонические URL, которые доступны посетителям и должны участвовать в поиске. Само присутствие адреса в Sitemap не гарантирует его индексацию.
Не добавляйте туда административные страницы, результаты поиска, черновики, адреса с параметрами и URL, которые перенаправляют на другое место. Если карта сайта разбита на несколько файлов, проверьте и индекс Sitemap, и каждый вложенный файл.
Проверка перед запуском
- Откройте
/robots.txtи/sitemap.xmlбез авторизации. Сервер должен вернуть ответ 200. - Убедитесь, что правило
Disallowне закрывает услуги, статьи, изображения и другие нужные разделы. - Проверьте протокол и основной вариант домена во всех адресах Sitemap.
- Возьмите несколько URL из каждой группы и убедитесь, что они открываются без редиректа и возвращают 200.
- Сравните адреса с canonical на самих страницах.
- Укажите путь к Sitemap в
robots.txtили добавьте файл в Яндекс Вебмастер.
Проверьте правила на конкретных адресах
В Яндекс Вебмастере есть анализатор robots.txt. Вставьте в него главную страницу, одну услугу, статью, изображение и служебный URL. Так можно увидеть не только синтаксическую ошибку, но и неожиданное действие слишком широкого правила.
Sitemap также нужно проверить в Вебмастере. Если файл недоступен, закрыт правилами обхода или возвращает код, отличный от 200, Яндекс не сможет его обработать.
Что посмотреть после открытия сайта
После запуска убедитесь, что публичные страницы больше не отдают noindex и не требуют пароль. Затем следите в Вебмастере за обходом, исключёнными страницами и сообщениями о файлах. Изменения появляются не мгновенно: важен результат следующего посещения робота.
Проверка технических файлов, кодов ответа, канонических адресов и страниц в поиске входит в мой SEO-аудит сайта.
