Техническое SEO: robots.txt, sitemap, редиректы, индексация
Настройка файлов и серверных правил, от которых зависит индексация сайта: robots.txt, карта сайта, редиректы и мгновенное уведомление поисковиков.
Материалы раздела
- 301 редирект: как настроить и проверить Постоянный редирект переносит посетителя и поисковый вес со старого адреса на новый. В руководстве — синтаксис правила, готовые примеры…
- IndexNow: практическое руководство по настройке IndexNow — открытый протокол, который позволяет сайту сразу сообщать поисковым системам об изменении адресов. Руководство описывает…
- robots.txt для сайта: как составить, настроить и проверить Файл robots.txt задаёт правила обхода сайта поисковыми роботами: какие разделы открыты, какие закрыты и где лежит карта сайта. В…
- Sitemap.xml: как создать карту сайта и настроить её правильно Sitemap.xml — служебный XML-файл с перечнем адресов сайта, который помогает поисковым роботам находить и обходить страницы. В руководстве…
Частые вопросы
Как быстро поисковые системы учитывают 301 редирект?
Мгновенного эффекта не бывает. Обычно переобход занимает от нескольких дней до нескольких недель и зависит от частоты обхода сайта, количества ссылок на старый адрес и корректности настройки. Ускорять процесс имеет смысл через карту сайта и запрос переобхода в панелях вебмастера.
Заменяет ли IndexNow карту сайта sitemap.xml?
Нет. Sitemap остаётся способом сообщить обо всех адресах сайта, а IndexNow лишь уведомляет об изменениях конкретных URL. Протокол не отменяет и robots.txt: правила обхода действуют так же, как и раньше.
Где должен лежать файл robots.txt?
Только в корне домена — по адресу https://ваш-домен/robots.txt. Файл в подкаталоге, например /blog/robots.txt, поисковые роботы не читают. Для каждого поддомена и протокола нужен отдельный файл.
Обязателен ли sitemap.xml для попадания сайта в индекс?
Нет. Поисковые роботы находят страницы по внутренним и внешним ссылкам, а карта сайта лишь помогает обходу. Сайт без sitemap.xml может индексироваться нормально, а сайт с картой — не попасть в индекс из-за качества контента или технических проблем.