Генератор robots.txt

Выберите движок сайта, отметьте, что закрыть от обхода, и укажите адрес карты сайта — генератор соберёт корректный robots.txt с общими правилами и отдельным блоком для Яндекса.

Закрыть от обхода

Что учитывает генератор

  • Служебные разделы движка. Для WordPress закрываются админка и служебные скрипты (с исключением admin-ajax.php, который нужен темам), для Битрикса — /bitrix/, /auth/ и личный кабинет, для OpenCart — служебные маршруты.
  • Стили и скрипты остаются открытыми. Поисковикам нужны CSS и JS, чтобы увидеть страницу так же, как посетитель.
  • Отдельный блок для Яндекса с директивой Clean-param, которая убирает дубли с метками.
  • Строка Sitemap с абсолютным адресом карты сайта.

Как установить robots.txt

  1. Скачайте файл и загрузите его в корень сайта через файловый менеджер хостинга или FTP. В WordPress можно использовать SEO-плагин, в Битриксе — встроенный редактор robots.txt, в Tilda — настройки сайта.
  2. Откройте https://ваш-сайт/robots.txt и убедитесь, что файл отдаётся с кодом 200 и в кодировке UTF-8.
  3. Проверьте ключевые страницы в анализаторах robots.txt Яндекса и Google: они должны быть разрешены к обходу.

Синтаксис директив, приоритет правил Allow и Disallow и типичные ошибки разобраны в руководстве по robots.txt.

Обновлено: . Инструмент работает в вашем браузере: введённые данные не отправляются на сервер.

Частые вопросы

Где должен лежать robots.txt?

Только в корне сайта: https://example.ru/robots.txt. Для каждого поддомена нужен свой файл. Робот не ищет robots.txt во вложенных папках.

Закрывает ли Disallow страницу от индексации?

Не гарантированно. Disallow запрещает обход, но страница может попасть в индекс по внешним ссылкам без описания. Чтобы надёжно убрать страницу из поиска, откройте её для обхода и добавьте meta robots noindex. Подробнее — в руководстве «Robots.txt».

Что такое Clean-param и нужен ли он?

Это директива Яндекса: она говорит, что GET-параметры (метки utm, сортировки, идентификаторы сессий) не меняют содержимое страницы. Робот перестаёт обходить дубли с такими параметрами. Google директиву не поддерживает и просто игнорирует.

Нужна ли директива Host?

Нет. Яндекс прекратил поддержку Host в 2018 году; главное зеркало определяется по 301-редиректу и настройкам в Вебмастере. Оставшаяся строка Host не мешает, но и пользы не приносит.

Как проверить готовый файл?

Откройте его в браузере по адресу /robots.txt и проверьте анализаторами robots.txt в инструментах для вебмастеров Яндекса и Google: они показывают, разрешён ли обход конкретного URL.

По теме