Инструмент

Генератор и проверка robots.txt

Рабочий стол — описания скрыты

Проверка robots.txt показывает, открыт ли сайт Яндексу и Google, и находит ошибки в файле, а генератор robots.txt собирает новый файл под движок сайта.

  • Итог для Яндекса и Google с номером строки
  • Опечатки, Disallow: /, Host, Crawl-delay, Clean-param
  • Закрытые стили и скрипты, карты Sitemap
  • Пресеты для WordPress, 1С-Битрикс и других движков

Генератор robots.txt

Выберите движок и отметьте, что закрыть от поисковиков. Файл соберётся ниже — положите его в корень сайта, чтобы он открывался по адресу /robots.txt.

Движок сайта
Что закрыть

Полный адрес, с https:// и доменом. Оставьте пустым, если карты нет.

Что такое robots.txt

Robots.txt — это текстовый файл в корне сайта, в котором владелец говорит поисковым роботам, какие адреса не обходить. Правила собраны в группы: группа начинается со строки User-agent — «*» для всех роботов, «Yandex» для Яндекса, «Googlebot» для Google, — дальше идут Disallow (запретить) и Allow (разрешить). Формат закреплён стандартом RFC 9309.

Одна строка в robots.txt может убрать из поиска весь сайт: например, на рабочий сайт выкатили файл с тестовой копии, где стоит Disallow: /. Обратная беда — открытые служебные страницы, поиск и фильтры: робот тратит на них обход, а в индекс попадают дубли. Поэтому проверка robots.txt нужна после запуска, переезда и смены движка.

Что проверяет инструмент

  • Открыт ли сайт — итог для Яндекса и Google по главной, а если ввести адрес страницы — и по ней: какое правило в какой строке её закрывает или открывает.
  • Опечатки и неизвестные директивы — «Dissalow» вместо «Disallow», строки без двоеточия, правила до первого User-agent, пути без «/» в начале, кириллица без кодирования.
  • Закрытый сайт — Disallow: / в группе Яндекса, Google или «*».
  • Закрытые стили и скрипты — проверяем настоящие CSS и JS главной и подсказываем строку Allow, которая их откроет.
  • Лишние директивы — Host и Crawl-delay, а также noindex, noarchive и другие, которых ни Яндекс, ни Google не выполняют.
  • Clean-param — параметры через «&», без значений, строка не длиннее 500 символов.
  • Sitemap — полный ли адрес и открываются ли первые три карты.
  • Сам файл — есть ли он, размер (норма — до 500 КБ) и все строки с подсветкой замечаний.

Если главная переадресует на другой хост, например на www, проверяется robots.txt этого хоста.

Как проверить robots.txt и собрать новый

  1. Введите адрес сайта, например site.ru, и нажмите «Проверить». Чтобы узнать, открыта ли конкретная страница, введите её полный адрес.
  2. Посмотрите итог для Яндекса и Google и список «Что поправить»: у каждого замечания — номер строки и подсказка.
  3. Прокрутите к генератору. Движок и адрес карты сайта подставятся сами, если их удалось определить. Отметьте, что закрыть: служебные разделы, поиск, сортировки и фильтры, — и нужно ли склеить адреса с UTM-метками для Яндекса.
  4. Скопируйте или скачайте robots.txt, положите его в корень сайта и проверьте сайт ещё раз.

Как читать результат проверки

Вверху — карточки Яндекса и Google: «Главная открыта» или «Закрыто от робота» с правилом и номером строки. Ниже — сводка по файлу и замечания с цветной полосой:

  • Красная — ошибка: опечатка в директиве, весь сайт закрыт, карты нет по указанному адресу, файл больше 500 КБ.
  • Оранжевая — стоит поправить: закрыты стили и скрипты, ошибка в Clean-param, неизвестная директива, правило вне группы.
  • Значок «i» — сведения: Host и Crawl-delay больше не нужны, строку можно удалить.

«Файла нет» показываем только при ответе 404 или 410 — тогда роботам можно всё. Ответ 401, 403 или 429 чаще означает защиту от ботов: поисковикам файл может открываться. Проверьте его в Яндекс Вебмастере: «Инструменты» → «Анализ robots.txt».

Частые ошибки в robots.txt

  • Disallow: / после запуска — файл с тестовой копии закрывает весь сайт, страницы выпадают из поиска. Удалите строку или замените на Disallow: без пути.
  • Закрыта папка со стилями — например, Disallow: /bitrix/ в 1С-Битрикс. Поисковик не видит страницу так, как человек. Откройте нужные папки строкой Allow: она длиннее запрета и поэтому сильнее.
  • Страницу убирают из поиска через robots.txt — запрет обхода не удаляет её из индекса, Google может показать адрес без описания. Нужен noindex, а страница должна быть открыта в robots.txt, иначе робот тег не увидит. Всё, что закрывает страницу, сведёт проверка индексируемости.
  • Закрыты роботы нейросетей — запрет для OAI-SearchBot или PerplexityBot убирает сайт из ответов ChatGPT или Perplexity, а GPTBot собирает тексты для обучения, и его закрывают без потерь. Каким ботам открыт сайт, покажет GEO-аудит.
  • Tilda — файл собирается автоматически, отредактировать его на Tilda нельзя; страницу закрывают от поиска в её настройках.

Нет строки Sitemap — добавьте полный адрес карты; если карты нет, соберите её в генераторе sitemap.xml.

Вопросы и ответы

Где должен лежать robots.txt?

В корне сайта: https://ваш-сайт/robots.txt. Файл в подпапке роботы не читают, у каждого поддомена — свой robots.txt.

Что будет, если robots.txt нет?

Роботам разрешено обходить весь сайт. Это не ошибка, но без файла не закрыть служебные разделы и не указать карту сайта.

Какое правило сильнее — Allow или Disallow?

Самое длинное из подходящих к адресу, при равной длине — Allow. Поэтому Allow: /bitrix/templates/ открывает папку, даже если в группе есть Disallow: /bitrix/.

Нужны ли Host и Crawl-delay?

Нет. Яндекс перестал учитывать Crawl-delay 22.02.2018, Host — тоже в 2018 году, Google их не выполняет.

Как закрыть весь сайт от индексации?

Строкой Disallow: / в группе User-agent: * — так закрывают тестовую копию. Если страницы уже в поиске, этого мало: надёжнее noindex или пароль на сайт.

Что такое Clean-param?

Это директива Яндекса, которая склеивает адреса, отличающиеся только параметрами, например UTM-метками. Параметры перечисляют через «&»: Clean-param: utm_source&utm_medium; Google эту директиву не поддерживает.

Подойдёт ли генератор для 1С-Битрикс и WordPress?

Да: в генераторе есть пресеты для WordPress, 1С-Битрикс, OpenCart, Joomla, MODX и InSales, а для своего движка — общий шаблон. Перед публикацией сверьте правила с адресами своего сайта.

Источники

Обновлено 02.10.2026 · Текст подготовила команда Десятки.ру

Правильный robots.txt — фундамент. Дальше — ТОП-10

Десятка.ру выведет запросы в ТОП-10 Яндекса — платите только за дни, когда они там стоят.

Начать продвижение

Что не понравилось?

Напишите, что не так или чего не хватает в «Генератор robots.txt», — мы доработаем. Отзыв читает команда Десятки.ру.

Проекты DELTALAB