Что такое robots.txt
Robots.txt — это текстовый файл в корне сайта, в котором владелец говорит поисковым роботам, какие адреса не обходить. Правила собраны в группы: группа начинается со строки User-agent — «*» для всех роботов, «Yandex» для Яндекса, «Googlebot» для Google, — дальше идут Disallow (запретить) и Allow (разрешить). Формат закреплён стандартом RFC 9309.
Одна строка в robots.txt может убрать из поиска весь сайт: например, на рабочий сайт выкатили файл с тестовой копии, где стоит Disallow: /. Обратная беда — открытые служебные страницы, поиск и фильтры: робот тратит на них обход, а в индекс попадают дубли. Поэтому проверка robots.txt нужна после запуска, переезда и смены движка.
Что проверяет инструмент
- Открыт ли сайт — итог для Яндекса и Google по главной, а если ввести адрес страницы — и по ней: какое правило в какой строке её закрывает или открывает.
- Опечатки и неизвестные директивы — «Dissalow» вместо «Disallow», строки без двоеточия, правила до первого User-agent, пути без «/» в начале, кириллица без кодирования.
- Закрытый сайт —
Disallow: /в группе Яндекса, Google или «*». - Закрытые стили и скрипты — проверяем настоящие CSS и JS главной и подсказываем строку Allow, которая их откроет.
- Лишние директивы — Host и Crawl-delay, а также noindex, noarchive и другие, которых ни Яндекс, ни Google не выполняют.
- Clean-param — параметры через «&», без значений, строка не длиннее 500 символов.
- Sitemap — полный ли адрес и открываются ли первые три карты.
- Сам файл — есть ли он, размер (норма — до 500 КБ) и все строки с подсветкой замечаний.
Если главная переадресует на другой хост, например на www, проверяется robots.txt этого хоста.
Как проверить robots.txt и собрать новый
- Введите адрес сайта, например
site.ru, и нажмите «Проверить». Чтобы узнать, открыта ли конкретная страница, введите её полный адрес. - Посмотрите итог для Яндекса и Google и список «Что поправить»: у каждого замечания — номер строки и подсказка.
- Прокрутите к генератору. Движок и адрес карты сайта подставятся сами, если их удалось определить. Отметьте, что закрыть: служебные разделы, поиск, сортировки и фильтры, — и нужно ли склеить адреса с UTM-метками для Яндекса.
- Скопируйте или скачайте robots.txt, положите его в корень сайта и проверьте сайт ещё раз.
Как читать результат проверки
Вверху — карточки Яндекса и Google: «Главная открыта» или «Закрыто от робота» с правилом и номером строки. Ниже — сводка по файлу и замечания с цветной полосой:
- Красная — ошибка: опечатка в директиве, весь сайт закрыт, карты нет по указанному адресу, файл больше 500 КБ.
- Оранжевая — стоит поправить: закрыты стили и скрипты, ошибка в Clean-param, неизвестная директива, правило вне группы.
- Значок «i» — сведения: Host и Crawl-delay больше не нужны, строку можно удалить.
«Файла нет» показываем только при ответе 404 или 410 — тогда роботам можно всё. Ответ 401, 403 или 429 чаще означает защиту от ботов: поисковикам файл может открываться. Проверьте его в Яндекс Вебмастере: «Инструменты» → «Анализ robots.txt».
Частые ошибки в robots.txt
Disallow: /после запуска — файл с тестовой копии закрывает весь сайт, страницы выпадают из поиска. Удалите строку или замените наDisallow:без пути.- Закрыта папка со стилями — например,
Disallow: /bitrix/в 1С-Битрикс. Поисковик не видит страницу так, как человек. Откройте нужные папки строкой Allow: она длиннее запрета и поэтому сильнее. - Страницу убирают из поиска через robots.txt — запрет обхода не удаляет её из индекса, Google может показать адрес без описания. Нужен
noindex, а страница должна быть открыта в robots.txt, иначе робот тег не увидит. Всё, что закрывает страницу, сведёт проверка индексируемости. - Закрыты роботы нейросетей — запрет для OAI-SearchBot или PerplexityBot убирает сайт из ответов ChatGPT или Perplexity, а GPTBot собирает тексты для обучения, и его закрывают без потерь. Каким ботам открыт сайт, покажет GEO-аудит.
- Tilda — файл собирается автоматически, отредактировать его на Tilda нельзя; страницу закрывают от поиска в её настройках.
Нет строки Sitemap — добавьте полный адрес карты; если карты нет, соберите её в генераторе sitemap.xml.
Вопросы и ответы
Где должен лежать robots.txt?
В корне сайта: https://ваш-сайт/robots.txt. Файл в подпапке роботы не читают, у каждого поддомена — свой robots.txt.
Что будет, если robots.txt нет?
Роботам разрешено обходить весь сайт. Это не ошибка, но без файла не закрыть служебные разделы и не указать карту сайта.
Какое правило сильнее — Allow или Disallow?
Самое длинное из подходящих к адресу, при равной длине — Allow. Поэтому Allow: /bitrix/templates/ открывает папку, даже если в группе есть Disallow: /bitrix/.
Нужны ли Host и Crawl-delay?
Нет. Яндекс перестал учитывать Crawl-delay 22.02.2018, Host — тоже в 2018 году, Google их не выполняет.
Как закрыть весь сайт от индексации?
Строкой Disallow: / в группе User-agent: * — так закрывают тестовую копию. Если страницы уже в поиске, этого мало: надёжнее noindex или пароль на сайт.
Что такое Clean-param?
Это директива Яндекса, которая склеивает адреса, отличающиеся только параметрами, например UTM-метками. Параметры перечисляют через «&»: Clean-param: utm_source&utm_medium; Google эту директиву не поддерживает.
Подойдёт ли генератор для 1С-Битрикс и WordPress?
Да: в генераторе есть пресеты для WordPress, 1С-Битрикс, OpenCart, Joomla, MODX и InSales, а для своего движка — общий шаблон. Перед публикацией сверьте правила с адресами своего сайта.