Что такое llms.txt
llms.txt — это текстовый файл в формате Markdown в корне сайта, который коротко рассказывает нейросетям и ИИ-агентам, о чём сайт и где на нём главное. Формат предложен на llmstxt.org: заголовок H1 с названием, цитата с кратким описанием и разделы H2 со списками ссылок вида - [Название](адрес): описание.
llms.txt не заменяет robots.txt и sitemap.xml: он ничего не разрешает и не запрещает и не перечисляет все страницы. Его задача — дать ИИ-агенту выжимку вместо меню, рекламы и скриптов. Это не стандарт: Яндекс и Google официально на файл не опираются, но делается он за минуты, а читает его часть ИИ-агентов и сервисов для разработчиков.
Как генератор собирает llms.txt
- Название и описание — с главной страницы: название из
og:site_name, а если его нет — из title без хвоста; описание — из meta description. - Страницы — из sitemap.xml: адрес карты берём из robots.txt, иначе
/sitemap.xml. Индексные карты и сжатые .gz раскрываем, адреса других доменов отбрасываем. - Заголовки — открываем первые 30 страниц карты и берём
og:title, H1 или title, описание — из meta description. Страницы с ошибкой или редиректом пропускаем. - Разделы — по первой части адреса:
/catalog/…,/blog/…. Страницы первого уровня идут в «Основное». - Чистка — хвост с названием сайта («— Сайт») убираем, если он есть хотя бы у половины страниц.
Рядом с готовым файлом — три проверки: есть ли llms.txt на сайте сейчас, нашлась ли карта сайта и открыт ли сайт ботам нейросетей, которые отвечают пользователям.
Как создать llms.txt для сайта
- Введите адрес сайта, например
site.ru, и нажмите «Собрать». - Посмотрите, сколько страниц вошло в файл, и проверки над ним.
- Скопируйте текст или скачайте llms.txt и поправьте его в редакторе: оставьте самое важное, допишите описания, добавьте разделы, которых нет в карте сайта.
- Положите файл в корень сайта в кодировке UTF-8, чтобы он открывался по адресу
https://ваш-сайт/llms.txt.
Как читать результат
- «Страниц в файле: N» — зелёная плашка, если в файл попала хотя бы одна страница из карты. Оранжевая с нулём — карта не нашлась или её страницы не открылись, и в файле только главная.
- llms.txt на сайте — «Есть» с заголовком и числом ссылок; «Есть, но без заголовка» — файл не по формату, первой строкой нужен
#с названием; «Нет» — положите собранный файл. - Карта сайта — сколько адресов нашли и сколько вошло в файл. Карты нет — допишите важные разделы вручную или соберите её в генераторе sitemap.xml.
- Доступ нейросетей — открыт ли сайт ботам ответов. Если закрыт, llms.txt не поможет: сначала поправьте robots.txt.
Под отчётом — таблица «Каким AI-ботам открыт сайт» с правилом robots.txt для каждого бота.
Частые ошибки в llms.txt
- Копия карты сайта — в файл выгружают сотни адресов без описаний. llms.txt — выжимка: оставьте главные страницы, генератор и так берёт не больше 30.
- Ссылки без описаний — у страниц без meta description в файле только название. Допишите после двоеточия, что человек найдёт на странице, а description проверьте в инструменте «Проверка мета-тегов».
- HTML вместо файла — на адрес /llms.txt сайт отвечает своей страницей с кодом 200. Это не llms.txt: положите в корень текстовый файл.
- Устаревшие ссылки — разделы переименовали, а файл остался прежним. Пересобирайте llms.txt, когда меняются главные разделы.
- Боты нейросетей закрыты в robots.txt — файл есть, но читать сайт ботам запрещено. Доступ и готовность страниц к ответам проверит GEO-аудит.
Вопросы и ответы
Что такое llms.txt простыми словами?
Это короткий путеводитель по сайту для нейросетей: название, пара предложений о сайте и ссылки на главные страницы с описаниями. Лежит в корне сайта по адресу /llms.txt.
Нужен ли llms.txt для продвижения в Яндексе и Google?
Нет, Яндекс и Google официально на него не опираются. Файл полезен ИИ-агентам и сервисам, которые его читают, а делается за минуты.
Где должен лежать llms.txt?
В корне сайта: https://ваш-сайт/llms.txt, в кодировке UTF-8. Формат llmstxt.org допускает и файлы в подпапках, например /docs/llms.txt, — такой файл описывает свой раздел.
Чем llms.txt отличается от robots.txt и sitemap.xml?
robots.txt говорит роботам, что нельзя обходить, sitemap.xml перечисляет страницы для поисковиков, а llms.txt даёт нейросетям короткую выжимку главного. Друг друга эти файлы не заменяют.
Почему в файл попали не все страницы?
Генератор открывает только первые 30 адресов из карты сайта и пропускает страницы без заголовка, с ошибкой или редиректом. Остальные важные страницы допишите вручную.
Что делать, если у сайта нет sitemap.xml?
В файл попадёт только главная страница. Допишите разделы вручную или сначала соберите карту сайта, а потом запустите генератор ещё раз.