Генератор и проверка robots.txt
Введите адрес сайта — проверим его robots.txt: открыта ли главная Яндексу и Google, нет ли опечаток и лишних запретов. Ниже — генератор: соберёт новый файл под движок сайта.
Генератор robots.txt
Выберите движок и отметьте, что закрыть от поисковиков. Файл соберётся ниже — положите его в корень сайта, чтобы он открывался по адресу /robots.txt.
Tilda собирает robots.txt и sitemap.xml сама, отредактировать файл на Tilda нельзя — только если выгрузить сайт на свой хостинг. Закрыть страницу от поисковиков можно в её настройках в Tilda.
InSales создаёт robots.txt сам. Ниже — вариант с правилами, которые InSales ставит по умолчанию: сверьте с файлом магазина, прежде чем менять.
Полный адрес, с https:// и доменом. Оставьте пустым, если карты нет.
Как работает robots.txt
- Правила для роботов. Файл в корне сайта говорит поисковым роботам, какие адреса не обходить. Группа начинается с User-agent: «*» — все роботы, «Yandex» — Яндекс, «Googlebot» — Google.
- Какое правило сильнее. Из подходящих Allow и Disallow побеждает самое длинное, при равной длине — Allow. Поэтому «Allow: /bitrix/templates/» открывает стили, даже если выше стоит «Disallow: /bitrix/».
- Что закрывать. Служебные разделы, поиск, сортировки и фильтры, корзину — страницы без своего содержания. Стили и скрипты закрывать нельзя: без них поисковик не увидит страницу как человек.
- Чего robots.txt не умеет. Он не убирает страницу из поиска — Google может показать закрытый адрес без описания. Чтобы страницы не было в индексе, нужен meta robots noindex, а сама страница должна быть открыта в robots.txt — иначе робот noindex не увидит.
- Устаревшее. Host и Crawl-delay Яндекс не учитывает с 2018 года, Google — никогда. Главное зеркало задают 301-редиректом, скорость обхода — в Яндекс Вебмастере.
Сайт открыт роботам — пора в ТОП-10
Десятка.ру выведет запросы в ТОП-10 Яндекса — платите только за дни, когда они там стоят.