Зачем проверять роботов
В логах сервера каждый запрос подписан User-Agent — строкой, которой программа представляется. Написать в ней «Googlebot» или «YandexBot» может кто угодно: так делают парсеры, сканеры уязвимостей и боты, которые грузят сервер, надеясь, что роботов поисковиков владелец не заблокирует.
Блокировать по User-Agent нельзя: можно закрыть настоящего робота, и сайт выпадет из поиска. А разрешать всем, кто назвался Googlebot, — значит пускать подделки. Поисковики советуют проверять адрес.
Как работает проверка
- Обратный DNS. Для адреса узнаём имя (PTR). У настоящих роботов оно на домене поисковика: yandex.ru, yandex.net или yandex.com у Яндекса, googlebot.com, google.com или googleusercontent.com у Google, search.msn.com у Bing.
- Прямой запрос. Имя должно указывать обратно на тот же адрес: обратный DNS подделать можно, а прямой у чужого домена — нет. Так советуют справки Яндекса и Google.
- Списки адресов. Google, Bing, Apple, OpenAI, Perplexity и Anthropic публикуют диапазоны адресов своих роботов. Ботов нейросетей без обратного DNS узнаём по ним.
- Строки лога. Вставьте строки access.log как есть: из каждой возьмём адрес и имя робота из User-Agent. Назвался роботом, а адрес чужой — подделка.
Как проверить робота
- Скопируйте из лога сервера строки с подозрительными запросами или только IP-адреса — до 20 штук.
- Вставьте их в поле и нажмите «Проверить».
- Подделки закройте по IP в настройках сервера или защиты от ботов. Настоящих роботов не трогайте.
Частые вопросы
- «Не робот поисковика» — адрес не принадлежит ни одному известному роботу и в User-Agent он роботом не назывался. Это может быть посетитель, сервис мониторинга или другой бот.
- Бот нейросети не опознан — если источник списка адресов не ответил, итог об этом скажет: проверьте позже.
- Закрыть ботов нейросетей можно правилами в robots.txt — проверьте их в проверке robots.txt.
Хостинг и сеть любого адреса из лога покажет «IP-адрес и хостинг».
Вопросы и ответы
Как проверить, что это настоящий робот Яндекса?
Вставьте IP-адрес из лога. Обратный DNS настоящего YandexBot оканчивается на yandex.ru, yandex.net или yandex.com, а прямой запрос этого имени возвращает тот же адрес.
Как отличить настоящий Googlebot от поддельного?
По адресу: у настоящего обратный DNS на googlebot.com, google.com или googleusercontent.com с подтверждением прямым запросом, либо адрес входит в опубликованные Google диапазоны.
Можно ли вставить строки лога целиком?
Да, до 20 адресов. Из каждой строки возьмём IP-адрес и имя робота из User-Agent; если назвался роботом, а адрес чужой, — отметим подделку.
Как узнать бота ChatGPT и других нейросетей?
OpenAI, Perplexity и Anthropic публикуют списки адресов своих роботов. Проверяем по ним: GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot.
Что делать с поддельными роботами?
Закрыть по IP-адресу в настройках сервера или защиты от ботов. Настоящих роботов поисковиков блокировать нельзя — сайт выпадет из поиска.