Что такое индексируемость страницы
Индексируемость — это возможность страницы попасть в индекс поисковой системы: робот может её скачать, индексировать её не запрещено, и она не объявлена копией другой страницы. Закрытой страницы в поиске не будет, сколько бы сил ни ушло на текст и ссылки.
Запрет может прятаться в пяти местах: в файле robots.txt, в теге meta robots, в HTTP-заголовке X-Robots-Tag, в теге canonical и в коде ответа сервера. Часть запретов видна только роботу, поэтому страница нормально открывается в браузере и при этом не индексируется. Проверка индексации сводит все сигналы в один ответ — отдельно для Яндекса и Google, потому что правила для их роботов могут различаться.
Инструмент проверяет запреты, а не факт индексации. Есть ли страница в индексе на самом деле, показывают Яндекс Вебмастер и Google Search Console.
Что проверяет инструмент
- Код ответа — в индекс попадают страницы с кодом 200, любой другой код — причина отказа.
- Редиректы — адрес с редиректом сам в индекс не попадёт, поэтому дальше проверяется конечная страница. Инструмент проходит до пяти переадресаций.
- robots.txt — правила Disallow и Allow. Для Яндекса ищем группу
User-agent: YandexBot, затемYandexи*; для Google —Googlebot, затем*. Побеждает самое длинное подходящее правило, при равной длине — Allow; символы*и$учитываются. Найденный запрет показываем с номером строки и группой. - Meta robots —
noindexилиnoneв тегеrobotsи в тегах для конкретного робота:yandexиgooglebot. - X-Robots-Tag — тот же запрет в заголовке ответа сервера, общий или адресованный роботу, например
googlebot: noindex. - Canonical — если он указывает на другой адрес, поисковик скорее проиндексирует тот адрес.
robots.txt скачивается до 512 КБ. Нет файла (код 4xx) — разрешено всё; сервер отвечает 5xx или молчит — предупреждение. Карты сайта из robots.txt выводятся списком.
Как проверить индексацию страницы
- Вставьте адрес страницы, которую не находите в поиске, — можно без
https://. - Нажмите «Проверить»: инструмент скачает страницу и robots.txt сайта.
- Посмотрите вердикты для Яндекса и Google и причины под ними.
- Ниже, в блоке «Что проверили», — каждый сигнал отдельно.
- Уберите запрет, проверьте страницу ещё раз и отправьте её на переобход в Яндекс Вебмастере или через IndexNow.
Как читать результат
Для каждого поисковика — один из трёх вердиктов:
- «Может попасть в индекс», зелёный — запретов нет. Дальше всё решает качество содержимого.
- «Может не попасть в индекс», оранжевый — явного запрета нет, но есть риск: canonical на другой адрес или robots.txt не отвечает.
- «Не попадёт в индекс», красный — найден запрет: правило robots.txt, noindex, код ответа не 200 или редирект.
В блоке «Что проверили» у каждого сигнала своя полоса: зелёная — норма, оранжевая — стоит проверить, красная — запрет, серая — сведения. Если вердикты для Яндекса и Google разные, ищите правило для одного робота: его группу в robots.txt или тег yandex либо googlebot.
Почему страница не индексируется: частые причины
Disallow: /после разработки — весь сайт закрыт в robots.txt и пропадает из поиска. Удалите правило; собрать правильный файл поможет генератор robots.txt.- Галочка в WordPress — «Попросить поисковые системы не индексировать сайт» в настройках чтения закрывает все страницы. Снимите её после запуска.
- noindex в заголовке сервера — X-Robots-Tag не виден в коде страницы, его задают в настройках сервера. Все заголовки ответа покажет инструмент «Ответ сервера».
- Один canonical на все страницы — шаблон подставляет адрес главной, и поисковик склеивает страницы с ней. Canonical каждой страницы должен вести на её собственный адрес.
- Ссылки на адрес с редиректом — в поиск попадает конечный адрес, а не тот, что стоит в меню или рекламе. Ставьте ссылки сразу на конечный адрес.
Вопросы и ответы
Почему страницы нет в Яндексе?
Чаще всего из-за запрета: правила в robots.txt, noindex в meta robots или X-Robots-Tag, canonical на другой адрес или кода ответа не 200. Если запретов нет, причину покажет Яндекс Вебмастер: страница может быть ещё не обойдена или исключена из поиска.
Чем noindex отличается от Disallow в robots.txt?
Disallow запрещает роботу скачивать страницу, а noindex — показывать её в поиске. Google может показать закрытый в robots.txt адрес без описания, если на него ведут ссылки, поэтому для удаления из поиска надёжнее noindex.
Можно ли закрыть страницу только от Яндекса?
Да. Добавьте правило в группу User-agent: Yandex в robots.txt или тег <meta name="yandex" content="noindex"> — инструмент показывает вердикты для Яндекса и Google отдельно.
Что будет, если canonical указывает на другую страницу?
Поисковик скорее всего проиндексирует адрес из canonical, а эту страницу склеит с ним. Canonical — подсказка, а не строгий запрет, поэтому инструмент отмечает его предупреждением.
Что делать, если robots.txt не открывается?
Починить ответ сервера, если robots.txt отдаёт 5xx или не отвечает: роботы могут временно перестать обходить сайт. Код 4xx не страшен — поисковики понимают его как «разрешено всё».
Показывает ли инструмент, есть ли страница в индексе?
Нет. Он проверяет запреты, а точные данные об индексации есть у владельца сайта в Яндекс Вебмастере и Google Search Console.