Что такое ответ сервера и зачем его проверять
Ответ сервера — это то, что сайт возвращает на запрос браузера или поискового робота: трёхзначный код состояния HTTP, служебные заголовки и содержимое страницы. По коду робот Яндекса или Google решает, что делать со страницей: 200 — страница открывается и её можно индексировать, 301 или 302 — она переехала на другой адрес, 404 — страницы нет, 5xx — сломан сервер.
Посетитель ошибки в ответе сервера часто не замечает: браузер молча пройдёт редирект. Поисковик же видит лишние переходы, дубли страницы по разным адресам и запреты в заголовках. Проверка ответа сервера показывает это за один запрос — до того, как страница выпадет из индекса.
Что проверяет инструмент
- Код ответа конечной страницы. Норма — 200; 4xx и 5xx — ошибка: такая страница в индекс не попадёт.
- Редиректы — до пяти переадресаций, каждый шаг с кодом и временем. Один постоянный редирект (301 или 308) — норма. Временный (302, 303, 307) или цепочка из двух переходов и больше — предупреждение.
- Время до первого байта — меньше 600 мс считается нормой, от 600 до 1500 мс — предупреждение, 1500 мс и больше — ошибка. Время разбито на этапы: DNS, соединение, TLS, первый байт, всего.
- Сжатие — gzip или brotli для HTML-страниц: без сжатия страница весит в 3–5 раз больше. Ответ тяжелее 2 МБ отмечается отдельно.
- HTTPS и HSTS — страница по http — ошибка; заголовок Strict-Transport-Security необязателен, но полезен.
- X-Robots-Tag —
noindexилиnoneв заголовке запрещает индексацию страницы, это ошибка. - Last-Modified — дата изменения страницы: по ней Яндекс решает, переобходить ли страницу.
- Главное зеркало — четыре варианта главной: http и https, с www и без. Все должны вести на один адрес с кодом 200.
- Слеш на конце — у внутренних страниц: если адрес со слешем и без него отвечает 200, это дубль.
Ниже итога — все заголовки ответа с пояснениями. Запрос идёт с сервера в Москве от имени нашего сервиса, а не робота Яндекса или Google.
Как проверить ответ сервера
- Вставьте адрес страницы — можно без
https://, напримерsite.ru/catalog. Кириллические домены тоже подходят. - Нажмите «Проверить»: инструмент пройдёт все редиректы и проверит четыре варианта главной.
- Посмотрите блок «Итог», затем цепочку запросов, время по этапам и главное зеркало.
- Исправьте найденное и проверьте ещё раз. Ссылку на результат можно отправить разработчику.
Как читать результат
У каждой строки итога — цветная полоса и значок слева:
- Зелёная, галочка — норма: код 200, один постоянный редирект, быстрый ответ, сжатие включено.
- Оранжевая, треугольник — стоит поправить: временный редирект, цепочка переходов, медленный ответ, нет сжатия.
- Красная, крестик — ошибка, которая мешает индексации или безопасности: код 4xx или 5xx, сайт без HTTPS, запрет в X-Robots-Tag, ответ от 1500 мс.
- Серая, «i» — сведения без оценки: вес ответа, Last-Modified, отсутствие HSTS.
В цепочке запросов коды 2xx выделены зелёным, 3xx — оранжевым, 4xx и 5xx — красным. Вердикт по главному зеркалу красный, если сайт открывается по нескольким адресам, и оранжевый, если зеркала склеены временным редиректом.
Частые ошибки и как их исправить
- Зеркала не склеены — сайт открывается и по
http://site.ru, и поhttps://www.site.ru. Поисковик видит дубли всего сайта. Настройте постоянный редирект 301 на одно зеркало: на Apache — в.htaccess, на nginx — в конфигурации сайта. - Временный редирект вместо постоянного — 302 после переезда страницы. Поисковик может оставить в индексе старый адрес. Если адрес сменился насовсем, нужен 301.
- Цепочка редиректов — http → https → www → адрес со слешем. Каждый шаг замедляет открытие страницы и обход сайта роботом. Ведите со старого адреса сразу на конечный.
- Нет сжатия — включите gzip или brotli в настройках веб-сервера или хостинга.
- Забытый
X-Robots-Tag: noindex— запрет переносят с тестового сервера вместе с настройками, а в коде страницы его не видно. Все запреты разом покажет «Индексируемость страницы». - 404 вместо редиректа после переезда — старые адреса из поиска ведут в никуда. Найти такие ссылки поможет поиск битых ссылок.
Если сервер отвечает быстро, а страница у посетителей открывается медленно, проверьте скорость страницы: время ответа сервера — только часть загрузки.
Вопросы и ответы
Какой код ответа должен быть у страницы?
200 OK. Только страницы с кодом 200 попадают в индекс: адрес с редиректом поисковик заменяет конечной страницей, а страницы с кодом 404 и 5xx не индексирует.
Чем редирект 301 отличается от 302?
301 — постоянный редирект, 302 — временный. Яндекс считает постоянными 301 и 308, временными — 302, 303 и 307; при переезде страницы и склейке зеркал нужен постоянный.
Что такое главное зеркало сайта?
Главное зеркало — это адрес, по которому сайт показывается в поиске, например https://site.ru. Остальные варианты — с www и по http — должны вести на него постоянным редиректом 301, иначе поисковик видит дубли.
Какое время ответа сервера считается нормальным?
Меньше 600 мс до первого байта. От 600 до 1500 мс — повод проверить кэширование и нагрузку, 1500 мс и больше — ошибка; замер идёт из Москвы, из других регионов время может отличаться.
Зачем нужен заголовок Last-Modified?
Last-Modified сообщает дату последнего изменения страницы. Яндекс советует отдавать её и отвечать кодом 304, если страница не менялась: так робот быстрее обходит сайт.
Сколько редиректов проходит инструмент?
До пяти. Если переадресаций больше или вся цепочка не укладывается в 24 секунды, проверка остановится и покажет, где цепочка оборвалась.