Как проверить индексацию сайта

Индексация, обход и позиции — разные результаты

Страница открывается в браузере, но её не видно в поиске. Это ещё не диагноз: поисковая система могла не обнаружить адрес, не получить содержимое, выбрать другой URL основной версией или не показать документ по конкретному запросу. Для каждой ситуации нужны свои доказательства. Начинайте с состояния страницы, а не с переписывания текста и повторных отправок на переобход.

Например, услуга может находиться в индексе, но не получать показов по конкурентному запросу. Это задача анализа спроса, содержания и продвижения. Другая услуга может быть случайно закрыта от индексирования: пока запрет действует, работа с формулировкой заголовка не устраняет причину.

Цель проверки — получить список важных адресов, подтверждённые статусы и понятные следующие действия. Не нужно добиваться попадания в поиск всех технических URL, которые способен создать сайт.

Составьте список страниц, которые нужны в поиске

Выгрузите опубликованные страницы из CMS. Отдельно отметьте услуги, категории, товары, статьи и региональные страницы. Для каждого типа решите, нужен ли самостоятельный поисковый результат. Корзина, личный кабинет, черновик и техническая страница благодарности обычно решают другую задачу.

Сверьте реестр с внутренними ссылками и XML-картой сайта. Эти источники помогают находить расхождения, но не заменяют друг друга: карта может быть неполной, а обход по ссылкам — не обнаружить страницу, на которую никто не ссылается. Зафиксируйте дату выгрузки и основной вариант домена.

• Для каждой записи сохраните полный URL, тип страницы и ожидаемый статус.
• Разделите новые публикации, старые важные страницы и намеренно исключённые документы.
• Для переехавшего адреса укажите конечный URL после редиректа.
• Сохраните историю недавних изменений: перенос сайта, обновление шаблона, настройки CMS, фильтры каталога.

Проверьте доступ к нужному ресурсу в Google Search Console и Яндекс Вебмастере. Ошибка выбора домена или префикса способна объяснить пустой отчёт. Без подтверждённого доступа можно сделать внешнюю проверку, но причины исключения и полный набор доступных владельцу сведений останутся неподтверждёнными.

Что показывает оператор site: и чего он не доказывает

Откройте поисковую систему и выполните запрос site:example.com, заменив домен своим. Затем сузьте проверку до раздела или конкретного адреса: site:https://example.com/services/. Пробела между двоеточием и адресом быть не должно. Посмотрите, какие URL и заголовки появились в результатах.

Так можно быстро заметить тестовый поддомен, старые названия, нежелательные параметры или неподходящий вариант адреса. Однако отсутствие URL в этом ответе не является достаточным доказательством отсутствия страницы в индексе. Google прямо предупреждает, что выдача оператора site: неполная, а порядок результатов без дополнительного запроса не показывает обычные позиции сайта.

Не рассчитывайте процент индексации по приблизительному счётчику результатов. Не требуйте одинакового количества страниц в Google и Яндексе: их данные обновляются независимо. Сравнивать полезнее конкретные важные URL и причины их отсутствия.

Проверьте URL в Search Console

Выберите ресурс и вставьте полный адрес в верхнюю строку проверки URL. Начальный результат относится к известной Google версии страницы. Раскройте сведения об индексировании, сохраните дату последнего обхода, доступность загрузки и выбранный канонический адрес. Подробности инструмента описаны в официальной справке проверки URL.

1. Убедитесь, что проверяете нужный протокол, поддомен и путь.
2. Запишите общий статус и конкретную причину, если URL не включён в индекс.
3. Сравните каноническую страницу, указанную сайтом, с выбранной Google.
4. Посмотрите дату обхода: робот мог ещё не увидеть сегодняшнее исправление.
5. Если нужно проверить текущее состояние, запустите «Проверить опубликованную страницу» — Test Live URL.

Живой тест и сохранённые данные отвечают на разные вопросы. Первый помогает проверить текущую доступность, второй — понять результат последней обработки. Успешный живой тест не гарантирует включения в индекс и не предсказывает выбор канонической версии. Эти различия разобраны в руководстве по диагностике одной страницы.

Если страница перенаправляет посетителя, отдельно проверьте исходный и конечный URL. Не переносите статус одного адреса на другой. В журнале проверки оставьте обе записи и связь между ними, иначе исправленный редирект можно ошибочно принять за пропавшую страницу.

Разберите отчёт об индексировании страниц

Откройте раздел «Индексирование → Страницы». Посмотрите дату данных, динамику и причины, по которым URL не индексируются. При необходимости ограничьте отчёт выбранной картой сайта. Общая цифра помогает заметить изменение, но план исправлений строится по группам причин и конкретным адресам.

В справке отчёта об индексировании Google объясняет, почему состояние «не проиндексировано» не всегда является ошибкой. Намеренные дубли и перенаправленные адреса могут не требовать исправления. Важнее понять, попали ли в такую группу самостоятельные услуги, товары или полезные материалы.

Не считайте выгруженную таблицу примеров гарантированным полным списком всех страниц в индексе. У отчётов есть ограничения охвата и выгрузки. Зафиксируйте, какие адреса проверены непосредственно, какие попали в группу по общему шаблону, а по каким данных пока нет.

Используйте «Страницы в поиске» и «Проверку страницы»

В Яндекс Вебмастере выберите сайт и откройте «Индексирование → Страницы в поиске». Посмотрите изменения, участвующие в поиске URL и исключённые страницы. Отфильтруйте причины, выгрузите нужные данные и сопоставьте их со своим реестром. Названия статусов и рекомендации есть в справке этого отчёта.

Для конкретного адреса перейдите в «Индексирование → Проверка страницы». Введите URL, выберите тип устройства, запустите проверку и откройте подробности. Сохраните статус, ответ сервера и сведения о содержимом, которое видит робот. Возможности описаны в инструкции инструмента.

Дополнительно посмотрите статистику обхода: она помогает выяснить, когда робот обращался к странице и какой ответ получил. Сам факт обращения ещё не означает участие в поиске. Яндекс разделяет эти проверки в руководстве по управлению индексированием.

От статуса к следующему действию

Одинаковая фраза «страницы нет» скрывает разные ситуации. Не назначайте одно лечение всему списку: сначала отделите ожидаемые исключения от потери нужных документов. Ниже — ориентир для разбора, а точную формулировку статуса сохраняйте из своего кабинета.

Статус об обработанной, но не включённой странице не доказывает конкретную причину вроде исчерпанного бюджета обхода. И наоборот: наличие дублей не означает, что нужно удалить целый раздел. Решение принимают после проверки примеров и ожидаемой роли каждой группы.

Проверьте ответ сервера, запреты и canonical

Откройте проблемный URL без авторизации и проверьте его через httpstatus.io: вставьте адрес, запустите Check status, раскройте цепочку и заголовки. Рабочая страница должна возвращать соответствующий содержимому ответ. Код 200 у экрана «ничего не найдено» не превращает его в полноценный документ.

Проверьте правила robots.txt для конкретного пути. Затем изучите метатеги robots и заголовок X-Robots-Tag. Запрет обхода и запрет индексирования работают по-разному: чтобы прочитать noindex на странице, Google нужен доступ к ней. Это поясняет документация по noindex. Пошаговый разбор правил есть в нашей инструкции по robots.txt.

Сопоставьте canonical с реальным содержимым. Если все карточки товара ссылаются как на основную версию на одну категорию, выясните причину в шаблоне. Не заменяйте все canonical автоматически: у намеренных дублей ссылка на основной документ может быть правильной. Внутренние ссылки, редиректы и карта должны поддерживать согласованную схему, а не противоречить ей. Методы описаны в рекомендациях Google по каноническим URL.

После исправления проверьте несколько адресов того же шаблона, включая исключения. Изменение одной страницы в редакторе не доказывает, что ошибка устранена во всём каталоге.

Убедитесь, что робот получает нужный материал

Сравните страницу в браузере с содержимым, доступным в инструментах проверки. На странице услуги должны присутствовать её заголовок, описание, условия и ссылки. Пустой контейнер, сообщение о загрузке или экран входа требуют технической диагностики, даже если у авторизованного редактора всё выглядит правильно.

Если существенный текст появляется через JavaScript, проверьте доступность ресурсов и результат отрисовки. В Google есть отдельное руководство по JavaScript и поиску. Проверка должна подтвердить наличие полезного содержимого, а не только отсутствие красных сообщений в консоли.

Затем оцените смысл страницы. Чем она помогает посетителю и отличается от соседних? Для карточки оборудования это могут быть характеристики, применимость, совместимость, документация и условия заказа. Для услуги — конкретный состав работ, ограничения, процесс и критерии результата. Добавлять абзацы ради установленного количества символов недостаточно.

Не размножайте одинаковый текст с заменой города или названия товара. Но и не объединяйте разные услуги только потому, что у них одинаковая сетка. Сначала сравните потребность пользователя, предложение и фактическое содержание. При проблемах всего раздела начните с общей модели страниц, а не с косметической правки одного заголовка.

Проверяйте важные URL, а не только итоговую цифру

Создайте таблицу, где одна строка соответствует одному согласованному адресу. Добавьте отдельные поля для Google и Яндекса, дату данных, причину и ссылку на доказательство. Не склеивайте разные протоколы, пути и параметры механически: сначала определите, какие адреса действительно являются версиями одной страницы.

Для большого каталога используйте выгрузки и автоматизацию, но сначала проверьте метод сервиса. Ответ HTTP 200, наличие в Sitemap и результат запроса site: — разные сигналы. Если инструмент не объясняет источник и дату статуса, его таблица пригодна как список для дальнейшей проверки, а не как окончательный реестр поискового индекса.

Сначала устраните общую причину

Разделите задачи по влиянию. Массовый случайный noindex после релиза, недоступность сервера и ошибочный canonical в шаблоне заслуживают внимания раньше единичной недавно опубликованной статьи. При этом каждую гипотезу подтверждайте наблюдением: совпадение даты падения с релизом помогает начать расследование, но само по себе не доказывает причинную связь.

1. Сохраните исходные статусы и несколько воспроизводимых примеров.
2. Опишите ожидаемое поведение для затронутого типа страниц.
3. Найдите источник изменения: шаблон, плагин, конфигурацию сервера или правила публикации.
4. Проверьте исправление на контрольных адресах и исключениях.
5. После выпуска проверьте живые ответы и дождитесь обновления поисковых данных.

Формулировка задачи должна содержать условие закрытия. Например: «На пяти страницах услуг после обновления появился noindex. Убрать случайное правило в шаблоне; сохранить ограничения кабинета. Проверить живые ответы всех услуг и повторно проверить выбранные URL в кабинетах поиска».

Если проблемы системные, включите этот реестр в план SEO-продвижения, а изменения CMS и сервера — в техническое сопровождение. Общий список «улучшить SEO» не помогает ни оценить работу, ни принять её результат.

Переобход — следующий шаг, а не само исправление

Сначала убедитесь, что опубликованная страница отдаёт исправленную версию. Кеш может сохранять старый ответ после сохранения в CMS. Запустите доступную живую проверку, сверьте содержимое и только затем отправляйте важные обновлённые URL на повторную обработку.

В Search Console запросите индексирование выбранного адреса. Для большого набора поддерживайте актуальную карту сайта. Google предупреждает, что повторение запросов не ускоряет процесс и что действуют квоты; подробности — в инструкции по повторному сканированию.

В Яндекс Вебмастере используйте «Индексирование → Переобход страниц»: добавьте нужные адреса и отслеживайте результат. Успешная отправка означает принятие запроса, а не гарантированное включение документа в поиск. Возможности и ограничения описаны в справке переобхода.

В отчёте разделяйте два результата: «техническое препятствие устранено» и «поисковый статус обновился». У первого есть доказательство в текущем ответе сайта, у второго — новые сведения поисковой системы. Не обещайте один срок для всех сайтов и не начинайте новый набор случайных изменений только потому, что отчёт ещё показывает предыдущую дату обхода.

Следите за изменениями важных страниц

Сохраните отдельный список страниц, потеря которых влияет на обращения и продажи: основные услуги, приоритетные категории и полезные статьи. В Яндекс Вебмастере можно использовать мониторинг важных страниц и уведомления. Порядок описан в инструкции контроля участия в поиске.

Периодичность проверки выбирайте по частоте изменений сайта. После переноса, обновления шаблона и массовой публикации нужен отдельный контроль. Для небольшого стабильного сайта бессмысленно ежедневно проверять вручную каждый адрес, если нет признаков изменения.

• Сравнивайте группы страниц, причины и даты, а не только общий счётчик.
• Храните журнал релизов рядом с наблюдениями.
• Отдельно отмечайте новые страницы и неожиданное выпадение старых.
• Повторно проверяйте исправления на исходных адресах.
• Не закрывайте статус «нет данных» без проверки.

При запуске проекта включите реестр индексации в приёмку сайта у разработчика. Сопутствующие проблемы метаданных, дублей и навигации удобно разбирать по чек-листу ошибок SEO. Так контроль становится частью развития сайта, а не разовой реакцией на падение трафика.

Что ещё важно при проверке индексации