Как проверить страницы сайта в индексе Яндекса и Google

Соберите эталонный список страниц

Источник должен отражать именно опубликованные канонические URL: реестр CMS, manifest статической сборки или проверенный sitemap. Исключите черновики, параметры и редиректы.

Сохраните дату выгрузки. Нельзя сравнивать текущий индекс со списком страниц, который незаметно менялся весь месяц.

Проверьте официальные отчёты

В Яндекс Вебмастере используйте раздел индексирования и анализ конкретного URL. В Google Search Console смотрите отчёт страниц и инспекцию адреса.

Каждый сервис использует свои названия статусов. Не сводите их механически к одной колонке без сохранения исходной причины.

Разделите URL на рабочие группы

Сначала выделите технические блокеры: robots, noindex, 404, 5xx и ошибки редиректа. Затем дубли и canonical. Отдельно оставьте полученные, но не включённые документы для содержательного анализа.

Такая группировка показывает шаблонную проблему. Один запрет в layout важнее ручной правки пятидесяти строк отчёта.

• в индексе;
• ещё не обнаружено или не обойдено;
• запрещено или отвечает ошибкой;
• дубль либо выбран другой canonical;
• получено, но не включено.

Проверьте выборку руками

Для каждой группы откройте несколько URL, получите серверный HTML и сравните шаблон. Проверка подтверждает, что выгрузка интерпретирована правильно.

Оператор site:domain/path может показать известный документ, но отсутствие результата не считается окончательным доказательством статуса.

Исправляйте причины в правильном порядке

Сначала доступ и ответ сервера, затем canonical и дубли, после этого содержание и внутренние ссылки. Не отправляйте на переобход URL, который всё ещё закрыт.

После исправления пометьте группу, дату deploy и дату запроса переобхода. Сохраняйте предыдущий статус для сравнения.

Как считать покрытие без самообмана

Доля индексируемых страниц равна числу канонических URL в индексе, делённому на число URL, которые действительно должны индексироваться. Технические страницы не нужно добавлять в знаменатель ради большой карты.

Показывайте абсолютные числа и разрез по типам: статьи, продуктовые страницы, документация. Общий процент скрывает провал важного раздела.

Как часто повторять проверку

После крупного релиза проверьте критические URL сразу и полный список после возможного переобхода. В обычном режиме достаточно регулярного отчёта и сигналов об отклонениях.

Ежечасная проверка не ускоряет индекс. Автоматизация полезна, когда она сохраняет историю и выделяет изменения, а не создаёт поток одинаковых уведомлений.