Robots.txt: настроить и проверить

Что нужно настроить до первой строки robots.txt

Robots.txt — общедоступный текстовый файл с правилами обхода сайта. Он помогает управлять тем, какие адреса запрашивает поисковый робот. Его настройку стоит начинать с перечня страниц: какие должны приводить посетителей из поиска, какие являются служебными, а какие вообще нельзя показывать посторонним.

У этих задач разные решения. Каталог товаров обычно должен оставаться доступным для обхода. Публичную страницу благодарности можно исключить из индекса через noindex. Для личного кабинета нужна проверка доступа на сервере. Попытка решить все три задачи строкой Disallow создаёт ложное ощущение, что сайт настроен правильно.

Google отдельно предупреждает: запрет обхода не гарантирует исчезновение самого URL из выдачи. Подробности — в введении в robots.txt. Далее разбираем настройку именно обхода; это одна часть технической SEO-работы, а не самостоятельный способ получить позиции.

Где находится robots.txt и как его открыть

Для сайта https://example.com/ откройте https://example.com/robots.txt. Вместо example.com подставьте свой домен. Ожидаемый результат — обычный текст правил. Если видите страницу ошибки, форму входа или оформление сайта, сначала разберитесь с выдачей файла.

Используйте имя robots.txt в нижнем регистре. Не загружайте документ в папку изображений и не сохраняйте его как robots.txt.txt. Поддомен, протокол и нестандартный порт имеют значение: правила одного адреса нельзя автоматически считать правилами всех версий сайта. Общий порядок создания и размещения описан в инструкции Google.

1. Откройте главную страницу и скопируйте окончательный адрес после перенаправлений.
2. Добавьте к корню адреса /robots.txt и откройте его в приватном окне.
3. Сохраните текущую версию в отдельный текстовый файл с датой.
4. Запишите, кто формирует ответ: сервер, CMS, SEO-плагин или система кеширования.
5. Отдельно проверьте поддомены, если на них есть самостоятельные сайты.

Составьте список адресов до изменения правил

Проверка одной главной страницы не покажет, что запрет затронул фильтры, изображения или часть каталога. Соберите небольшой контрольный набор, который отражает устройство именно вашего сайта. Для каждого адреса заранее задайте ожидаемый результат. Тогда после правки можно будет сравнить ожидание с фактом.

Примеры в таблице учебные. Не создавайте такие пути специально и не копируйте запреты, пока не определите назначение существующих страниц. Добавьте в набор URL с параметрами, похожими названиями папок и другим регистром: именно на границах шаблона чаще обнаруживаются непредвиденные совпадения.

Как читать User-agent, Disallow, Allow и Sitemap

User-agent задаёт робота или группу роботов, для которых записаны правила. Disallow ограничивает обход совпадающего пути, Allow разрешает его. Sitemap указывает полный адрес XML-карты. Комментарий начинается с решётки. Записывайте каждую директиву отдельной строкой.

User-agent: *
Disallow: /draft-catalog/
Allow: /draft-catalog/public-guide/

Sitemap: https://example.com/sitemap.xml

В учебном примере ограничен черновой каталог, но открыт вложенный публичный справочник. При этом robots.txt не защищает сами черновики от человека: для непубличных материалов нужна проверка доступа.

Google выбирает наиболее подходящую секцию User-agent; общая секция со звёздочкой не дополняет автоматически отдельную секцию Googlebot. При конфликте путей важна специфичность правила, а не его положение в файле. Символ * обозначает произвольную последовательность, $ — конец адреса. Регистр пути учитывается. Точные условия и исключения приведены в спецификации Google.

Проверьте похожие пути, параметры и исключения

Предположим, есть внутренний раздел /search/ и полезная статья /search-marketing/. Запрет по короткому префиксу /search может затронуть оба. Поэтому тестировать нужно не только адрес, который требуется закрыть, но и похожую страницу, которую нужно оставить открытой.

Не используйте широкое правило для всех адресов со знаком вопроса, пока не разобрались с параметрами. Они могут отвечать за язык, страницу каталога, товар или полезный фильтр. Составьте пары URL до и после удаления параметра и сравните содержимое, доступность и канонический адрес.

Как начать настройку robots.txt в WordPress

WordPress умеет выдавать виртуальный robots.txt. В исходном коде функции do_robots() есть ограничение обхода административного раздела и разрешение для admin-ajax.php. Плагины и фильтры могут менять итоговый ответ, поэтому проверять нужно публичный URL после сохранения настроек.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

Это отправная точка для разбора, а не готовая конфигурация любого WordPress-сайта. Замените адрес карты на реально существующий: на одном проекте используется sitemap_index.xml, на другом wp-sitemap.xml. Откройте карту и проверьте вложенные файлы. Для WordPress в подкаталоге пути тоже потребуют проверки.

Не добавляйте запрет всей папки wp-content: там могут лежать изображения и необходимые ресурсы оформления. Архивы, метки и страницы авторов оценивайте по содержанию и назначению. Настройку отдельных страниц удобнее согласовать с SEO-плагином, чем пытаться выразить всю стратегию индексирования набором префиксов.

Когда нужен Clean-param и что нельзя объявлять незначимым

Директива Clean-param помогает Яндексу учитывать параметры, которые не меняют содержимое. Допустим, внутренний параметр campaign_id нужен только для учёта рекламного перехода, а страница товара остаётся той же. После проверки этого условия можно подготовить правило для соответствующей части сайта:

Clean-param: campaign_id /products/

Параметры товара, языка или страницы каталога нельзя объявлять незначимыми только потому, что они создают много адресов. Сначала сравните результат с параметром и без него: заголовок, основной текст, список товаров, цену и доступную локализацию.

В документации Яндекса указано, что некоторые метки аналитики могут удаляться автоматически, если алгоритмы признают их незначимыми. Добавлять правила для таких меток только ради самого наличия строки не требуется. Clean-param не заменяет проверку структуры сайта и не является директивой Google.

Сохраните решение в таблице: имя параметра, пример URL, изменяет ли он содержимое, выбранный способ обработки, ответственный. Это поможет при появлении новой системы аналитики: команда увидит, что было проверено, а что требует отдельного решения.

Почему Disallow и noindex нельзя использовать как синонимы

Если общедоступную HTML-страницу нужно исключить из Google Поиска, можно использовать мета-тег в её head:

<meta name="robots" content="noindex">

Роботу необходимо получить страницу, чтобы прочитать это указание. Одновременный запрет её обхода в robots.txt может этому помешать. Для файлов без HTML-разметки, например PDF, используют HTTP-заголовок X-Robots-Tag. Способы и ограничения описаны в инструкции Google по noindex.

Практический пример: страницу завершённой заявки решили не показывать в поиске. В задаче укажите конкретный URL, наличие noindex в ответе и отсутствие мешающего запрета обхода. Затем проверьте результат инструментом поисковой системы. Не ограничивайтесь скриншотом настройки в админке: шаблон или кеш может отдавать другой вариант.

Если речь идёт о персональных данных заявки, одной поисковой настройки недостаточно. Такая страница должна проверять права доступа. Robots.txt публичен: перечисленные в нём пути не становятся секретными.

Как проверить robots.txt в Яндекс Вебмастере

Откройте Яндекс Вебмастер и инструмент «Анализ robots.txt» в разделе «Инструменты». Выберите свой сайт либо укажите адрес для анализа. Точный порядок для добавленных и неподтверждённых сайтов описан в справке инструмента.

1. Загрузите опубликованный файл и убедитесь, что текст соответствует последней правке.
2. Посмотрите ошибки и правила обхода. Ошибка синтаксиса и нежелательное, но корректное правило — разные ситуации.
3. В блок «Доступ к страницам» добавьте контрольный список URL.
4. Запустите проверку и сравните результат по каждой строке с вашим ожиданием.
5. Если редактировали текст прямо в инструменте, перенесите проверенный вариант на сайт: изменение поля анализатора само по себе сайт не обновляет.

В отчёт для разработчика включите URL, нужный результат, фактический результат и правило, которое его вызвало. Отдельно приложите дату проверки и текст опубликованного файла. Тогда замечание «робот не видит каталог» превращается в воспроизводимую задачу.

Как проверить файл и конкретную страницу в Search Console

В Google Search Console решаются две разные задачи: проверка получения файла robots.txt и диагностика отдельного URL. Начните с отчёта о файлах robots.txt: он показывает полученную версию, дату обращения и проблемы обработки. Для критического исправления предусмотрен запрос повторного сканирования файла.

1. Выберите ресурс, который соответствует проверяемому домену и протоколу.
2. Посмотрите статус robots.txt и откройте последнюю полученную версию.
3. Сопоставьте её с текущим файлом на сайте. Старая дата — повод различать кеш поисковой системы и уже опубликованную правку.
4. Вставьте важный URL в инструмент проверки адреса.
5. Запустите проверку опубликованной страницы — «Проверить URL на сайте» / Test Live URL, в зависимости от языка интерфейса.
6. Изучите доступность сканирования, получение страницы и разрешение индексирования.

Успешная проверка текущей страницы не доказывает, что она уже находится в индексе или будет ранжироваться. Сохранённые данные об индексировании и проверка живого URL относятся к разным моментам времени. Это различие подробно разобрано в справке инструмента проверки URL.

Для контроля результата заведите две отметки: «сайт отдаёт исправленный ответ» и «поисковая система обработала изменение». Так команда не будет повторно менять корректный файл только потому, что отчёт обновляется позже.

Что делать, если проверка не совпала с ожиданием

Ответы 404 и 5xx у robots.txt нельзя считать одной проблемой: Google обрабатывает их по-разному. При серверных сбоях ориентируйтесь на официальную спецификацию и отчёт о получении файла, а не на предположение «файла нет — сайт точно закрыт».

Если запрет появился одновременно с падением трафика, сохраните хронологию изменений и проверьте другие причины. Не обещайте восстановление к конкретной дате: доступность обхода, повторное посещение, индексирование и позиции — отдельные этапы. Для комплексной диагностики используйте также наш разбор ошибок SEO.

Как передать изменение и принять результат

Согласуйте небольшую правку с понятной целью. Не меняйте одновременно правила обхода, адреса разделов и настройки индексирования без общего плана: при неожиданном результате станет трудно найти причину. Сохраните старую версию и заранее определите, как вернуть её.

После релиза проверьте файл сразу, затем посмотрите отчёты после очередного получения поисковыми роботами. Повторяйте контроль при смене CMS, SEO-плагина, домена, структуры каталога или системы кеширования. Порядок общей приёмки собран в статье «Как принять сайт у разработчика».

Чек-лист настройки robots.txt

• Определены страницы для поиска, служебные разделы и данные, требующие авторизации.
• Понятно, кто формирует файл; сохранена исходная версия.
• Публичный адрес возвращает согласованный текст правил.
• Проверены отдельные секции роботов и похожие пути.
• Важные страницы и ресурсы отображения не закрыты случайно.
• Адрес XML-карты существует и соответствует текущему сайту.
• Параметры оценены по влиянию на содержимое.
• Noindex не спрятан от робота запретом обхода.
• Для контрольного набора сохранены ожидаемые и фактические результаты.
• Назначены ответственный за изменение и способ возврата предыдущей версии.

Этот список проверяет качество настройки обхода. Он не заменяет аудит содержимого, структуры, дублей и пользовательских сценариев. Если задача шире одного файла, начните с плана SEO-продвижения сайта и согласованного перечня технических работ.

Частые вопросы о robots.txt