robots.txt управляет обходом URL роботами, но не является надёжным способом удалить страницу из индекса.
Чем сложнее набор масок Disallow, тем выше риск случайно закрыть важный раздел, товар или ресурс, нужный для рендеринга страницы.
Как проявляется проблема
- важные URL заблокированы robots
- закрыт /wp-content/
- бот не видит CSS/JS
- запрещённые URL остаются в индексе
- фильтры магазина активно обходятся
Основные причины
1. Слишком широкая маска
Правило по каталогу или слову задевает полезные страницы.
2. Попытка удалить индекс через robots
Робот не может увидеть noindex, если ему запрещён сам URL.
3. Блокировка CSS/JS
Поисковик хуже рендерит страницу.
4. Фасетные параметры
Robots сокращает обход, но не заменяет canonical и архитектуру.
5. Неактуальный sitemap
Файл robots ссылается на старую карту сайта.
Пошаговая диагностика
Шаг 1. Открыть robots.txt
Проверьте, какой файл реально отдаёт сервер.
Шаг 2. Проверить важные шаблоны
Главная, статьи, товары, изображения и нужные CSS/JS должны быть доступны.
Шаг 3. Сопоставить с индексом
Для уже индексируемых URL выбирайте 404/410, noindex или 301 по задаче.
Шаг 4. Проверить маски
Убедитесь, что правило не задевает неожиданные URL.
Шаг 5. Проверить Sitemap
Ссылка должна вести на актуальную карту.
Как исправить
Держать robots простым
Закрывайте только реально технические области.
Noindex оставлять доступным роботу
Иначе поисковик не увидит директиву.
Удалённому контенту отдавать код
404/410 понятнее вечного Disallow.
Проверять после релиза
Одна ошибка в маске может повлиять на большой раздел.
Что важно не делать
- Не меняйте сразу несколько настроек: после каждого действия проверяйте результат.
- Перед правками файлов и базы сделайте резервную копию.
- Не отключайте защиту, кеш или обновления навсегда только ради временного обхода ошибки.
- На интернет-магазине проверяйте решение не только под администратором, но и как обычный посетитель.
Когда нужна помощь разработчика
Если проблема повторяется, затрагивает продажи, заявки или индексацию, сохраните время ошибки и журналы сервера. Это позволяет найти первопричину вместо временного обхода.
Нужна диагностика? Можно обратиться за SEO-аудитом WordPress.
Связанные статьи
Часто задаваемые вопросы
Robots защищает данные?
Нет. Это инструкция роботам, не механизм авторизации.
Нужно разрешать admin-ajax.php?
Если публичная функциональность или рендеринг от него зависят, не блокируйте его без проверки.
Можно закрыть UTM только robots?
Лучше дополнительно использовать canonical и единые внутренние ссылки.