Ошибки в robots.txt на WordPress могут привести к потере до 30-40% краулингового бюджета из-за индексации технических страниц и дублей. Правильная настройка этого файла — это не про «запрет всего», а про управление вниманием поискового робота в условиях лимитов обхода.
Виртуальный и физический robots.txt: в чем риск
WordPress по умолчанию генерирует виртуальный файл robots.txt, который динамически меняется при смене настроек в консоли. Однако в 15-20% случаев при переезде на другой хостинг или обновлении сервера Nginx/Apache возникают конфликты, когда виртуальный файл перебивается пустым физическим файлом в корне сайта, что открывает индексацию /wp-admin/ и системных папок.
Кейс: при аудите интернет-магазина на WooCommerce обнаружили 1200 страниц с параметрами фильтрации в индексе из-за того, что физический robots.txt был пуст. После замены его на оптимизированный и отправки запроса на переобход в Search Console, доля «мусорных» страниц в индексе снизилась с 25% до 2% за 14 дней.
Экспертный вывод: всегда создавайте физический файл robots.txt через FTP или файловый менеджер. Это гарантирует стабильность директив независимо от обновлений ядра CMS.
Оптимальный набор директив для WordPress
Стандартный набор Disallow для WordPress часто избыточен или недостаточен. Главная цель — закрыть системный шум, не заблокировав при этом важные ресурсы. В 2024-2025 годах Googlebot игнорирует Disallow для CSS и JS файлов, так как ему нужно видеть рендер страницы для оценки Core Web Vitals.
- Disallow: /wp-admin/ (обязательно, но помните про /wp-admin/admin-ajax.php — его нужно оставить открытым через Allow).
- Disallow: /wp-includes/ (закрываем системные скрипты, но не файлы стилей).
- Disallow: /wp-json/ (закрываем API, чтобы избежать дублей контента в формате JSON).
Важный нюанс: использование директивы Disallow: /?s= или Disallow: /search/ экономит до 50% краулингового бюджета на крупных порталах с активным внутренним поиском, предотвращая индексацию бесконечных комбинаций поисковых запросов пользователей.
Экспертный вывод: не используйте «шаблонные» конфиги из сети. Только точечное закрытие технических разделов при полном доступе к статике (CSS, JS, изображениям).
Борьба с дублями страниц и пагинацией
WordPress генерирует множество дублей через теги и категории. Если у вас всего 1-2 записи в категории, она дублирует главную страницу или архив. Ошибка многих SEO-специалистов — закрывать /category/ или /tag/ через robots.txt, что приводит к выпадению из индекса полезных хабов контента.
Пример: на контентном проекте с 500 статьями закрытие тегов через robots.txt привело к падению трафика по низкочастотным запросам на 12%. Правильное решение — оставить разделы открытыми, но настроить canonical или использовать noindex в мета-тегах.
Экспертный вывод: robots.txt — это инструмент управления обходом (crawl), а не индексацией (index). Для удаления страниц из поиска используйте noindex или 410 Gone, а не Disallow.
Интеграция с Sitemap и проверка ошибок
Указание пути к Sitemap в robots.txt ускоряет обнаружение новых страниц на 20-30% для новых сайтов. Однако использование плагинов вроде Yoast SEO или Rank Math создает динамические карты, которые могут конфликтовать с кэширующими плагинами (WP Rocket, LiteSpeed Cache), отдавая роботу 404 ошибку или устаревший XML.
Практика показывает, что проверка файла через Google Search Console (инструмент проверки robots.txt) должна проводиться после каждого крупного обновления темы или плагинов. Ошибка в одном символе (например, лишний пробел перед Disallow) может привести к полной деиндексации сайта в течение 48 часов.
Экспертный вывод: всегда прописывайте абсолютный путь к Sitemap и проверяйте код ответа сервера (должен быть 200 OK) через HTTP-заголовки.
Вывод
Для эффективного SEO на WordPress откажитесь от виртуального robots.txt в пользу физического файла. Начните с закрытия /wp-admin/ (с исключением admin-ajax.php), /wp-json/ и страниц внутреннего поиска. Избегайте закрытия категорий и тегов через этот файл, если хотите сохранить вес разделов. Внедряйте эти правки в рамках комплексной SEO-оптимизация WordPress в 2024-2025, чтобы синхронизировать управление краулингом с настройками индексации. Лучший выбор — минималистичный файл, который не мешает рендерингу страницы, но отсекает технический мусор.