На небольших и средних сайтах WordPress проблема обычно выглядит одинаково: в индексе появляются архивы авторов, теги, служебные рубрики и страницы таксономий, которые не дают трафик, но создают дубли и размывают структуру сайта. Самая частая ошибка — закрыть всё подряд через robots.txt или удалить архивы без анализа. В итоге поисковик продолжает видеть URL, а полезные страницы теряют внутренние ссылки и контекст.
Ниже — рабочий сценарий: сначала понять, что именно нужно закрыть, затем выбрать способ для SEO и только после этого вносить изменения в тему, плагин или настройки SEO-модуля.
Какие страницы реально стоит закрывать
Не все архивы одинаково бесполезны. На одном сайте архив автора может быть полноценной посадочной страницей с трафиком, на другом — пустой дубликат с одной записью. Поэтому решение принимают по факту, а не по шаблону.
Типичные кандидаты на noindex
- страницы авторов, если на сайте один автор или архивы не несут самостоятельной ценности;
- теги, которые дублируют рубрики и не собирают переходы;
- служебные таксономии, созданные плагинами для внутренней логики;
- пустые архивы или архивы с очень слабым наполнением;
- страницы пагинации, если они создают мусорные URL в индексе и не нужны для поиска.
Если архив уже получает переходы из поиска, не закрывайте его автоматически. Сначала проверьте, есть ли у него уникальный контент, заголовок, описание и внутренняя перелинковка.
Диагностика проблемы перед изменениями
Перед тем как что-то закрывать, откройте несколько архивов и проверьте три вещи: есть ли на странице уникальный текст, есть ли у неё смысл для пользователя и не дублирует ли она другие разделы. Для WordPress это особенно важно, потому что многие темы выводят архивы авторов и тегов почти одинаково.
Полезно посмотреть:
- сколько записей в архиве;
- есть ли у архива свой
<title>иmeta description; - не совпадает ли контент архива с рубрикой или поисковой выдачей;
- не используется ли архив как навигационный элемент внутри сайта;
- нет ли уже запрета в SEO-плагине или в шаблоне темы.
Если у вас установлен SEO-плагин, сначала проверьте его настройки. Часто проблема уже решается там, без кода и без правки шаблонов.
Сравнение способов: плагин, код или robots.txt
| Способ | Когда подходит | Минус |
|---|---|---|
| SEO-плагин | Нужно быстро закрыть архивы и управлять мета-тегами без разработки | Зависит от интерфейса плагина и его логики |
| Код в теме или мини-плагине | Нужен точечный контроль над отдельными архивами | Требует аккуратности и тестирования после обновлений |
robots.txt | Нужно ограничить обход, но не убрать URL из индекса | Не решает задачу noindex полностью |
Для SEO-задачи правильнее использовать noindex или настройки плагина, а не полагаться только на robots.txt. Запрет обхода и запрет индексации — это разные вещи.
Пошаговое решение через код
Если вы не хотите зависеть от интерфейса плагина, можно добавить правила в мини-плагин или в functions.php дочерней темы. Ниже пример для архивов авторов и части таксономий.
<?php
add_action( 'wp_head', function () {
if ( is_author() || is_tag() ) {
echo '<meta name="robots" content="noindex,follow" />' . "\n";
}
}, 1 );
add_filter( 'wp_robots', function ( $robots ) {
if ( is_author() || is_tag() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );
Этот вариант лучше, чем просто печатать мета-тег в wp_head, потому что WordPress и совместимые плагины могут учитывать фильтр wp_robots. Но если у вас уже есть SEO-плагин, проверьте, не конфликтует ли он с ручной логикой.
Как закрыть только часть таксономий
Если на сайте есть полезные рубрики и бесполезные теги, не нужно ставить общий запрет на всё. Можно проверять конкретный объект таксономии и закрывать только его.
<?php
add_filter( 'wp_robots', function ( $robots ) {
if ( is_tax( array( 'post_tag', 'product_tag' ) ) ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );
Здесь важно использовать реальные имена таксономий. post_tag — стандартные теги записей, а product_tag встречается в WooCommerce, если магазин вообще есть в проекте.
Проверка результата после внедрения
После изменений не ограничивайтесь просмотром исходного кода в браузере. Проверьте результат в нескольких местах:
- откройте архив и убедитесь, что в
<head>появилсяnoindex; - посмотрите, не дублирует ли SEO-плагин ваш мета-тег вторым вариантом;
- проверьте URL в Google Search Console, если сайт уже там подключен;
- сравните индексируемые страницы до и после на уровне отчёта по страницам;
- убедитесь, что внутренние ссылки на архивы не сломались.
Быстрая ручная проверка через консоль браузера:
view-source:https://example.com/author/ivan/
view-source:https://example.com/tag/news/
Если в исходнике нет noindex, значит правило не сработало или его перезаписал другой плагин. Если тег есть, но страница всё равно долго висит в индексе, это нормально: поисковику нужно время на переобход.
Частые ошибки и как их исправить
Ошибка 1. Закрыли через robots.txt и ждут удаления из индекса
robots.txt ограничивает обход, но не гарантирует удаление URL из индекса. Для уже известных страниц это слабый инструмент. Если задача именно в индексации, нужен noindex или настройка SEO-плагина.
Ошибка 2. Поставили noindex на полезные рубрики
Такое часто случается, когда закрывают все архивы разом. Сначала проверьте, какие таксономии реально дают трафик. Рубрика с сильным контентом может быть полезнее отдельной записи.
Ошибка 3. Конфликт с SEO-плагином
Если Yoast SEO, Rank Math или другой плагин уже управляет robots-мета, ручной код может создать дубли или противоречивые директивы. В этом случае оставьте один источник правды: либо плагин, либо код.
Ошибка 4. Удалили архив, но не настроили редирект
Если архив был в индексе и на него есть внешние ссылки, просто удалить шаблон недостаточно. Нужен либо корректный ответ сервера, либо редирект на ближайший релевантный раздел.
Практические советы по безопасности и производительности
Любые правки лучше вносить не в родительскую тему, а в дочернюю тему или мини-плагин. Тогда обновление темы не затрёт изменения. Если код касается только SEO-логики, мини-плагин обычно удобнее: его проще отключить и проверить отдельно.
Перед изменениями сделайте минимальный чек-лист:
- сохраните резервную копию файлов и базы;
- проверьте, какой плагин уже управляет robots-метками;
- не закрывайте полезные архивы без анализа трафика;
- после правки очистите кэш страницы и CDN, если он есть;
- проверьте исходный код и отчёт поисковой системы.
Если на сайте много дублей и технических страниц, иногда проще сначала навести порядок в настройках SEO и чистке сайта. В таких сценариях полезно смотреть в сторону инструментов вроде Clearfy Pro, если нужен централизованный контроль над дублями, архивами и служебными страницами: https://wpshop.ru/plugins/clearfy.
Что считать успешным результатом
Решение можно считать рабочим, если выполняются три условия: в исходнике архивов появился noindex, поисковик перестал добавлять новые URL этого типа в индекс, а полезные страницы не потеряли внутреннюю связность. Если архивы всё ещё индексируются, проверьте конфликт плагинов, кэш и то, не переопределяет ли тема вывод robots-меток.
В реальном проекте лучше двигаться итеративно: закрыть один тип архивов, проверить результат, затем переходить к следующему. Так проще понять, что именно повлияло на индекс и где возникла ошибка.