Как закрыть от индексации страницы авторов и таксономий в WordPress без потери полезного трафика

На небольших и средних сайтах WordPress проблема обычно выглядит одинаково: в индексе появляются архивы авторов, теги, служебные рубрики и страницы таксономий, которые не дают трафик, но создают дубли и размывают структуру сайта. Самая частая ошибка — закрыть всё подряд через robots.txt или удалить архивы без анализа. В итоге поисковик продолжает видеть URL, а полезные страницы теряют внутренние ссылки и контекст.

Ниже — рабочий сценарий: сначала понять, что именно нужно закрыть, затем выбрать способ для SEO и только после этого вносить изменения в тему, плагин или настройки SEO-модуля.

Какие страницы реально стоит закрывать

Не все архивы одинаково бесполезны. На одном сайте архив автора может быть полноценной посадочной страницей с трафиком, на другом — пустой дубликат с одной записью. Поэтому решение принимают по факту, а не по шаблону.

Типичные кандидаты на noindex

  • страницы авторов, если на сайте один автор или архивы не несут самостоятельной ценности;
  • теги, которые дублируют рубрики и не собирают переходы;
  • служебные таксономии, созданные плагинами для внутренней логики;
  • пустые архивы или архивы с очень слабым наполнением;
  • страницы пагинации, если они создают мусорные URL в индексе и не нужны для поиска.

Если архив уже получает переходы из поиска, не закрывайте его автоматически. Сначала проверьте, есть ли у него уникальный контент, заголовок, описание и внутренняя перелинковка.

Диагностика проблемы перед изменениями

Перед тем как что-то закрывать, откройте несколько архивов и проверьте три вещи: есть ли на странице уникальный текст, есть ли у неё смысл для пользователя и не дублирует ли она другие разделы. Для WordPress это особенно важно, потому что многие темы выводят архивы авторов и тегов почти одинаково.

Полезно посмотреть:

  • сколько записей в архиве;
  • есть ли у архива свой <title> и meta description;
  • не совпадает ли контент архива с рубрикой или поисковой выдачей;
  • не используется ли архив как навигационный элемент внутри сайта;
  • нет ли уже запрета в SEO-плагине или в шаблоне темы.

Если у вас установлен SEO-плагин, сначала проверьте его настройки. Часто проблема уже решается там, без кода и без правки шаблонов.

Сравнение способов: плагин, код или robots.txt

СпособКогда подходитМинус
SEO-плагинНужно быстро закрыть архивы и управлять мета-тегами без разработкиЗависит от интерфейса плагина и его логики
Код в теме или мини-плагинеНужен точечный контроль над отдельными архивамиТребует аккуратности и тестирования после обновлений
robots.txtНужно ограничить обход, но не убрать URL из индексаНе решает задачу noindex полностью

Для SEO-задачи правильнее использовать noindex или настройки плагина, а не полагаться только на robots.txt. Запрет обхода и запрет индексации — это разные вещи.

Пошаговое решение через код

Если вы не хотите зависеть от интерфейса плагина, можно добавить правила в мини-плагин или в functions.php дочерней темы. Ниже пример для архивов авторов и части таксономий.

<?php
add_action( 'wp_head', function () {
    if ( is_author() || is_tag() ) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }
}, 1 );

add_filter( 'wp_robots', function ( $robots ) {
    if ( is_author() || is_tag() ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
} );

Этот вариант лучше, чем просто печатать мета-тег в wp_head, потому что WordPress и совместимые плагины могут учитывать фильтр wp_robots. Но если у вас уже есть SEO-плагин, проверьте, не конфликтует ли он с ручной логикой.

Как закрыть только часть таксономий

Если на сайте есть полезные рубрики и бесполезные теги, не нужно ставить общий запрет на всё. Можно проверять конкретный объект таксономии и закрывать только его.

<?php
add_filter( 'wp_robots', function ( $robots ) {
    if ( is_tax( array( 'post_tag', 'product_tag' ) ) ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
} );

Здесь важно использовать реальные имена таксономий. post_tag — стандартные теги записей, а product_tag встречается в WooCommerce, если магазин вообще есть в проекте.

Проверка результата после внедрения

После изменений не ограничивайтесь просмотром исходного кода в браузере. Проверьте результат в нескольких местах:

  • откройте архив и убедитесь, что в <head> появился noindex;
  • посмотрите, не дублирует ли SEO-плагин ваш мета-тег вторым вариантом;
  • проверьте URL в Google Search Console, если сайт уже там подключен;
  • сравните индексируемые страницы до и после на уровне отчёта по страницам;
  • убедитесь, что внутренние ссылки на архивы не сломались.

Быстрая ручная проверка через консоль браузера:

view-source:https://example.com/author/ivan/
view-source:https://example.com/tag/news/

Если в исходнике нет noindex, значит правило не сработало или его перезаписал другой плагин. Если тег есть, но страница всё равно долго висит в индексе, это нормально: поисковику нужно время на переобход.

Частые ошибки и как их исправить

Ошибка 1. Закрыли через robots.txt и ждут удаления из индекса

robots.txt ограничивает обход, но не гарантирует удаление URL из индекса. Для уже известных страниц это слабый инструмент. Если задача именно в индексации, нужен noindex или настройка SEO-плагина.

Ошибка 2. Поставили noindex на полезные рубрики

Такое часто случается, когда закрывают все архивы разом. Сначала проверьте, какие таксономии реально дают трафик. Рубрика с сильным контентом может быть полезнее отдельной записи.

Ошибка 3. Конфликт с SEO-плагином

Если Yoast SEO, Rank Math или другой плагин уже управляет robots-мета, ручной код может создать дубли или противоречивые директивы. В этом случае оставьте один источник правды: либо плагин, либо код.

Ошибка 4. Удалили архив, но не настроили редирект

Если архив был в индексе и на него есть внешние ссылки, просто удалить шаблон недостаточно. Нужен либо корректный ответ сервера, либо редирект на ближайший релевантный раздел.

Практические советы по безопасности и производительности

Любые правки лучше вносить не в родительскую тему, а в дочернюю тему или мини-плагин. Тогда обновление темы не затрёт изменения. Если код касается только SEO-логики, мини-плагин обычно удобнее: его проще отключить и проверить отдельно.

Перед изменениями сделайте минимальный чек-лист:

  • сохраните резервную копию файлов и базы;
  • проверьте, какой плагин уже управляет robots-метками;
  • не закрывайте полезные архивы без анализа трафика;
  • после правки очистите кэш страницы и CDN, если он есть;
  • проверьте исходный код и отчёт поисковой системы.

Если на сайте много дублей и технических страниц, иногда проще сначала навести порядок в настройках SEO и чистке сайта. В таких сценариях полезно смотреть в сторону инструментов вроде Clearfy Pro, если нужен централизованный контроль над дублями, архивами и служебными страницами: https://wpshop.ru/plugins/clearfy.

Что считать успешным результатом

Решение можно считать рабочим, если выполняются три условия: в исходнике архивов появился noindex, поисковик перестал добавлять новые URL этого типа в индекс, а полезные страницы не потеряли внутреннюю связность. Если архивы всё ещё индексируются, проверьте конфликт плагинов, кэш и то, не переопределяет ли тема вывод robots-меток.

В реальном проекте лучше двигаться итеративно: закрыть один тип архивов, проверить результат, затем переходить к следующему. Так проще понять, что именно повлияло на индекс и где возникла ошибка.

⭐⭐⭐⭐⭐