Проблема обычно всплывает после аудита в Search Console или краулере: в индексе много архивов авторов, дат, страниц вложений и других служебных URL, которые не дают трафика, но создают дубли и размывают качество индекса. При этом полностью закрывать все архивы подряд нельзя: иногда архив автора или рубрика реально приводят пользователей из поиска.
Когда noindex действительно нужен
Сначала отделите полезные страницы от технических. Если архив автора пустой, дублирует страницу профиля или содержит один и тот же шаблонный текст, его обычно имеет смысл закрыть от индексации. То же касается архивов по датам на новостных и корпоративных сайтах, где они не несут самостоятельной ценности.
Что проверить перед изменениями
- Есть ли у архива уникальный контент, а не просто список записей.
- Приходят ли на него переходы из поиска по данным Search Console.
- Не используется ли архив как посадочная страница внутри сайта.
- Не дублирует ли он рубрики, теги или страницы пагинации.
Если архив уже получает показы и клики, не закрывайте его механически. Сначала проверьте, можно ли улучшить заголовок, описание и контент архива, а уже потом принимать решение.
Диагностика: где именно возникает дубль
Откройте несколько типовых URL и сравните их содержимое. Часто проблема выглядит так: на странице автора есть только список записей, на архиве даты — тот же список, а в индексе обе страницы присутствуют одновременно. Для проверки удобно использовать краулер или просто посмотреть исходный код страницы и наличие мета-тега robots.
Если у вас установлен SEO-плагин, сначала проверьте его настройки. Многие плагины уже умеют закрывать архивы авторов и дат без кода. Но если нужен точечный контроль, лучше сделать это явно в теме или небольшом плагине.
| Подход | Когда подходит | Минус |
|---|---|---|
| Настройка в SEO-плагине | Нужно быстро закрыть стандартные архивы | Меньше гибкости для нестандартной логики |
| Код в теме или mu-plugin | Нужны точечные правила для отдельных архивов | Требует аккуратного тестирования |
| robots.txt | Нужно ограничить обход, но не индексацию | Не заменяет noindex для уже известных URL |
Пошаговое решение через код
Если вы хотите управлять индексированием без привязки к интерфейсу плагина, используйте фильтр wp_robots. Он позволяет добавить директиву noindex на нужные типы архивов.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() || is_date() ) {
$robots['noindex'] = true;
$robots['nofollow'] = false;
}
return $robots;
} );
Этот вариант работает на уровне вывода мета-тега robots в <head>. Он не ломает доступность страницы для пользователей, но подсказывает поисковым системам не включать её в индекс.
Если нужно закрыть только часть авторов
Иногда архивы авторов полезны только у редакторов, а страницы технических аккаунтов лучше закрыть. Тогда добавьте проверку по ID или роли пользователя.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() ) {
$author_id = get_queried_object_id();
$user = get_userdata( $author_id );
if ( $user && in_array( 'contributor', (array) $user->roles, true ) ) {
$robots['noindex'] = true;
}
}
return $robots;
} );
Такой подход полезен, если у вас несколько типов авторов и не все архивы должны вести себя одинаково. Но не усложняйте логику без необходимости: чем больше условий, тем выше риск случайно закрыть нужную страницу.
Альтернатива через SEO-плагин
Если сайт уже использует SEO-плагин, проверьте, можно ли закрыть архивы в его настройках. Это быстрее для типового проекта и снижает риск ошибок в коде. Но даже в этом случае полезно понимать, что именно делает плагин: ставит noindex, меняет canonical или просто скрывает страницу из карты сайта.
Для проектов, где нужно одновременно чистить дубли, управлять архивами и техническими страницами, удобнее использовать набор функций из одного инструмента, а не собирать всё вручную. Например, Clearfy Pro закрывает часть типовых дублей и служебных страниц без правки шаблонов: https://wpshop.ru/plugins/clearfy.
Проверка результата после внедрения
После правки не ограничивайтесь просмотром страницы в браузере. Проверьте именно то, что видит поисковый робот.
- Откройте архив автора или даты в исходном коде страницы.
- Найдите мета-тег robots и убедитесь, что там есть
noindex. - Проверьте, не добавился ли случайно
nofollow, если он вам не нужен. - Посмотрите, не осталась ли страница в XML-карте сайта.
- В Search Console отправьте URL на повторную проверку только после того, как убедились в корректном выводе.
Дополнительно можно проверить заголовки ответа сервера, если вы используете серверные правила. Но для большинства WordPress-сайтов достаточно корректного мета-тега и отсутствия страницы в sitemap.
Частые ошибки и как их исправить
Закрыли страницу в robots.txt вместо noindex
Это частая ошибка. Если URL уже известен поисковику, запрет в robots.txt не гарантирует удаление из индекса. Для уже проиндексированных архивов нужен именно noindex или другой способ явного сигнала.
Поставили noindex на все архивы без разбора
Так можно потерять полезные страницы, которые реально собирают трафик. Сначала проверьте аналитику и только потом закрывайте архивы дат, авторов или тегов. На новостных и экспертных сайтах архив автора иногда работает как витрина публикаций и не должен исчезать из поиска.
Оставили страницу в sitemap
Если URL закрыт от индексации, но продолжает попадать в карту сайта, вы отправляете поисковику противоречивые сигналы. Уберите такие страницы из sitemap или настройте генерацию карты так, чтобы она не включала noindex-архивы.
Забыли про canonical
Иногда архив сам по себе не закрыт, но canonical указывает на другую страницу. Это может быть нормой, а может мешать диагностике. Проверьте, не конфликтуют ли canonical и robots-мета между собой.
Практические советы по безопасности и производительности
Если вы вносите код вручную, лучше не править functions.php активной темы на живом сайте. Используйте дочернюю тему или небольшой mu-plugin, чтобы изменения не потерялись после обновления.
Перед выкладкой сделайте резервную копию и протестируйте правку на staging-копии. Для таких задач не нужен тяжелый плагин, если достаточно одного фильтра. Но если на сайте уже накопилось много дублей и служебных страниц, иногда выгоднее сначала навести порядок инструментом для технической чистки, а потом закрепить логику кодом.
Хороший рабочий порядок такой: сначала аудит, потом точечное закрытие архивов, затем проверка sitemap и индексации. Если сделать наоборот, можно случайно убрать из поиска страницы, которые еще приносят переходы.