Если в индексе всплывают страницы тегов, архивы авторов, даты и вторая-третья страницы пагинации, это обычно не «ошибка поисковика», а следствие стандартной структуры WordPress. Проблема в том, что такие страницы часто не несут самостоятельной ценности, но расходуют crawl budget и создают шум в отчётах по индексации.
Ниже — рабочий сценарий: как закрыть от индексации тонкие архивы и пагинацию, не ломая доступность сайта для пользователей и не убивая переходы по архивам.
Когда это действительно нужно
Не стоит закрывать всё подряд. Сначала проверьте, есть ли у архивов реальная польза. Для новостного сайта архивы по датам могут быть полезны, а для блога с десятками тегов — чаще всего это источник дублей и пустых страниц.
Признаки, что архивы и пагинация стоит ограничить
- в Search Console индексируются страницы тегов с 1–2 записями;
- страницы
/page/2/,/page/3/получают показы, но не дают трафик; - архивы авторов дублируют ленту блога;
- в индексе есть страницы, которые не должны конкурировать с основными материалами;
- на сайте много автоматически созданных архивов, но мало уникального текста.
Диагностика: что именно закрывать
Сначала разделите типы страниц. В WordPress это обычно:
- архивы категорий;
- архивы тегов;
- архивы авторов;
- архивы по датам;
- страницы пагинации архивов и главной ленты.
Проверка простая: откройте несколько URL и посмотрите исходный код. Если в <head> уже есть noindex, не добавляйте второй раз через другой плагин или код. Дублирующиеся директивы — частая причина путаницы.
Пошаговое решение через код
Если нужен предсказуемый контроль без лишних плагинов, проще всего добавить правила в тему или в мини-плагин. Для большинства сайтов достаточно закрыть архивы тегов, авторов и даты, а также страницы пагинации архивов.
<?php
add_action('wp_head', function () {
if (is_tag() || is_author() || is_date()) {
echo '<meta name="robots" content="noindex,follow">' . "\n";
}
if (is_paged() && (is_home() || is_archive() || is_search())) {
echo '<meta name="robots" content="noindex,follow">' . "\n";
}
}, 1);Этот вариант работает на уровне вывода в <head>. Он не запрещает обход ссылок, поэтому follow сохраняет передачу веса по внутренним ссылкам. Для большинства архивных страниц это разумный компромисс.
Если вы используете SEO-плагин, проверьте, не делает ли он то же самое автоматически. Иначе получите два одинаковых meta robots-тега.
Более точечный вариант: только пагинация архивов
Иногда закрывать сами архивы не нужно, а вот страницы /page/2/ и дальше — да. Тогда можно ограничиться только пагинацией:
<?php
add_action('wp_head', function () {
if (is_paged() && (is_home() || is_category() || is_tag() || is_author() || is_date())) {
echo '<meta name="robots" content="noindex,follow">' . "\n";
}
}, 1);Такой подход полезен, если первая страница архива нужна для навигации и индексации, а последующие страницы не несут самостоятельной ценности.
Сравнение подходов
| Подход | Плюсы | Минусы | Когда выбирать |
|---|---|---|---|
| SEO-плагин | Быстро, без кода | Меньше контроля, возможны конфликты | Если уже используете Yoast/Rank Math и настройки понятны |
| Код в теме или мини-плагине | Точный контроль, легко проверить | Нужно следить за обновлениями и местом вставки | Если нужен предсказуемый результат и минимум лишних зависимостей |
| Комбинированный вариант | Гибкость | Риск дублей директив | Если часть правил уже задаёт SEO-плагин, а часть — тема |
Как проверить, что решение сработало
После внедрения не ограничивайтесь визуальной проверкой. Нужны минимум три шага:
- Откройте нужную страницу в браузере и посмотрите исходный код: должен быть один meta robots с
noindex,follow. - Проверьте URL через Google Search Console, если страница уже была в индексе.
- Убедитесь, что ссылки внутри архива всё ещё доступны для обхода и не пропали из шаблона.
Для быстрой локальной проверки можно использовать curl:
curl -I https://example.com/tag/news/Но помните: заголовок X-Robots-Tag и meta robots — это разные механизмы. Если ваш SEO-плагин или сервер отдают X-Robots-Tag, смотрите оба уровня.
Частые ошибки и как их исправить
1. Закрыли архив, но забыли пагинацию
В результате первая страница закрыта, а /page/2/ остаётся открытой. Поисковик продолжает обходить «хвост» архива и индексировать мусорные URL. Решение — отдельно проверить is_paged().
2. Поставили noindex и одновременно запретили обход
Если закрыть страницу через robots.txt, а потом ещё и поставить noindex, поисковик может не увидеть директиву в HTML. Для тонких архивов обычно достаточно noindex,follow без жёсткого запрета сканирования.
3. Дублирующие правила в SEO-плагине и теме
Это частая история после миграций. Один плагин ставит noindex на теги, другой — на архивы авторов, а тема ещё и выводит свой meta robots. В итоге диагностика становится хаотичной. Оставьте один источник правил.
4. Закрыли архивы, которые реально нужны
Например, архивы категорий для крупного контентного проекта могут быть важной точкой входа. Перед закрытием проверьте, есть ли у страницы трафик, внешние ссылки и уникальный контент.
Практические советы по безопасности и производительности
Если вы вносите код вручную, лучше не править functions.php основной темы. Используйте дочернюю тему или небольшой mu-plugin. Так обновление темы не затрёт изменения.
Мини-плагин для такого правила выглядит безопаснее и проще в сопровождении:
<?php
/**
* Plugin Name: Archive Robots Control
*/
add_action('wp_head', function () {
if (is_tag() || is_author() || is_date()) {
echo '<meta name="robots" content="noindex,follow">' . "\n";
}
}, 1);Для производительности это почти не влияет на фронтенд, но снижает риск ручных ошибок и конфликтов при обновлениях. Если сайт большой, отдельно проверьте, не генерирует ли тема лишние архивы и не создаёт ли плагин SEO дополнительные таксономии без необходимости.
Если используете плагин вместо кода
В SEO-плагинах обычно можно задать noindex для архивов тегов, авторов и дат через интерфейс. Это удобно, если контент-менеджеры сами работают с настройками. Но перед включением проверьте, как плагин ведёт себя на пагинации и не добавляет ли он canonical на первую страницу архива там, где это не нужно.
Если нужен более широкий контроль над дублями и технической чисткой сайта, иногда проще использовать специализированный инструмент вроде Clearfy Pro, но только если вы понимаете, какие именно опции включаете и как они взаимодействуют с текущим SEO-плагином: https://wpshop.ru/plugins/clearfy?utm_source=hueman.ru&utm_medium=article&utm_campaign=kak-nastroit-noindex-dlya-arhivov-i-stranic-paginacii-v-wordpress
Что проверить после индексации
Через несколько дней или недель после изменений посмотрите:
- уменьшилось ли число страниц типа
/tag/,/author/,/date/в индексе; - не исчезли ли важные категории из поиска;
- не выросло ли число страниц с пометкой «Просканировано — сейчас не проиндексировано» из-за конфликтов директив;
- сохранились ли переходы по архивам для пользователей.
Если после правок в индексе всё ещё остаются старые URL, не спешите менять правила. Сначала проверьте, не тянет ли их внутренняя перелинковка, sitemap или старые внешние ссылки.