Если в индексе поисковиков уже накопились страницы поиска, пустые архивы, дубли тегов, авторские архивы без ценности и бесконечная пагинация, сайт начинает тратить краулинговый бюджет на мусор. Для WordPress это типичная история: движок сам создаёт много служебных URL, и не все из них нужно показывать поиску.
Нормальная цель здесь не «закрыть всё подряд», а оставить в индексе только те страницы, которые реально помогают пользователю и приносят трафик. Остальное лучше убрать из индекса аккуратно: без поломки навигации, без потери полезных материалов и без лишних экспериментов с robots.txt.
Что обычно стоит закрывать от индексации
В WordPress есть несколько типов страниц, которые чаще всего не нужны в поиске. Их задача — помогать навигации на сайте, а не конкурировать с записями и рубриками в выдаче.
- Страницы внутреннего поиска — результаты поиска по сайту. Они почти всегда уникальны для каждого запроса, быстро устаревают и редко полезны как посадочные страницы.
- Архивы тегов — если теги используются широко и без жёсткой редакционной логики, они часто создают дубли и тонкие страницы.
- Архивы авторов — особенно на сайтах с одним автором или с короткими биографиями без отдельной ценности страницы.
- Пагинация архивов — страницы вида
/page/2/,/page/3/и дальше. Они нужны для навигации, но обычно не должны ранжироваться сами по себе. - Пустые или почти пустые архивы — например, тег с одной записью или авторский архив без нормального наполнения.
При этом не стоит автоматически закрывать все архивы подряд. Рубрики, которые действительно собирают тематические материалы и могут ранжироваться как полезные подборки, часто лучше оставить открытыми.
Чем закрывать: noindex, robots.txt и canonical — это не одно и то же
Для служебных страниц WordPress чаще всего используют noindex. Это прямой сигнал поисковику: страницу можно обходить, но в индекс её добавлять не нужно. Для большинства случаев это правильнее, чем запрет в robots.txt.
robots.txt запрещает обход, но не гарантирует удаление из индекса, если URL уже известен поисковику или на него ведут ссылки. Поэтому для страниц поиска, тегов и архивов обычно лучше именно noindex, а не блокировка в robots.txt.
canonical помогает указать основную версию страницы, когда есть дубли или очень похожие URL. Но canonical не заменяет noindex, если ваша задача — полностью убрать служебную страницу из индекса.
Практически это выглядит так:
- для страниц, которые должны работать для пользователя, но не ранжироваться, используйте
noindex, follow; - для настоящих дублей иногда добавляют canonical на основную страницу;
- robots.txt оставляют для технических ограничений обхода, а не как основной инструмент удаления из индекса.
Как закрыть служебные страницы в WordPress через SEO-плагин
Самый безопасный и удобный путь для большинства сайтов — настроить индексацию в SEO-плагине. У разных плагинов интерфейс отличается, но логика одна: для архивов, тегов, авторов и пагинации задаётся noindex или отключается индексация соответствующего типа страниц.
Если у вас уже стоит плагин вроде Yoast SEO, Rank Math или аналогичный, проверьте настройки архивов и таксономий. Обычно там можно отдельно управлять:
- страницами поиска;
- архивами тегов;
- архивами авторов;
- архивами дат;
- мета-роботами для пагинации архивов.
Для сайта с несколькими авторами и нормальными редакционными рубриками часто оставляют открытыми только рубрики, а теги закрывают или сильно ограничивают. Если авторские страницы не несут самостоятельной пользы, их тоже переводят в noindex.
Если нужен плагин именно для чистки дублей и управления служебными страницами, у WPShop есть Clearfy Pro: https://wpshop.ru/plugins/clearfy. Он может быть полезен, если вы хотите централизованно отключать лишние элементы и не разносить настройки по нескольким плагинам. Но использовать его имеет смысл только если он действительно закрывает вашу задачу в текущей конфигурации сайта.
Что делать с поиском по сайту
Страницы внутреннего поиска почти всегда стоит закрывать от индексации. Пользовательский запрос создаёт URL с параметрами, и такие страницы не должны конкурировать с нормальными материалами.
Если поиск на сайте работает через стандартный WordPress, результат обычно имеет вид /?s=запрос. Для таких страниц правильнее добавить noindex на шаблон результатов поиска, а не пытаться запрещать их через robots.txt.
На практике это решается либо настройкой SEO-плагина, либо правкой темы. Если вы работаете с темой или дочерней темой, в шаблоне можно вывести мета-тег robots для поисковых страниц. Но если у вас уже есть SEO-плагин, лучше не дублировать логику вручную, чтобы не получить конфликт мета-тегов.
Проверка простая: откройте страницу поиска на сайте и посмотрите исходный код. В <head> должен быть noindex для этой страницы, если вы так настроили сайт.
Теги и авторы: когда закрывать полностью, а когда оставить
С тегами и авторами нет универсального ответа. Здесь всё зависит от структуры сайта.
Теги
Если теги используются как вспомогательная навигация и их много, чаще всего их закрывают от индексации. Особенно это полезно, когда:
- у одного материала слишком много тегов;
- одинаковые теги дублируют смысл рубрик;
- на страницах тегов мало текста и мало материалов;
- теги создают десятки слабых архивов вместо нескольких сильных разделов.
Если же тег — это реально крупная тематическая подборка с нормальным описанием и большим количеством материалов, его можно оставить открытым. Но таких тегов обычно немного, и они должны быть осмысленно отобраны редакцией.
Авторы
Авторские архивы полезны на медиа-сайтах, где у каждого автора есть собственная страница, биография, подборка материалов и узнаваемость. На корпоративных блогах и сайтах с одним автором такие архивы чаще всего не нужны в поиске.
Если на сайте один автор или авторские страницы пустые, закрывайте их от индексации. Если авторов несколько и страницы наполнены, можно оставить открытыми только те архивы, которые действительно помогают пользователю ориентироваться в контенте.
Пагинация: закрывать ли страницы 2, 3 и дальше
Пагинация архивов — отдельный случай. Эти страницы нужны для перехода по спискам записей, но сами по себе редко должны быть посадочными страницами из поиска.
Обычно для пагинации используют noindex, follow. Это позволяет поисковику не индексировать вторую и последующие страницы архива, но при этом не ломает обход ссылок внутри сайта.
Есть важный нюанс: не стоит путать пагинацию с бесконечным скроллом или подгрузкой контента через AJAX. Если часть материалов доступна только через скрипт и не имеет нормальных URL, проблема уже не в индексации, а в архитектуре шаблона. Для обычного WordPress-архива достаточно корректной пагинации и мета-роботов.
Если вы закрываете пагинацию, проверьте, что:
- основная страница архива остаётся индексируемой, если она полезна;
- внутренние ссылки на записи продолжают работать;
- не закрыты случайно страницы рубрик, которые должны ранжироваться;
- на страницах пагинации нет конфликтующих мета-тегов от темы и SEO-плагина.
Как проверить, что всё настроено правильно
После изменений не ограничивайтесь визуальной проверкой в админке. Нужно убедиться, что поисковику действительно отдаются нужные сигналы.
Проверьте несколько типов страниц вручную:
- страницу поиска;
- архив тега;
- архив автора;
- вторую страницу рубрики или архива;
- главную страницу сайта и полезные рубрики, чтобы случайно не закрыть их.
Что смотреть в исходном коде страницы:
<meta name="robots" content="noindex, follow">или близкий вариант для служебных страниц;- отсутствие лишних конфликтующих тегов robots;
- canonical, который указывает на правильную страницу, если он нужен;
- отсутствие случайного
noindexна полезных материалах.
Если вы используете Google Search Console или Яндекс Вебмастер, после переобхода можно посмотреть, как поисковик видит страницу. Но не ждите мгновенного исчезновения из индекса: после изменения мета-роботов поисковым системам нужно время на повторный обход.
Чего лучше не делать
Самая частая ошибка — закрывать всё через robots.txt. Для служебных страниц это обычно слабое решение: URL может остаться в индексе, а поисковик не увидит сигнал на удаление.
Ещё одна ошибка — ставить noindex на весь сайт или на слишком широкий шаблон. Так можно случайно закрыть рубрики, записи и другие страницы, которые должны приносить трафик.
Не стоит также одновременно включать разные правила в теме, SEO-плагине и в ручных вставках в header.php. Когда несколько источников управляют robots-метками, легко получить конфликт и непредсказуемый результат.
Если коротко, рабочая схема для большинства WordPress-сайтов такая: поиск, слабые теги, пустые авторские архивы и пагинацию закрываем через noindex; полезные рубрики и записи оставляем открытыми; robots.txt используем только там, где действительно нужно ограничить обход, а не как замену индексации.