• Обновлено
  • Опубликовано
  • 2172 просмотра
  • 13 мин. чтения
  • 0 комментариев

Как найти и удалить дубли страниц на сайте

Дубли страниц — частая причина, почему сайт застрял на второй странице выдачи, хотя тексты у вас не хуже конкурентов. Разобрали простыми словами: что это такое, чем дубли вредят продвижению, как найти их через Вебмастер и Search Console за 15 минут и чем закрыть: редиректом, canonical, noindex или robots.txt. Внутри таблица «когда какой метод» и чек-лист самопроверки. После статьи вычистите копии на своём сайте за один вечер.
Статью написал:
Ваня Буявец, продюсер, основатель Checkroi
Ваня Буявец
Основатель Checkroi, продюсер, эксперт в выборе онлайн-курсов
Все 915 статей автора Подписаться на Телеграм-канал
Одобрено экспертом:
Наташа Буявец, основатель Checkroi, эксперт по онлайн-курсам
Наташа Буявец
Основательница Checkroi, продюсер Youtube-каналов, эксперт по онлайн-курсам
Все 1575 экспертных мнений Подписаться на Телеграм-канал
Обложка: Как найти и удалить дубли страниц на сайте

Вы открыли Яндекс.Вебмастер, а там предупреждение: «Найдены дубли страниц». Или сайт месяцами топчется на третьей странице выдачи, хотя тексты вы пишете лучше конкурентов. Часто причина одна и та же: один и тот же контент открывается по нескольким разным адресам, и поисковик не понимает, какую версию показывать людям.

Разберём по шагам: что такое дубли страниц, почему они тормозят продвижение, как их найти через Вебмастер, Search Console и парсеры, и как убрать четырьмя проверенными способами: редиректом, каноническим тегом, noindex и robots.txt. Для каждого способа скажем, когда он подходит, а когда сделает хуже.

Если вы только знакомитесь с поисковой оптимизацией, начните с обзорной статьи «SEO для начинающих», там разобрали, из чего вообще складывается продвижение. А поиск дублей почти всегда идёт в связке с техническим аудитом сайта: дубли вылезают ровно там, вместе с битыми ссылками и медленными страницами.

Статья пригодится не только сеошникам. С дублями сталкивается каждый, кто ведёт сайт: владелец интернет-магазина, маркетолог, контент-менеджер, владелец блога на WordPress. Уметь их находить и закрывать — базовый навык, без которого остальная работа над сайтом частично уходит в пустоту.

Если хочется разобраться в продвижении системно, а не латать дыры по одной, загляните в нашу подборку курсов по поисковой оптимизации: от коротких интенсивов для новичков до программ с трудоустройством.

Курсы по Поисковая оптимизация (seo)КурсыСравнение 116 курсов по поисковой оптимизации (seo)Цены, школы, длительность, рассрочка

Что такое дубли страниц простыми словами

Дубль — это когда одна и та же страница вашего сайта доступна по двум или нескольким разным адресам (URL). Контент при этом совпадает полностью или почти полностью, а ссылки разные.

Простой пример. Допустим, у вас статья про уход за фикусом. И она открывается сразу по четырём адресам:

  • site.ru/fikus
  • site.ru/fikus/ (со слешем на конце)
  • www.site.ru/fikus (с приставкой www)
  • site.ru/fikus?utm_source=vk (с рекламной меткой)

Для вас это одна статья. Для поисковика это четыре разные страницы с одинаковым текстом. И вот тут начинаются проблемы, потому что робот не знает, какую из четырёх считать главной и показывать людям в выдаче.

Запомните главное. Дубль — это не про похожие тексты на разные темы. Речь про один и тот же контент, который физически открывается по нескольким адресам.

Отдельно стоит развести два понятия, которые новички часто путают. Канонический URL (его ещё называют «каноникал») — это тот самый главный адрес страницы, который вы хотите видеть в поиске. Все остальные адреса той же страницы — дубли, которые нужно либо убрать, либо указать на канонический через специальный тег. Дальше разберём, как это сделать.

Чем дубли опасны для продвижения

Можно подумать: ну открывается страница по двум адресам, кому от этого плохо. На деле дубли бьют по сайту сразу с нескольких сторон.

Размывается ссылочный вес. Когда на вашу статью ставят ссылки, с других сайтов или внутри вашего же, часть ведёт на один адрес, часть на другой. Вес делится между дублями вместо того, чтобы накапливаться на одной странице. В итоге ни одна из версий не набирает достаточно силы, чтобы подняться в выдаче.

Поисковик может выбрать не ту страницу. Робот сам решает, какой из дублей показать людям. И нередко выбирает адрес с меткой или техническую версию вместо нормальной. Вы продвигаете site.ru/fikus, а в поиске болтается site.ru/fikus?print=1.

Тратится краулинговый бюджет. У каждого сайта есть лимит: сколько страниц робот готов обойти за один заход (это и называют краулинговым бюджетом). Если робот тратит обходы на сотни дублей, до ваших новых статей он добирается медленнее. Для крупного интернет-магазина с фильтрами это особенно больно.

Риск понижения и фильтра. Много полных дублей — сигнал поисковику, что сайт наполнен низкокачественными однотипными страницами. В тяжёлых случаях это приводит к общему понижению всего домена, а не только конкретных страниц.

Если интересно, как поисковики вообще оценивают «ценность» страниц и что делать со слабыми, у нас есть отдельный разбор про малоценные и маловостребованные страницы: дубли часто попадают именно в эту категорию в отчётах Вебмастера.

Виды дублей страниц

Чтобы дубли находить и закрывать правильно, надо понимать, какими они бывают. Все дубли делятся на три большие группы.

Вид дубля Что это Типичные примеры
Полные Контент совпадает на 100 %, отличается только адрес www и без www, http и https, слеш на конце, UTM-метки, index.php
Частичные Совпадает большая часть контента, но есть отличия Страницы пагинации, сортировки и фильтры каталога, версия для печати
Смысловые Разные адреса и тексты, но один поисковый интент Две похожие посадочные под близкие запросы, которые конкурируют между собой

Чаще всего владельцы сайтов сталкиваются с техническими дублями, это подвид полных. Они появляются сами собой из-за настроек сервера и движка сайта, без вашего участия. Вот самые частые:

  • www и без www. www.site.ru и site.ru для поисковика выглядят как два разных сайта, если не настроено главное зеркало.
  • http и https. После перехода на защищённый протокол старая http-версия часто остаётся доступной.
  • Слеш в конце адреса. site.ru/fikus и site.ru/fikus/ могут отдавать одну страницу по двум адресам.
  • Главная по нескольким адресам. site.ru, site.ru/index.php, site.ru/home — классика для старых CMS.
  • GET-параметры и UTM-метки. ?utm_source=..., ?sort=price, ?sessionid=...: любой параметр в адресе создаёт технический дубль, если контент при этом не меняется.
  • Регистр и лишние символы. site.ru/Fikus и site.ru/fikus, адреса с двойными слешами.

Совет для интернет-магазинов. Если у вас каталог с фильтрами и сортировкой, почти наверняка у вас сотни дублей от GET-параметров. Это первое, что стоит проверить.

Ваня Буявец, продюсер, основатель CheckroiВаня Буявец, основатель CheckroiПоказываю, как применять Claude Code, ChatGPT и другие нейросети в учёбе и работе, с примерами и промптамиЧитать в Телеграме

Откуда берутся дубли

Дубли редко появляются специально. Почти всегда их плодит сам сайт. Главные источники:

Движок сайта (CMS). Многие системы вроде WordPress, Bitrix, OpenCart по умолчанию создают копии страниц: версии для печати, страницы вложений, архивы по датам и авторам. Это надо отдельно настраивать.

Фильтры и сортировка в каталоге. Каждое нажатие «сортировать по цене» или «показать только красные» добавляет к адресу параметр и создаёт новый URL с тем же товаром.

Рекламные метки. UTM-метки для отслеживания рекламы добавляются к ссылкам в рассылках и объявлениях. Если такая ссылка попадёт в индекс, получите дубль.

Переезды и ошибки настройки. Смена домена, переход на https, неаккуратная настройка сервера — всё это оставляет за собой шлейф старых доступных адресов.

Как найти дубли на сайте

Хорошая новость: большую часть дублей находят бесплатные инструменты, которые уже есть у вас под рукой. Пойдём от самого простого к более продвинутому.

Способ 1 — Яндекс Вебмастер

Самый быстрый путь для рунета. Зайдите в Яндекс.Вебмастер, раздел «Индексирование» → «Страницы в поиске». Там есть фильтр по статусу «Дубль»: Яндекс сам отмечает страницы, которые считает копиями, и показывает, какой адрес он выбрал каноническим.

Ещё один полезный отчёт — «Заголовки и описания». Если видите много страниц с одинаковыми Title и Description, это почти всегда дубли. Когда сайт ещё не подключён к Вебмастеру, начните с этого: инструмент бесплатный и обязательный для любого сайта в рунете.

Способ 2 — Google Search Console

Для трафика из Google аналог Вебмастера — Google Search Console. Откройте отчёт «Индексирование страниц» и ищите статусы «Страница является копией. Канонической версии нет» и «Обнаружена, не проиндексирована». Google прямо подсказывает, какие адреса считает дублями и почему не берёт их в индекс.

Способ 3 — поисковые операторы

Быстрая проверка без всяких сервисов. Вбейте в поиск Яндекса или Google оператор site: с вашим доменом, например site:site.ru. Поисковик покажет все страницы домена в индексе. Пролистайте и поищите глазами одинаковые заголовки и подозрительные адреса с параметрами.

Чтобы проверить конкретный текст на дубли, возьмите кусок предложения со страницы в кавычки и поищите так: site:site.ru «фраза со страницы». Если в ответ выпало несколько адресов — вот они, дубли.

Способ 4 — парсеры сайта

Парсер (его ещё называют краулером) — это программа, которая обходит сайт целиком, как поисковый робот, и собирает данные по всем страницам. Для поиска дублей это самый мощный инструмент. Популярные варианты:

  • Screaming Frog SEO Spider — стандарт индустрии. До 500 адресов бесплатно, дальше по подписке. Ищите вкладки с повторяющимися Title, Description, H1, это и есть дубли.
  • Netpeak Spider — удобный аналог с понятным русским интерфейсом, отдельный отчёт по дублям контента, Title и Description.
  • Xenu’s Link Sleuth — старая, но живая бесплатная программа. Интерфейс простой, зато находит технические дубли и битые ссылки.

Что выбрать, если непонятно. Сайт до 500 страниц — хватит бесплатного Screaming Frog. Сайт больше, и вы в рунете — берите Netpeak Spider, он проще для новичка. А для разовой проверки маленького сайта достаточно Вебмастера и оператора site:, программы можно не ставить.

Как убрать дубли страниц

Нашли дубли — теперь их надо закрыть. Способов четыре, и тут важно не перепутать: для разных ситуаций подходят разные методы. Поставите не тот, и либо не поможет, либо случайно выкинете из индекса нужную страницу.

Метод Что делает Когда применять Минусы
301-редирект Навсегда переадресует с дубля на главную и передаёт ей вес Дубль не нужен людям: www, http, лишний слеш, старые адреса Не подходит, если дубль должен оставаться доступным
rel=canonical Говорит поисковику, какая страница главная, не удаляя дубль Дубль нужен пользователю: фильтры, сортировки, пагинация, UTM Это рекомендация, а не приказ, поисковик может проигнорировать
noindex Запрещает добавлять страницу в индекс Служебные страницы, которым нечего делать в поиске Вес страницы не передаётся главной
robots.txt Просит робота не заходить на адреса по маске Массово закрыть технические разделы и параметры Google может оставить такую страницу в индексе без описания

301-редирект

301-й редирект — это постоянное перенаправление. Человек или робот заходит на дубль и автоматически попадает на главную страницу. Поисковик понимает, что страница переехала навсегда, и передаёт весь накопленный вес новому адресу.

Это лучший выбор для технических дублей, которые людям не нужны: версии www и без www, http и https, адреса с лишним слешем, старые URL после переезда. Настраивается через файл .htaccess на Apache или в конфиге nginx, тут обычно нужна помощь того, кто администрирует сайт.

Не ставьте редирект вслепую. 301-й нужен только там, где дубль не должен открываться. Если перенаправить страницу фильтра каталога, пользователь не сможет ей пользоваться: тут нужен canonical, а не редирект.

Канонический тег rel=canonical

Канонический тег ставится в секцию <head> страницы-дубля и указывает на адрес главной версии:

<link rel="canonical" href="https://site.ru/fikus" />

Этим вы говорите поисковику: «Эта страница — копия, индексируй вот ту». Дубль при этом остаётся доступным для людей. Хорошо подходит для случаев, когда страница нужна посетителю, но не нужна в поиске: фильтры и сортировки каталога, пагинация, страницы с UTM-метками. Большинство движков и SEO-плагинов (например, Yoast или Rank Math для WordPress) умеют проставлять canonical автоматически.

Важный нюанс: canonical — это рекомендация, а не строгая команда. Обычно поисковики её слушаются, но иногда выбирают каноническую страницу по-своему. Поэтому для полностью ненужных дублей надёжнее редирект.

Метатег noindex

Метатег <meta name="robots" content="noindex, follow" /> в секции <head> запрещает добавлять страницу в индекс, но разрешает роботу переходить по ссылкам на ней. Подходит для служебных страниц, которым нечего делать в поиске: результаты внутреннего поиска по сайту, личный кабинет, корзина, страницы тегов.

Директива Disallow в robots

Файл robots.txt в корне сайта говорит роботам, какие разделы не обходить. Через директиву Disallow можно массово закрыть технические адреса по маске, например все ссылки с определённым параметром:

Disallow: *?utm_

Тут есть важное различие между поисковиками, о котором забывают чаще всего.

Google и Яндекс ведут себя по-разному. Яндекс уважает запрет в robots.txt и убирает такие страницы из индекса. Google же может оставить закрытый адрес в поиске, без описания, но в индексе. Для Google надёжнее canonical или noindex.

Для Яндекса дополнительно есть директива Clean-param: она специально создана, чтобы склеивать адреса с GET-параметрами вроде UTM-меток. Полезно для каталогов с фильтрами. Правила оформления robots.txt подробно описаны в справке Яндекса и документации Google.

Чек-лист — проверьте сайт на дубли за 15 минут

Короткий план для быстрой самопроверки. Пройдите по пунктам, этого хватит, чтобы поймать 90 % типичных дублей на небольшом сайте.

  • Откройте сайт по четырём адресам: с www и без, с http и https. Все лишние должны редиректить на один главный.
  • Добавьте к адресу главной слеш и уберите его, проверьте, не открываются ли обе версии одновременно.
  • Зайдите в Яндекс.Вебмастер → «Страницы в поиске», отфильтруйте по статусу «Дубль».
  • Проверьте Google Search Console → «Индексирование страниц» на статусы про копии.
  • Вбейте site:вашдомен.ру в оба поисковика и пролистайте на одинаковые заголовки.
  • Проверьте, открыт ли robots.txt по адресу site.ru/robots.txt и закрыты ли в нём служебные разделы.
  • Если есть каталог с фильтрами, проверьте, стоит ли canonical на страницах сортировки.

Как не плодить дубли в будущем

Закрыть дубли один раз мало, важно не создавать новые. Несколько привычек, которые экономят часы работы потом.

Сразу после запуска сайта настройте главное зеркало: один протокол (https), один вариант домена (с www или без), один формат адресов (со слешем или без). Все остальные варианты отправьте на 301-редирект.

Поставьте SEO-плагин, который автоматически проставляет canonical. Для WordPress это Yoast или Rank Math. Так закрывается большая часть дублей от движка без ручной работы.

Следите за UTM-метками: они нужны для аналитики, но не должны попадать в индекс. Закройте их через canonical или Clean-param заранее.

Раз в пару месяцев прогоняйте сайт парсером и заглядывайте в Вебмастер. Чем раньше поймаете новые дубли, тем меньше вреда они успеют нанести.

Где научиться SEO системно

Поиск и устранение дублей — одна из десятков задач технической оптимизации. Чтобы не собирать знания по кускам из статей, удобнее один раз пройти нормальный курс: там и техническая часть, и семантика, и работа с Вебмастером разложены по полочкам и на практике.

Мы собрали и сравнили актуальные программы по поисковой оптимизации, с ценами, форматами и отзывами:

КурсШколаСтоимость со скидкойВ рассрочкуДлитель­ностьОбзор курса от Checkroi
Performance-маркетинг в SEO
Перейти на сайт курса
SkillboxSkillbox54 600 ₽4550 ₽/мес.4 месяцаОбзор курса
Профессия «SEO-специалист с нуля до PRO»
Перейти на сайт курса
SkillboxSkillbox100 733 ₽4579 ₽/мес.12 месяцевОбзор курса
SEO-специалист PRO
Перейти на сайт курса
НетологияНетология116 820 ₽4867 ₽/мес.4 месяцаОбзор курса
SEO-специалист: базовый курс
Перейти на сайт курса
НетологияНетология44 700 ₽2483 ₽/мес.4 месяцаОбзор курса
SEO-специалист: курс от AMDG
Перейти на сайт курса
SkillboxSkillbox55 245 ₽4597 ₽/мес.4 месяцаОбзор курса
SEO-специалист
Перейти на сайт курса
Академия СинергияСинергия88 116 ₽3672 ₽/мес.6 месяцевОбзор курса
SEO-специалист
Перейти на сайт курса
НетологияНетология92 500 ₽3084 ₽/мес.12 месяцевОбзор курса
Профессия «SEO-специалист»
Перейти на сайт курса
SkillboxSkillboxБесплатно3320 ₽/мес.12 месяцевОбзор курса
SEO-продвижение
Перейти на сайт курса
Digital Skills AcademyDSA27 500 ₽2291 ₽/мес.1 месяцОбзор курса
Факультет SEO-продвижения
Перейти на сайт курса
GeekBrainsGeekBrains104 700 ₽2908 ₽/мес.12 месяцевОбзор курса

Больше программ — в полном каталоге курсов по поисковой оптимизации (seo)

Если пока хотите разобраться сами, начните с нашего большого словаря SEO-терминов: там простыми словами объяснены каноникал, краулинговый бюджет, индексация и остальное, что встречается в отчётах. А тем, кто задумался о профессии, пригодится разбор, как стать SEO-специалистом и сколько на этом зарабатывают.

Дубли — это та часть SEO, где результат виден быстро и понятно. Закрыли копии, склеили вес на главных страницах, и через пару апдейтов поисковик начинает показывать в выдаче правильные адреса, а позиции подрастают. Начните с чек-листа выше, и большую часть проблем закроете за один вечер.

Часто задаваемые вопросы

Что такое дубли страниц простыми словами?

Это когда одна и та же страница сайта открывается по двум или нескольким разным адресам. Контент совпадает, а URL разные. Поисковик считает их отдельными страницами и не понимает, какую показывать в выдаче.

Чем опасны дубли страниц для продвижения?

Дубли размывают ссылочный вес между копиями, заставляют робота тратить краулинговый бюджет впустую и мешают поисковику выбрать нужную версию страницы. При большом количестве полных дублей сайт может потерять позиции или попасть под фильтр.

Как быстро найти дубли на сайте бесплатно?

Самый быстрый путь — Яндекс.Вебмастер (раздел «Страницы в поиске», фильтр «Дубль») и Google Search Console (отчёт «Индексирование страниц»). Ещё помогает оператор site:вашдомен.ру в поиске и бесплатная версия Screaming Frog для сайтов до 500 страниц.

Что лучше для устранения дублей — 301-редирект или canonical?

301-редирект ставят, когда дубль людям не нужен: версии с www и без, http, лишний слеш, старые адреса. Canonical — когда страница нужна посетителю, но не должна быть в поиске: фильтры каталога, сортировки, пагинация, UTM-метки. Редирект надёжнее, canonical поисковик может проигнорировать.

Создают ли UTM-метки дубли страниц?

Да. UTM-метка добавляет к адресу параметр, но контент при этом не меняется, поэтому получается технический дубль. Если такие ссылки попадают в индекс, их закрывают через canonical, а для Яндекса — директивой Clean-param в robots.txt.

Можно ли убрать дубли через robots.txt?

Для Яндекса — да, он уважает запрет в robots.txt и убирает закрытые страницы из индекса. Google же может оставить такой адрес в поиске без описания, поэтому для него надёжнее canonical или метатег noindex.

Считается ли пагинация дублем страниц?

Пагинация относится к частичным дублям, особенно если у раздела есть отдельная страница со всем списком товаров или статей. На страницах пагинации часто дублируются Title и Description. Обычно их закрывают каноническим тегом или отдельными правилами.

Как часто нужно проверять сайт на дубли?

Достаточно раза в один-два месяца прогонять сайт парсером и заглядывать в Вебмастер и Search Console. Для интернет-магазинов с фильтрами проверять стоит чаще, потому что фильтры и сортировки плодят технические дубли постоянно.

Оставить комментарий
0 комментариев
Форма комментария

Оставьте комментарий

Напишите, что думаете. Нам важно ваше мнение!