дубли страниц сайтаРад приветствовать вас друзья. Сегодняшняя статья будет на тему — вред дублей страниц при продвижении и раскрутке сайта. Для начала давайте дадим определение самому термину. Дубли страниц – понятие дублирования одинакового контента на разных страницах сайта. На сегодняшний день алгоритмы поисковых систем развиты настолько, что без проблем могут определить наличие дублей страниц в пределах одного сайта. Казалось бы, а причем здесь мой сайт, ведь уникальность материала внутри сайта не сравнить с его уникальностью в целом по Интернету? Но реалии таковы, что при выявлении разных дублей страниц, поисковые системы могут крайне негативно проявить себя по отношению к этому сайту.

Давайте рассмотрим, основные опасности дублей страниц:

— Смена релевантной страницы сайта (которая продвигается по определенному запросу и наиболее точно отвечает ему) на страницу дубль. Очень частое явление, последствия которого, существенное понижение позиций по этому запросу.

— Ухудшение индексации сайта ПС. Если в течении продолжительного времени на вашем ресурсе размещено много страниц, то соответственно количество дублей как минимум будет таким же, а очень часто и в 3-5 раз превышать количество полезных статей.

— Потеря полезного внутреннего ссылочного веса в следствии его растекания по множеству «мусорных» страниц сайта.

— Попадание сайта под действия фильтров поисковых систем. Для Яндекса – это фильтр АГС, для Google – Panda. В этом случае переходы из поисковых систем могут вообще равняться 0.

— Сильное снижение позиций по ключевым запросам. При появлении дублей на сайте и их индексации, позиции вашего ресурса могут сильно упасть.

Также, нужно отметить, что бывают страницы полного и неполного дубля.

Полный дубль – абсолютно точное повторение содержимого одной страницы, другой страницей сайта, но с разными url-адресами.

Например:

http://site.ru/category/test/product

http://site.ru/category/test/product/

В первом варианте в конце адреса нет слеша, а во втором он уже присутствует. Для поисковых систем, это абсолютно разные страницы, с одинаковым содержимым.

Неполный дубль – частичное совпадение информации с разных страниц сайта.

Яркий пример тому, анонсы постов блога в ленту RSS, или же анонсы записей в страницах категорий (движок WordPress).

Пример:

http://site.ru/seo/statja-o-dubljah-stranic/ — отдельная статья на блоге

http://site.ru/category/seo/ — анонс записи этой же статьи, но с частичным дублей

Дубли страниц — методы определения

Для ПС Google.

Метод №1. Зайдите в панель инструментов Вебмастера и перейдите по адресу Вид в поиске – Оптимизация HTML.

оптимизация HTML

Перед вами откроется окно, в котором необходимо обратить внимание на:

Повторяющееся метаописание – страницы с одинаковым описанием (description)

Повторяющиеся заголовки (теги title) – страницы сайта с одинаковым title

Дело в том, что обычно на дублированных страницах, кроме контента и содержимого, дублируются еще и заголовки с метаописаниями. Поэтому, таким способом легко определить дубли страниц.

Метод №2. Если сайт не добавлен в панель инструментов, то можно воспользоваться поиском по фрагменту текста. Для этого скопируйте часть текста (1 предложение, или несколько слов), заключите его в кавычки и добавьте к нему такую приставку — site:vash-site.ru

В результате должен получится такой запрос:

"Фраза, которая мне напоминает дубль" site:vash-site.ru

проверка дублей страниц через Google

В приведенном примере, все хорошо, но очень часто бывает совсем по-другому.

Метод №3. В поисковой строке Google введите оператор:

site:vash-site.ru

опуститесь в самый низ страницы и в конце списка перейдите по ссылке – Показать скрытые результаты.

скрытые результаты

Внимательно изучите предоставленные вам результаты поиска для выявления дублей страниц.

Для ПС Яндекс.

Идем в расширенный поиск Яндекса, указываем нужный запрос в кавычках, и адрес проверяемого сайта.

расширенный поиск Яндекса для выявления дублей страниц

После нажатия кнопки Найти, будет предоставлен результат поиска.

Еще можно сравнить количество проиндексированных страниц обеими ПС. Если результат, будет существенно отличатся, то с большой долей вероятности можно говорить о существовании дублей в одной из ПС.

индексация страниц в Яндексе и Google

С помощью специализированных программ.

Есть два отличных инструмента, которые полностью автоматизируют поиск дублированных страниц на сайте (и не только).

Описывать принцип их работы не имеет смысла, так как для анализа необходимо добавить url-адрес сайта и запустить сам процесс сканирования. После его окончания в соответствующих полях будет результат работы.

Вот эти программы:

Xenu’s Link Sleuth

Netpeak Spider

Методы решения проблем

Самым первым шагом по нахождению и исправлению мусорных страниц, является технический анализ сайта, с помощью которого можно определить причину появления дублей. После того, как причина определена можно приступать к решению проблемы.

1) 301 редирект. Шикарный способ борьбы с дублями страниц. В случаи его применения происходит склейка страницы копии к основному адресу. Применение самое разное – переадресация страниц без слеша в конце url-адреса на страницы со слешем, определения главного зеркала сайта, с www или без него, склейка проблемных страниц (их переадресация) на нужные правильные адреса. Вот статья о 301 редиректе.

2) Тег rel=»canonical». Для борьбы с дублями, сами поисковые системы рекомендуют использовать специальный тег rel=»canonical», который нужно указать на всех страницах копиях в таком виде:

<link rel="canonical" href="http://site.ru/novosti/jeto-osnovnaja-stranica-sajta/" />

где адрес http://site.ru/novosti/jeto-osnovnaja-stranica-sajta/ и будет основным. На основном адресе, этот тег указывать не нужно.

3) Запрет от индексации страниц-дублей в файле robots.txt. Этот метод хорошо работает для ПС Яндекс, действительно, все дубли можно закрыть от индексации, и со временем они пропадут.

4) Для Google, который практически игнорирует этот файл, необходимо сделать следующую вставку в исходный код страниц дублей:

<meta name="robots" content="noindex">

Таким образом, мы указываем на запрет индексирования роботом, конкретных страниц сайта.

Для Яндекса, этот метод также хорошо работает.

Важно! Если вы используете этот тег, то страница не должна быть закрыта от индексации в файле robots.txt.

5) Метод использования 404 ошибки. Реализуется очень просто. Необходимо добиться от страниц дублей 404 ошибки, тогда при очередном сканировании роботами ПС, они будут выброшены с индекса.

В обязательном порядке периодически проверяйте свои сайты на наличие страниц дублей, чтобы своевременно реагировать на это и вовремя устранять появившиеся ошибки.

Полезные ссылки:

Удалить url-адрес из ПС Яндекс – https://webmaster.yandex.ru/delurl.xml

Удалить url-адрес из ПС Google — https://www.google.com/webmasters/tools/url-removal?hl=ru&siteUrl=

На этом у меня все. Всем пока!

  1. 5
  2. 4
  3. 3
  4. 2
  5. 1
(1 голос, в среднем: 5 из 5)