Дубли страниц и как с ними бороться

Дубли страниц сайта

   Как известно всем web мастерам и seo специалистам дублирование страниц сайта очень плохо влияет на его продвижение в поисковых системах так как дубли страниц это страницы с одинаковым содержанием которые не представляют собой ценность и поисковые системы уже давно научились их различать и как правило сайты где есть дублированный контент они просто опускают ниже, а иногда даже банят. Дублированные страницы получаются по многим причинам это: несколько меню на сайте которые имеют разные алиасы и в итоге ведет на один материал но с разными ссылками (в зависимости от движка сайта), страницы поиска по сайту которые выводят найденное содержимое, страницы перехода (когда на сайте отображается в категории по 10 статей и есть кнопочки 1,2,3 и т.п. для перелистывания страниц) такие страницы так же считаются дублями контента так как они выводят заголовки статей с кратким описанием которое уже и так проиндексировалось в основной статье, домен с www и без него и т.п.

Как избавиться от дублей страниц сайта

   В первую очередь Вам необходимо определить на Вашем сайте страницы с дублированным контентом. Сделать это довольно просто можно переходить по своему сайту и наблюдать где выводятся дублированные страницы. Вам нужно внимательно изучить страницы поиска по сайту, пункты меню, как осуществляются переходы на страницы статей сайта из модулей вывода последних статей, последних комментариев и т.п. так как не редкость когда если переходить к статье по пунктам меню алиас один, а при переходе из модуля "последние статьи" алиас совершенно другой и получается 100% дубль страницы.

   Можно полностью убрать дубли страниц запретив их индексацию через файл robots.txt пример:

User-agent: *
Disallow: /search/
Disallow: /page/

User-agent: Yandex
Disallow: /search/
Disallow: /page/
Просто добавляйте в файл robots.txt те места сайта которые Вам необходимо закрыть от индексации, но будьте внимательны и не запретите к индексации нужные разделы сайта. Проверить разрешена или запрещена индексация определенных страниц сайта Вы можете в инструментах Яндекс Вебмастера 

   Как Вы можете увидеть там существуют несколько полей которые позволяют ввести имя хоста и получить содержимое файла robots.txt с Вашего сайта. В списке url Вы можете указать страницы Вашего сайта которые необходимо проверить и запустить проверку. через секунду Вы увидите какие страницы Вашего сайта индексируются, а какие запрещены к индексации. Таким образом пробуйте составить файл robots.txt, что бы убрать все дубли.

   Второй способ убрать дубли страниц это добавление на дублированные страницы тега rel="canonical" на страницы с дублями. Так же нужно быть очень внимательным при добавление тега rel="canonical" на страницы с дублями так как полностью это в коде страницы выглядит вот так:

   Как Вы можете заметить в коде страницы, что присутствует "<link href="/blog-page/latest" rel="canonical" />" хотя в данный момент страница сайта http://krutim-all.ru/blog-page и в данной ситуации этот тег сообщает поисковому роботу, что эта страница является дублем /latest, а вот на странице /latest

   Вы можете заметить, что все тоже самое "<link href="/blog-page/latest" rel="canonical" />" тем самым сообщая поисковому роботу, что нужно индексировать именно эту страницу. Вот именно по такому принципу и нужно ставить данные теги, что бы убрать дубли страниц сайта. Как Вы поняли, что те страницы которые являются дублями на них нужно указывать данный тег на оригинал записи.

   Так же если у Вас в категории сайта отображается по 10 записей на страницу и дальше нужно перелистывать 1,2,3 и т.д. то на всех страницах кроме первой нужно указать данный тег со ссылкой на основную категорию то есть первую страницу как к примеру если у Вас при входе в категорию сайта отображается 10 статей с кратким описанием и далее идет перелистывание page/1, page/2, page/3 то page/1, уже является дублем категории и все остальные страницы так же несут в себе дубли имеющихся статей сайта. В данном случае Вам нужно добавить данный тег на всех этих страницах указав ссылку на основную категорию сайта.

   Лучше всего данные настройки применять вместе в каких то ситуациях закрывать к индексации в robots.txt а в каких то тегом rel="canonical".

Домен с www или без него

   Как только Вы создали сайт в первую очередь определитесь каким будет Ваш основной домен с www или без. После того как Вы определитесь с выбором к примеру сделать домен без www Вам необходимо, что бы все кто пишет имя Вашего домена с www попадали на страницу сайта без www для этого нужно прописать в .htaccess который лежит в корне сайта редирект.

RewriteEngine On
RewriteCond %{HTTP_HOST} www.krutim-all.ru
RewriteRule (.*) http://krutim-all.ru/$1 [R=301,L]

   За пример возьмем наш сайт все кто пытается войти на него с www попадают на страницу сайта без www. С www домен или без www так же распознается поисковиками как дубль по этому определить какой у Вас будет домен нужно обязательно на самом начальном этапе создания сайта, что бы когда Вы его опубликуете и разрешите индексацию поисковые машины индексировали его по одному типу. В настройках яндекс вебмастера и google вебмастера так же есть выбор главного зеркала сайта, и Вы так же можете указать роботу основной домен Вашего сайта в нашем случае это без www и зеркало сайта с www.

Внимание

   Будьте аккуратнее в данными настройками сайта и если у Вас уже успешный сайт который имеет хорошие позиции в поиске и Вы получаете нормальный приток посетителей то может и не нужно ни чего менять если Вас все устраивает так как при изменении данных настроек сайт может как взлететь вверх так и опуститься вниз если Вы не учтете какие страницы сайта у Вас в топе, на какие страницы идут переходы из поиска и случайно закроете их к индексации. Что бы проводить такие манипуляции на уже успешных и раскрученных сайтах и получить еще больший рост нужны знания seo специалиста который сможет определить какие страницы у вас уже в индексе, какие из них в топе, на какие страницы идут переходы из поисковых систем и уже после этого выборочно настраивать отдельно каждую категорию, страницу и т.д. и только таким путем Ваш сайт получит еще большее поднятие в поисковых системах и получит еще больше посетителей.

   Для новых сайтов или сайтов которым около полугода и они не имею ни каких рейтингов эти настройки нужно производить обязательно до того как Вы набьете полный сайт информацией и у Вас проиндексируется кучу дублей и рейтинг сайта упадет еще больше.

   втонаполняемые сайты и любые сайты с не уникальным контентом можно не оптимизировать так как пользы Вам это не принесет.

Пример индексации дублей страниц

   К примеру на одном из сайтов не будем указывать на него ссылку имеется отличный контент полностью уникальный, дизайн сайта просто отпадный вообщем не сайт а просто красавец. На сайте имеется поиск который выводит результаты поиска на одной странице указывая заголовки статей и краткое описание. После добавления одной хорошей статьи на сайт спустя неделю она была в топе поисковой системы "так как в данное время это было очень требовательно пользователям интернета", но что самое интересное в том, что  в топ попала не сама статья, а именно страница результатов поиска по сайту на которой эта статья была на 6 месте и, что бы просто дойти до нее нужно было еще пролистать страницу в низ. Таким образом не смотря на то. что посещений на эту страницу было в сутки более 10000 уникальных пользователей лишь 5% пользователей долистывали до этой станицы и переходили уже на основную полную статью с красивым описанием картинками и видео, а все остальные просто закрывали этот сайт так как считали, что на нем нет ни чего интересного. И главное в том, что создателям сайта тем кто написал данную статью было нужно, что бы люди попадали именно на основную статью так как именно в ней в полном описании люди могли найти то, что им нужно, а так же осуществить заказ по ссылкам которые были в низу самой статьи, а та страница поиска по сайту которая попала в топ по данному ключевому запросу представляла только краткое описание статьи  и то на 6 месте поиска которое даже не попадало людям в глаза при переходе на сайт. Данный сайт потерял не одну сотню тысяч рублей из за такой ошибки. И когда люди обратились к нам мы потратили 2 недели, что бы выкинуть эту страницу из топа поиска и заставить встать на ее место нужную статью. Данные люди заказывали создание сайта у не известного нам программиста который им сказал, что сайт готов к работе, полностью оптимизирован и его можно наполнять и открывать. 

   Обратите внимание, что далеко не все программисты которые создают сайты являются seo оптимизаторами и как правило после работы этих программистов еще несколько месяцев приходится им тыкать на их ошибки когда к работе подключается seo специалист по оптимизации сайта.

   Это жизненный пример ошибки которая не была учтена при создании сайта и публикации его для индексирования поисковыми системами. И таких ошибок можно приводить бесконечно много и все они негативно влияют на продвижение сайта.

   Это лишь некоторые из примеров оптимизации сайта которые Вы можете попробовать сделать самостоятельно, но помните, что оптимизировать сайт должен специалист и только в этом случае Вы можете быть уверенным, что все у Вас сделано на 100%.

   Для многих движков сайта сейчас существуют плагины которые позволяют сделать огромное количество настроек по seo оптимизации сайта, но даже ставя их Вы должны понимать, что точные настройки как должен выглядеть сайт для поисковых систем может знать только грамотный сеошник.

   Если у Вас есть вопросы или нужна помощь пишите в комментариях.