Исключение дублей

Для того чтобы сайт был в ТОП выдачи поисковых систем, очень важно такое понятие, как уникальный контент, причем как для реальных посетителей, так и для машины поиска. То есть, информация на страницах сайта, которая даже при имеющемся одинаковом смысловом сходстве с другими, например, продающими сайтами, должна отличаться стилистикой и таким образом всегда выделяться роботом. Отсюда вытекает, что на сайте не должно существовать лишних страниц - дублей, где копируется уже существующий где-то контент. В противном случае поисковая система расценит это как спам и просто не будет индексировать и ранжировать ваш ресурс.

Дубли принято разделять на два вида:

Полные – отличие таких страниц друг от друга существует только в URL, в остальном они близнецы;
Нечеткие – у этих страниц URL различны, а представленный на них контент частично отличается;

Наиболее часто, для решения этой проблемы, устраняют адреса дублированных страниц, которые были созданы по времени позже оригинала. Для этой цели есть несколько способов закрытия страниц от индексации. Здесь следует учесть, что каждый отдельный случай, когда на сайте имеются дубликаты, требует частного подхода и шаблонность здесь, увы, не поможет. Причина дублирования, это не всегда огрехи в работе веб-мастера, иногда это продиктовано необходимостью, как, например, при создании многостраничных каталогов, когда после первой страницы, последующие чаще всего шаблонного исполнения, и содержат повторяющуюся информацию.