Три поисковые системы Google, Yahoo и Microsoft объединили свои усилия, чтобы бороться с дублированным контентом в интернете. Основной причиной дублирования контента на сайте является наличие большого количества урлов, которые ведут на одну страницу. Это происходит из-за того, что на одной странице пользователю могут предлагаться различные варианты расположения контента: по популярности, по стоимости, по релевантности. Наличие таких классификаций не будет влиять на основной урл, меняться будут лишь параметры.


Теперь вебмастера смогут выбирать из множества урлов один, который поисковик будет считать каноническим. Именно смогут, а не будут обязаны, поскольку поисковики только советуют использовать новый тэг, не навязывая его вебмастерам. Новый html-тэг показывает поисковику, какую страницу использовать в выдаче результатов поиска.

Для того чтобы дать знак поисковику, вебмастер должен прописать в html-коде сайта такую строку . После этой операции поисковик не будет индексировать вариантные урлы, которые содержат параметры вида и идентификаторы сессий:

http://www.example.com/products?trackingid=feed
http://www.example.com/products?sessionid=hgjkeor2
http://www.example.com/products?printable=yes&trackingid=footer

Так как поисковый робот индексирует за один подход ограниченное количество страниц сайта, новый тэг поможет вебмастеру показать роботу только уникальные страницы и добиться наибольшей эффективности.

Нововведение, поддержанное главными поисковиками буржунета, не решит проблему дублированного контента во всем интернете, во-первых, потому что не все вебмастера будут пользоваться новым тэгом, во-вторых, потому что новый тэг можно применить только к страницам одного сайта. Воровство контента от сайта к сайту продолжится. Поэтому пора поисковикам объединять усилия, чтобы разработать совершенный механизм распознавания оригинального источника материала в сети.