На сайте, который необходимо продвинуть, не должно находится “несуществующих” страниц. Все страницы ресурса должны быть рабочими.
Если же создание сайта осуществлялось посредством использования сервисных скриптов (php, perl, asp и др.), обязательно следите за тем, чтобы этот самый скрипт не создал кучу одинаковых страниц.
Когда в сервисных скриптах присутствуют сессии, роботам-поисковикам следует предоставлять те же страницы, но без использования сессий. Проверку легко осуществить по “user-agent”либо по “ip”, разыскать такие данные доступно на официальных сайтах систем поиска.

Стоит поставить запрет на индексирование бесполезных страниц. Без лишней головоломки сделать такую операцию вам поможет специальный файл “ robots.txt ”, к которому при индексировании сайта робот постоянно обращается. Данный файл необходимо разместить в корне. Так же можно прибегнуть к использованию специального тэга в коде html, но такой способ вряд ли вас обрадует. Он занимает не маленькое пространство и вряд ли уменьшит количество обращений к вашему сайту. Робот сначала должен обнаружить этот код на странице, а к файлу “robots.txt” он обратиться первым делом при входе на сайт.

На множестве банковских сайтов существуют версии страниц для печати. Эти страницы с таким же текстом, но не содержат навигации, рекламы и другой ненужной информации. Если пользователь благодаря поиску попадёт на данную страницу, он сможет прочесть исключительно текст статьи, но вряд ли перейдёт на следующую страницу, так как меню страницы отсутствует. Именно по этому такие страницы стоит запретить к индексированию.

Пример: для запрета индексирования всеми поисковыми роботами списка на денежные переводы для физических лиц в системе Western Union, находящегося на странице ***.ru/services/personal/western-union.html, создаём файл robots.txt, такого содержания:

User-agent: *
Disallow: /services/personal/western-union.html

И специальный html тэг, который позволит закрыть страницы от индексирования:

<!– /* Font Definitions */ @font-face {font-family:”Cambria Math”; panose-1:2 4 5 3 5 4 6 3 2 4; mso-font-charset:1; mso-generic-font-family:roman; mso-font-format:other; mso-font-pitch:variable; mso-font-signature:0 0 0 0 0 0;} /* Style Definitions */ p.MsoNormal, li.MsoNormal, div.MsoNormal {mso-style-unhide:no; mso-style-qformat:yes; mso-style-parent:”"; margin:0cm; margin-bottom:.0001pt; mso-pagination:widow-orphan; font-size:12.0pt; font-family:”Times New Roman”,”serif”; mso-fareast-font-family:”Times New Roman”;} .MsoChpDefault {mso-style-type:export-only; mso-default-props:yes; font-size:10.0pt; mso-ansi-font-size:10.0pt; mso-bidi-font-size:10.0pt;} @page Section1 {size:612.0pt 792.0pt; margin:2.0cm 42.5pt 2.0cm 3.0cm; mso-header-margin:36.0pt; mso-footer-margin:36.0pt; mso-paper-source:0;} div.Section1 {page:Section1;} –> 


<meta name=robots content=noindex> или <meta name=robots content=none>