С конца августа-начала сентября этого года многие вебмастера заметили массовое выпадение сайтов из базы Яндекса, при котором в индексе оставалось от одной до десяти страниц.

Под раздачу попали прежде всего некачественные сайты («говносайты») и сателлиты, но среди выпавших оказалось также немало качественных ресурсов. Паника среди вебмастеров породила множество теорий: происходящее объясняли и глюком базы, и введением нового алгоритма, и санкциями за линкоторговлю.

Спустя месяц ситуацию официально прокомментировали разработчики поисковой системы: это последствия работы фильтра АГС-17, целью которого является чистка поисковой базы от страниц, не представляющих интереса для пользователей.

Название этого фильтра его создатели ассоциируют с современным оружием – автоматическим гранатометом станковым АГС-17. Вебмастера же дали аббревиатуре более осмысленную расшифровку, в точности отражающую назначение фильтра – Анти-Говно-Сайт.


Активация АГС стала сильным ударом по сателлитостроителям – ведь ссылки, не проиндексированные Яндексом, не имеют спроса среди оптимизаторов. Многие сателлитчики, делающие сайты под продажу ссылок сотнями в неделю, приостановили работу и ждут определенности.

Будущее сателлитостроительства, ставшего для многих вебмастеров основным бизнесом, остается под вопросом.

Цель оправдывает средства. Предпосылки и последствия АГС-17

Не обязательно быть сотрудником отдела качества поиска Яндекса, чтоб понять причины введения этого фильтра. Как только вебмастера осознали возможность легкого заработка с продажи ссылок через биржи, количество некачественных и абсолютно непригодных для пользователей сайтов выросло до гигантских масштабов. Логика сателлитостроиетеля проста: чем больше у него сайтов и чем больше каждый сайт имеет страниц, тем больше можно продать ссылок и заработать денег. Как правило, такие сайты создаются массово на шаблонных движках, а их наполнение составляет копипаст (ворованный контент с других сайтов) или непригодный для чтения синонимайз (контент с других сайтов, прошедший автоматическую обработку с целью уникализации). Иными словами, никакой пользы, кроме дохода для их владельцев и бирж-посредников, эти сайты не приносят и никакого интереса для рядовых пользователей интернета не представляют, но их индексация и хранение в поисковой базе создает немалую нагрузку на ресурсы поисковика. Введение фильтра АГС-17 позволило Яндексу добиться сразу нескольких целей:

1) уменьшение нагрузки на сервера – попавшие под АГС страницы либо не индексируются вообще, либо индексируются гораздо реже;

2) избавление базы от бесполезных ресурсов – чем меньше таких сайтов, тем меньше искажается релевантность выдачи;

3) удар по сателлитостроителям – можно надеяться, что теперь многие любители легкого заработка задумаются над тем, имеет ли смысл развивать этот «бизнес»;

4) удар по биржам – большинство сознательных оптимизаторов откажутся от покупки ссылок на непроиндексированных страницах, что приведет к падению доходов не только владельцев сайтов, но и ссылочных бирж;

5) удар по автоматическим сервисам для продвижения сайтов типа Seopult.ru – оптимизаторы все больше осознают необходимость ручного контроля ссылочной массы, и автосервисы теряют свою актуальность.

По словам разработчиков АГС, фильтр действует уже 3 года. Почему же вебмастера заметили его существование только теперь? Возможно, резкий рост количества сателлитов привел и к резкому увеличению числа ресурсов, пораженных АГС, что заставило вебмастеров обратить внимание на этот фильтр. Есть и другое объяснение – количество «дурных» сайтов и ссылок с них, искажающих выдачу Яндекса, достигло критической массы, что заставило разработчиков фильтра ужесточить его алгоритм.

Как работает АГС-17?

Анализ поведения АГС наталкивает на следующие выводы:

1) Это автоматизированный фильтр, самостоятельно принимающий решение о целесообразности индексации страниц (что подтвердилось комментарием разработчиков). Робот скачивает все страницы сайта, анализирует их и решает, стоит включать в индекс или нет.

2) Решение об индексации страниц принимается роботом на основании ряда критериев, которые могут меняться. Не исключено, что робот способен совершенствовать свой алгоритм без участия человека (этим объясняется временное выпадение из индекса множества страниц разных сайтов с одинаковым параметром в URL – tag, searcheorld и др.).

3) Как и любой автоматический фильтр, АГС имеет погрешность, чем объясняется массовый вылет качественных сайтов наряду с сателлитами.

Последний пункт означает, что даже если ваш сайт белый и пушистый, он может попасть под огнестрел, если по некоторым критериям он будет схож с сателлитами. Но в первую очередь под АГС попадают:

1) сайты с неуникальным или автоматически сгенерированным контентом;

2) сайты, содержащие множество дублей страниц под разными адресами;

3) сайты, у которых объем содержательной части (основной текст) большинства страниц намного меньше, чем объем шаблонной части (меню, сквозные блоки и т.д.);

4) сайты с разделами, не относящимися к основной тематике ресурса (каталоги продажных статей, например);

5) сайты, у которых количество исходящих ссылок намного превышает количество проиндексированных страниц;

6) сайты, беспорядочно ссылающиеся на кого попало.

Как застраховаться от АГС-17?

Избавиться от АГС гораздо сложнее, чем застраховаться от заражения им. Вот что рекомендуется сделать, чтобы ваш сайт не привлекал внимание этого фильтра:

1) Убедитесь, что сайт не содержит внутренних дублей страниц. К таковым можно отнести страницы тэгов, новостных анонсов, страницы для печати и другие страницы с одинаковым содержанием и разными URL. Зачастую такие страницы генерируются автоматически админкой сайта, и вебмастера не замечают их существования.

2) Убедитесь в уникальности контента вашего сайта. Если вы грешили копипастом, замените его на копирайт или в худшем случае на очень качественный рерайт. Если же вы изначально самостоятельно трудились над созданием контента, убедитесь, что его не растащили по всему Интернету.

3) Если вы не можете отказаться от продажи ссылок, внимательно следите, на кого ссылается ваш сайт. Нежелательно ставить ссылки на порноресурсы, варез, а также сайты, тематика которых абсолютно не соответствует тематике вашего сайта. Также не стоит перебарщивать с количеством ссылок – продавайте мало ссылок по высокой цене, и вы ничего не потеряете.

4) Старайтесь не переусердствовать с внутренней перелинковкой. Если с главной страницы вашего сайта будет 500 ссылок на внутренние страницы, сомневаюсь, что роботу это покажется естественным.

5) Старайтесь избегать создания малоинформативных страниц. Если в основном ваш сайт состоит из товарных предложений или фотографий, позаботьтесь, чтоб кроме изображений на страницах было содержательное описание.

Не лишним будет еще раз прочитать требования Яндекса к качеству сайтов. Если ваш сайт полностью им соответствует, вряд ли он привлечет внимание АГС.

Что делать, если сайт попал под АГС?

Если вы уверены в качестве вашего сайта, который попал под раздачу, напишите в техподдержку Яндекса – если при ручной проверке их мнение совпадет с вашим, возвращения сайта в индекс не придется долго ждать. Если связываться с «платонами» нет желания, но возвращение сайта в индекс – дело принципа, может помочь несколько радикальных мер:

1) Попробуйте заменить некачественный контент качественным. Добавьте новый, хороший контент. Только делать это нужно не постепенно, а по-возможности массово и быстро, чтоб вернуть интерес робота-индексатора к вашему сайту.

2) Если сайт грешил линкоторговлей – попробуйте снять все ссылки и подождите некоторое время. Возможно, ваш сайт будет помилован.

3) Поскольку существует предположение, что робот АГС работает независимо от робота-индексатора, есть смысл попробовать изменить сразу все адреса страниц (например, изменить один параметр URL в админке). Но такая мера может возыметь негативные последствия для других поисковиков.

4) Проанализируйте входящую ссылочную массу на ваш сайт. Весомые, трастовые ссылки также могут стать неплохим лекарством для лечения от АГС.

5) Если доменное имя для вас не принципиально – смените домен и начните все сначала, только с учетом всех требований поисковой машины к качеству сайта.

С другой стороны, если ваш сайт создан исключительно для ссылок и попал под АГС, задумайтесь, стоит ли тратить время и усилия на его возвращение в индекс. Ведь алгоритмы фильтра совершенствуются, и при такой тенденции отношений Яндекса к сателлитам, исключение его из базы – только вопрос времени.

Еще один вопрос, волнующий сателлитостроителей и владельцев автоматических сервисов для продвижения – учитываются ли ссылки с сайтов, попавших под АГС? Многие крупные компании уже ставят эксперименты для определения действия ссылок с непроиндексированных страниц, а самый крупный автосервис Seopult приостановил съем таких ссылок до окончательной определенности в этом вопросе.

Тот факт, что Яндекс прекратил атаку сателлитов с помощью АГС так же внезапно, как и начал, только усиливает напряжение – маловероятно, что «войска» отступили, поднявши белый флаг. Возможно, разработчики фильтра ждут мощного апдейта выдачи на основе новой, очищенной от сателлитов базы, чтобы проанализировать релевантность результатов и исправить ошибки. Возможно, что на данном этапе фильтр выполнил свою задачу и временно отступил. Не исключено также, что АГС совершенствуется и готовится к новой атаке. Одним словом, жить в Рунете стало интересней, выжить – сложнее.

Елена Камская, руководитель технического отдела компании Seolib.ru

Источник: seonews.ru