Журнал «Компьютерра» №1-2 за 2006 год

АНАЛИЗЫ: (Рас)плата за клик

Нам, живущим в мелкой и теплой водичке Рунета, пишущим письма, ищущим информацию и изредка создающим свои контент-проекты, зачастую невидимы и неведомы глубинные тренды, на самом деле формирующие лицо современного Интернета.

И замечаем мы их, когда они уже всплывают на поверхность – например, когда в результате противостояния спамеров и антиспамеров процент писем, доходящих до адресатов, катастрофически падает и люди снова начинают использовать факсы (!).

Или когда выясняется, что в результате деятельности оптимизаторов по целому ряду запросов на первых страницах поисковиков невозможно найти ничего, кроме коммерческих предложений. Причем чем дальше, тем больше позиция в выдаче начинает определяться рекламным (в данном случае – оптимизационным) бюджетом.

Но все это общие места. Я же хочу написать о другом. О новой угрозе, которая уже радикально испортила выдачу «Гугла», а сейчас пришла и в Рунет и грозит сделать пользование «Рамблером» и «Яндексом» занятием почти бессмысленным.

Дорвей – специально, как правило автоматически, созданная страница, оптимизированная под определенный запрос или группу запросов и предназначенная исключительно для того, чтобы залучить посетителя из поисковой системы и тут же переправить его на целевой сайт.

Существуют разные способы генерации дорвеев. Начиная от простейших – сделать в том же «Яндексе» запрос и оформить выдачу как текст страницы, и заканчивая изощренными генераторами, создающими случайные псевдоразумные тексты с заданной плотностью и распределением ключевых слов.

Чаще всего дорвеи размещаются на бесплатных хостингах или на доменах третьего-четвертого уровня. Человек, зашедший на страницу-дорвей, как правило, автоматически перекидывается на целевую страницу – в нашем случае соответствующую страницу каталога перепродавца трафика

Речь идет о системах PPC-рекламы (Pay Per Click), размещающих рекламные блоки на партнерских площадках. Точнее, не о них самих, а о порожденной ими «теневой» индустрии и ее влиянии на качество поиска.

Масштабы и характер проблемы в полной мере я осознал после посещения IV Оптимизаторской конференции, за что отдельное спасибо Андрею Иванову (компания «Ашманов и Партнеры»), чье выступление и заставило меня взяться за перо.

Итак, у нас есть система рекламы с оплатой за клики. Например, «Бегун». Или Google AdSense. Рекламодатели размещают через нее объявления и платят, когда по объявлениям кликают посетители каких-то сайтов, переходя при этом на сайт рекламодателя.

Если своей рекламной площадки нет или ее не хватает (а ее всегда не хватает – даже «Гуглу»), система начинает привлекать партнеров – сайты, на которых тоже транслируются рекламные объявления, по возможности коррелирующие с тематикой сайтов и содержанием страниц. И PPC-система делится с партнером доходом, полученным от рекламодателя.

Пока, как видим, нет ничего предосудительного. Партнеры получают деньги, PPC-система получает свою комиссию, рекламодатели получают недорогой и качественный трафик (посетителей). Все довольны. Но тут появляется еще одно звено – перепродавцы трафика.

Дело в том, что обычно PPC-системы кого угодно в партнеры не берут. Это должен быть какой-то реальный сайт с ненулевым трафиком. Так вот, перепродавцы трафика (как правило, каталоги, целиком или в основном состоящие из PPC-объявлений), будучи партнером PPC-систем, разворачивают свою партнерскую программу, делясь доходом с теми, уже неограниченно мелкими сайтами, которые «нагоняют» на них трафик.

Примерами таких перепродавцов в Рунете является rupoisk.ru и недавно стартовавший click-click.ru, а классический западный пример – UmaxSearch.Com.

И вот тут-то наступает настоящая беда. Потому что партнеры «второго уровня» и есть те самые дорвеи, которые уже изрядно загаживают выдачу поисковиков, а дальше будут загаживать ее еще сильнее.

Благодаря простоте и полной автоматизируемости технологии, дорвеи можно генерировать сотнями и тысячами. Так, собственно, и происходит – только успевай придумывать запросы.

Первыми «под раздачу», естественно, попадают вариации на тему популярных коммерческих запросов. К примеру, попробуйте набрать в «Яндексе» что-то типа «Кондиционеры в Перми» (впрочем, к моменту выхода данной статьи этот запрос может привести и к вполне разумным результатам, так как тут все быстро меняется).

Но такими запросами дело не ограничивается (тем более что «поджимают» хорошо оптимизированные коммерческие сайты). Дорвеи все чаще генерируются под любые запросы, которые хоть когда-то хоть кем-то набираются и могут быть конвертированы в коммерческий трафик. Я подозреваю, что здесь тоже есть средства, анализирующие запросы к ведущим поисковикам и не только автоматически генерирующие дорвеи, но и предлагающие запросы для их генерации.

Зачем? А очень просто. Если каждый дорвей принесет хозяину доллар в месяц, то умножьте это на тысячу. Или на десять тысяч.

Надо сказать, что автоматически сгенерированные дорвеи зачастую более релевантны с точки зрения поисковиков, нежели «нормальные» сайты, которые не оптимизировались специально.

Но среди дорвеев тоже начинается конкуренция (на Западе она есть давно). И «внутренних» факторов – то есть текста и заголовка страницы – оказывается недостаточно для получения хороших позиций в поисковой выдаче. Возникает потребность в их «подкреплении» ссылками.

Поскольку век дорвея обычно недолог (их довольно часто и быстро выкидывают из поисковиков), то создаются специальные «долгоживущие» сайты-каталоги, задача которых – «накачивать» ссылками дорвеи. Для того же, чтобы «накачать» ссылками сами эти сайты, широко используется как обмен ссылками, так и «заспамливание» форумов, гостевых книг и блогов с размещением на них ссылок на эти сайты. Для подобной операции, разумеется, тоже есть соответствующие инструменты.

Забавно, что публика, занимающаяся этим, официально называется веб-мастерами (именно так к ним обращаются в текстах на сайтах-перепродавцах трафика). При том что примерно так же (с приставкой порно-) называются люди, зарабатывающие на перепродаже порнотрафика, я подозреваю, что скоро слово «веб-мастер» ждет печальная судьба слова «хакер», полностью утратившего изначальный положительный смысл. И лет через пять ветераны будут рассказывать, что еще недавно веб-мастерами называли не дорвейщиков и порномастеров, а людей, которые создавали и поддерживали нормальные сайты.

Картинка вырисовывается довольно мрачная. Выдачу по высокочастотным и/или коммерчески привлекательным запросам «оккупируют» оптимизированные сайты продавцов. Причем продавцы не ограничиваются оптимизацией одного сайта, а плодят сходные сайты десятками, стараясь не просто получить хорошее место в выдаче, а «забить» всю первую страницу в результатах поиска (лучше – несколько первых страниц) только своими предложениями.

По средне– и низкочастотным запросам поисковая выдача оказывается забитой дорвеями, переводящими опять-таки на каталоги коммерческих предложений. И найти что-то, кроме коммерческих предложений, становится все трудней.

Нельзя сказать, что проблема не осознается. Поисковики, как могут, борются с дорвеями. Способы используются разные – скажем, «Гугл» практикует так называемую «песочницу», где отлеживаются новые сайты, чтобы стать видимыми через месяц-два.

«Яндекс» разрабатывает алгоритмы автоматического детектирования дорвеев. И в общем, в сочетании с механизмом «ручных» жалоб эти меры худо-бедно помогают – по крайней мере, по запросу «сайт дома журналистов» сейчас находится именно он.

Но в целом это дела не меняет, так как технологии генерации дорвеев тоже не стоят на месте. И в рамках существующих критериев релевантности (содержание страниц + индексы цитирования) решить эту проблему, похоже, принципиально невозможно.

Где же выход? Видимо, только в признании факта, что «искусственный интеллект» поисковиков не выдержал столкновения с естественным интеллектом веб-мастеров и оптимизаторов и в обращении к человеческим оценкам релевантности.

Судя по последним заявлениям, именно в этом направлении начал двигаться Yahoo!, планирующий радикально улучшить поиск за счет использования своего 90-милионного сообщества пользователей. Посмотрим, что из этого получится…

Можно, конечно, представить себе следующий виток оптимизационных и спам-поисковых технологий – на сей раз социальных, – но это, вероятно, будет сильно дороже, чем сейчас. И может быть, наконец, дороже, чем честная покупка рекламы в поисковиках.

Я довольно давно подписан на «Яндексе» на рассылку, которая уведомляет о новых проиндексированных страницах с упоминаниями моих проектов. И где-то с год назад я стал обнаруживать в массовых количествах какие-то странные каталоги на странных доменах типа uuu.pp.com.ua, «дерущие» в совершенно неудобоваримом виде информацию с Медпром.ру. Зачем это делается, я тогда не понимал.

А недавно, например, я хотел найти информацию об обещанном в Доме Журналиста концерте Щербакова. Набрал в «Яндексе» «сайт Дома Журналиста». Первые две страницы пестрели «левыми» ссылками на странных доменах, и только на третьей я обнаружил искомое.

Да и большинство пользователей Интернета уже наверняка сталкивались с подобными ситуациями.