Поля Блю.

SEO для Чайников.

Практический курс по продвижению сайтов в поисковых системах.


Глава 1.

«Архитектура поисковых систем. Матрикснет»


План:


Яндекс

1.1. Архитектура ответа на вопрос

1.2. Индексирование интернета

1.3. Поисковая база

1.4. Язык запросов

1.5. Оценка качества поиска

1.6. Колдунщики

1.7. Роботы ПС Яндекс

Матрикснет

Google

3.1. Основные сведения о Google


3.2 Архитектура Google


3.3 Роботы Google


3.4 Оценка качества ресурсов



3.5 Специальные поисковые запросы


1. Яндекс

1.1. Архитектура ответа на вопрос

Каждый день пользователи задают Яндексу десятки миллионов запросов, и поисковая система должна не только точно отвечать, но и быстро обрабатывать весь этот поток. Для этого Яндекс использует заранее подготовленные данные — индекс.


Безусловно, поиск с помощью индекса ускоряет процесс ответа пользователю, как, например, предметный указатель в книге помогает быстрее найти нужное слово. Но размеры самого «предметного указателя» в поиске — огромны. Чтобы обрабатывать такие объемы данных и делать это быстро, Яндекс использует тысячи серверов. Сервера объединены в кластеры и даже в кластеры кластеров.

Рис. 1. Архитектура ответа на вопрос в ПС Яндекс.


Все пользовательские запросы сначала попадают в компьютерную систему «метапоиск» (рис. 1).

«Метапоиск» обрабатывает каждый запрос в реальном времени — выясняет все необходимые данные про запрос (из какого региона он был задан, к какому классу относится и т.п.), проводит лингвистическую обработку. Затем метапоиск проверяет, формировались ли в последнее время результаты поиска для этого запроса. Результаты поиска по часто задаваемым запросам некоторое время хранятся в памяти метапоиска, а не формируются каждый раз заново. И если вновь пришедший запрос оказался популярным, метапоиск покажет пользователю заранее сохраненные результаты.


Если же ответа в памяти нет, то метапоиск передаёт запрос на сервера другой компьютерной системы — «базового поиска» (рис. 1).

На базовом поиске хранится слепок интернета, по которому ищет Яндекс, — поисковая база. Она разбита на части, которые хранятся на разных серверах — искать ответ одновременно по нескольким частям базы данных быстрее, чем по всей базе целиком. Кроме того, у каждого сервера есть несколько копий. Это позволяет распределять нагрузку и не терять данные — если один из серверов не сможет своевременно ответить, информация всё равно найдется на дублирующих серверах. Из тысяч серверов базового поиска метапоиск выбирает наименее загруженные – таким образом, чтобы вместе они содержали целую поисковую базу.


Каждый из серверов отдаёт список документов, в которых есть слова из запроса, обратно в метапоиск. Там они объединяются, ранжируются с помощью технологии Матрикснет и попадают на страницу результатов поиска (рис. 1).


Благодаря такой организации поиск Яндекса может отвечать пользователю за доли секунды.


1.2. Индексирование интернета

1.2.1. Понятие индекса

Поисковая машина Яндекса отвечает на вопросы пользователей, находя нужные документы в интернете. А размеры современного интернета исчисляются в экзабайтах, то есть в миллиардах миллиардов байтов. Конечно же, Яндекс не обходит весь интернет каждый раз, когда ему задают вопрос. Поисковая система, так сказать, делает домашнее задание.

Яндекс ищет по поисковому индексу — базе данных, где для всех слов, которые есть на известных поиску сайтах, указано их местонахождение — адрес страницы и место на ней. Индекс можно сравнить с предметным указателем в книге или адресным справочником. В отличие от обычного предметного указателя, индекс содержит не только термины, а вообще все слова. А в отличие от адресного справочника, у каждого слова-адресата есть не одно, а очень много «мест прописки».


1.2.2. Подготовка к ответам

Подготовка данных, по которым ищет поисковая машина, называется индексированием. Специальная компьютерная система — поисковый робот — регулярно обходит интернет, выкачивает документы и обрабатывает их. Создается своего рода слепок интернета, который хранится на серверах поисковика и обновляется при каждом новом обходе.


У Яндекса два поисковых робота — основной и быстрый (он называется Orange). Основной робот индексирует интернет в целом, а Orange отвечает за то, чтобы в поиске можно было найти самые свежие документы, которые появились минуты или даже секунды назад. У каждого робота есть список адресов документов, которые нужно проиндексировать.


Когда при обходе робот видит на уже известных сайтах новые ссылки, он добавляет их в свой список, увеличивая количество индексируемых страниц. Впрочем, владелец сайта сам может помочь основному роботу Яндекса найти свой ресурс и подсказать, например, как часто обновляются его страницы — через сервис Яндекс.Вебмастер.


Сначала программа-планировщик выстраивает маршрут — очередность обхода документов. При этом планировщик учитывает важные для поисковой системы характеристики сайтов, такие как, например, цитируемость или частота обновления документов. После создания маршрута планировщик отдаёт его другой части поискового робота — «пауку». Паук регулярно обходит документы по заданному маршруту. Если сайт на месте, то есть работает и доступен, паук выкачивает запланированные в маршруте документы. Он определяет тип скачанного документа (html, pdf, swf и т.п.), кодировку и язык, а затем отправляет данные в хранилище.


Там программа разбирает документ по кирпичику: очищает от html-разметки, оставляя чистый текст, выделяет данные о местоположении каждого слова и добавляет их в индекс. Сам документ в исходном виде также остается в хранилище до следующего обхода. Благодаря этому пользователи могут найти в Яндексе и посмотреть документы, даже если сайт временно недоступен. Если сайт закрылся или документ был удалён или обновлён, Яндекс удалит копию со своих серверов или заменит её на новую.


1.3. Поисковая база

Поисковый индекс, данные о типе документов, кодировке, языке и сохраненные копии документов вместе составляют поисковую базу. Она обновляется постоянно, но, чтобы это обновление стало доступно пользователям, её нужно перенести на «базовый поиск». Базовый поиск — сервера, которые отвечают пользователям на запросы. Туда переносится не вся поисковая база, а только её полезная часть — без спама, дубликатов сайтов (зеркал) и других ненужных документов.


Обновление поисковой базы из хранилища основного робота попадает в поиск «пакетами» — раз в несколько дней. Этот процесс создаёт дополнительную нагрузку на сервера, поэтому производится ночью, когда к Яндексу обращаются на порядок меньше пользователей. Сначала новые части базы помещаются рядом с такими же частями из прошлого обхода. Затем они проверяются по целому ряду факторов, чтобы обновление не ухудшило качество поиска. Если проверка прошла успешно, новая часть базы заменяет собой старую.


Робот Orange предназначен для поиска в реальном времени. Его планировщик и паук настроены так, чтобы находить новые документы и выбирать из огромного их количества все, хоть сколько-нибудь интересные.


Можно сказать, что поиск в интернете состоит из двух больших частей. Первая — когда Яндекс ищет различные документы в интернете и составляет поисковый индекс. Вторая — когда система ищет ответ на конкретный запрос пользователя в уже подготовленной поисковой базе.


1.4. Язык запросов

Яндекс обладает мощным языком запросов, позволяющим наиболее точно формулировать свой запрос поисковой системе, учитывая малейшие нюансы ее поведения. Наиболее популярные критерии поиска можно задавать с помощью расширенного поиска, знание же языка запросов дает возможность решать самые сложные поисковые задачи.


1.5. Оценка качества поиска

Яндекс стремится находить ответ на запрос пользователя, предоставляя на странице результатов информацию и ссылки на нее в интернете. Следование рекомендациям Яндекса по созданию качественного сайта, поможет в индексировании и лучшем ранжировании ресурса, в то время как применение обманных техник может привести к понижению его позиций или исключению его из поиска.


1.5.1. Основные принципы качественного сайта (по мнению ПС Яндекс):


Создавайте сайты с оригинальным контентом или сервисом. Реклама не является той ценностью, ради которой пользователи приходят на сайт.

Думайте о пользователях, а не о поисковых системах. Стали бы вы создавать сайт, страницу или ее элемент, если бы не существовало поисковиков? Приходят ли пользователи на ваш сайт или интернет-магазин не только из поисковых систем?

Ставьте только те ссылки, которые будут полезны и интересны пользователям вашего ресурса. Не ссылайтесь только потому, что вас попросили сослаться.

Тщательно продумайте дизайн — он должен помогать пользователям увидеть главную информацию, ради которой сайт создан.

Будьте честны. Привлечь пользователей по запросам, на которые ваш сайт не может достойно ответить, не значит удержать их. Думайте о том, что пользователь получит, придя на Ваш сайт.


1.5.2. Метрика pfound


Имея ранжированную страницу с результатами поиска, где все URL оценены асессорами, ПС Яндекс оценивает качество поиска с помощью специальной метрики pfound. Она вычисляет вероятность того, что человек нашел то, что искал на странице выдачи, суммируя такие вероятности для разных URL — каждой из четырех оценок асессора присвоена своя вероятность полезности.


, где pRel — релевантность i-того документа (вероятность того, что пользователь найдет ответ в этом документе), pLook — вероятность просмотра i-того документа в выдаче.


При этом в ходе суммирования учитывается, что вероятность полезности этой строки нужно умножать на вероятность того, что ее вообще прочитают. То, что нужно пользователю, может найтись в предыдущей строчке, кроме того, он может просто устать и прекратить чтение списка. В общем, получается такая формула суммирования вероятностей, которая и позволяет нам оценивать качество поиска — как своего, так и конкурентов.


1.6. Колдунщики

На вопросы пользователей отвечает не только поиск по вебу, но и другие сервисы Яндекса. Например, Яндекс.Новости рассказывают, что сейчас происходит в мире, а Яндекс.Погода — при какой температуре и атмосферном давлении это всё в мире происходит. Яндекс ищет ответы на своих сервисах вместе с поиском по вебу и те из них, что хорошо отвечают на запрос, показывает прямо в результатах поиска. Такой поиск называется параллельным, а его результаты, которые появляются вместе с результатами веб-поиска — колдунщики.


Искать дополнительные ответы на своих сервисах Яндекс впервые стал в 2000 году, подключив к поиску ленту новостей и базу товаров интернет-магазинов.


Сейчас у Яндекса уже много сервисов, у которых могут быть ответы на один и тот же запрос. Например, по запросу [Стинг] помимо ссылок на веб-страницы о музыканте и его творчестве Яндекс также может предложить послушать его песни, которые есть на Яндекс.Музыке, посмотреть фото, найденные Яндекс.Картинками или видеоклипы, найденные Яндекс.Видео.


Колдунщики — это информационные блоки в результатах поиска с ответами от сервисов Яндекса.


Соответственно, на некоторые из запросов в результатах поиска может появляться несколько колдунщиков. Какие колдунщики и в каком порядке показывать — решает специальная система. Она состоит из пяти частей. Четыре из них выясняют, у какого из сервисов Яндекса может быть ответ на запрос. Они называются «кубики», по аналогии с детскими кубиками, где букве алфавита соответствует картинка. Пятая называется «решатель». Решатель «составляет слово» из кубиков — выбирает подходящие колдунщики и ранжирует их.


1.7. Роботы ПС Яндекс

Робот (англ. crawler) хранит список URL, которые он может проиндексировать, и регулярно выкачивает соответствующие им документы. Если при анализе документа робот обнаруживает новую ссылку, он добавляет ее в свой список. Таким образом, любой документ или сайт, на который есть ссылки, может быть найден роботом, а значит, и поиском Яндекса.

Какие бывают индексирующие роботы:

В Яндексе есть несколько видов роботов, которые выполняют разные функции. Например, есть робот, который индексирует rss-ленту для поиска по блогам. Или робот, который индексирует только картинки. Самый важный — основной индексирующий робот, функция которого — поиск и индексирование информации для формирования базы основного поиска.

В помощь основному есть быстрый робот — он предназначен для оперативного индексирования свежей, актуальной на данный момент информации. Если среди проиндексированных страниц своего сайта вы видите две копии какого-либо документа — скорее всего это означает, что помимо основного робота документ также был проиндексирован и быстрым роботом.

IP-адресов, с которых «приходят» роботы Яндекса, тоже много, и они часто меняются. Поэтому Яндекс не разглашает их список и не рекомендует использовать фильтрацию на их основе.


Роботы Яндекса:

Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) — основной индексирующий робот;

Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) — индексатор Яндекс.Картинок;

Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) — индексатор Яндекс.Видео;

Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) — робот, индексирующий мультимедийные данные;

Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) — робот поиска по блогам, индексирующий комментарии постов;

Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)— робот, индексирующий пиктограммы сайтов (favicons);

Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)— робот сервиса Яндекс.Вебмастер;

Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots)— робот, обращающийся к странице при валидации микроразметки через форму «Валидатор микроразметки»;

Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) — робот мобильных сервисов;

Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) — робот Яндекс.Директа, особым образом интерпретирует robots.txt;

Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel; +http://yandex.com/bots) — «простукивалка» Яндекс.Директа, проверяет корректность ссылок из объявлений перед модерацией;

Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots) — «простукивалка» быстрых ссылок, используется для проверки доступности страниц, определившихся в качестве быстрых ссылок;

Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots) — робот Рекламной сети Яндекса;

Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots) — робот Яндекс.Метрики;

Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots) — робот Яндекс.Новостей;

Mozilla/5.0 (compatible; YandexNewslinks; +http://yandex.com/bots) — «простукивалка» Яндекс.Новостей, используется для проверки ссылок из новостных материалов;

Mozilla/5.0 (compatible; YandexCatalog/3.0; +http://yandex.com/bots) — «простукивалка» Яндекс.Каталога, используется для временного снятие с публикации недоступных сайтов в Каталоге;

Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots) — антивирусный робот, который проверяет страницы на наличие опасного кода;

Mozilla/5.0 (compatible; YandexZakladki/3.0; +http://yandex.com/bots) — «простукивалка» Яндекс.Закладок, используется для проверки доступности страниц, добавленных в закладки;

Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots) — робот Яндекс.Маркета;

Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots) — робот поисковых вертикалей;

Mozilla/5.0 (compatible; YandexCalendar/1.0; +http://yandex.com/bots) — робот Яндекс.Календаря, используется для синхронизации с другими календарями, особым образом интерпретирует robots.txt.


2. Матрикснет

Матрикснет — метод машинного обучения, который используется в Яндексе для построения формулы ранжирования. Внедрен в ноябре 2009 года вместе с алгоритом «Снежинск».

Важная особенность этого метода – в том, что он устойчив к переобучению. Это позволяет учитывать очень много факторов ранжирования – и при этом не увеличивать количество оценок асессоров и не опасаться, что машина найдет несуществующие закономерности.

Особенности Матрикснета:


можно построить очень длинную и сложную формулу ранжирования, которая учитывает множество различных факторов и их комбинаций. Другие методы машинного обучения позволяют либо строить более простые формулы с меньшим количеством факторов, либо нуждаются в большей обучающей выборке. Матрикснет строит формулу с десятками тысяч коэффициентов. Это позволяет сделать существенно более точный поиск;


формулу ранжирования можно настраивать отдельно для достаточно узких классов запросов. Например, улучшить качество поиска только по запросам про музыку. При этом ранжирование по остальным классам запросов не ухудшится. Для примера можно представить себе формулу ранжирования в виде сложного механизма с большим количеством ручек. На механизмах, построенных по другим технологиям, каждая ручка влияет на все запросы. Матрикснет дает возможность настроить каждую ручку отдельно для своего класса запросов.


3. Google


3.1. Основные сведения о Google


Если представить все в максимально упрощенном виде, то веб-поиск можно сравнить с просмотром огромной книги, имеющей очень длинное оглавление, в котором подробно указано, где что находится. Когда вы выполняете поиск Google, наши программы проверяют индекс с целью определить наиболее релевантные результаты поиска, которые вы получаете.


3.1.1 Сканирование


Сканирование – это процесс, в ходе которого робот Googlebot обнаруживает новые и обновленные страницы для добавления в индекс Google.


Google использует огромную сеть компьютеров, чтобы извлечь (или "просканировать") содержание миллиардов веб-страниц. Программа, выполняющая сканирование, называется роботом Google (или пауком). Робот Googlebot использует алгоритмический процесс: программы определяют, какие сайты нужно сканировать, как часто это нужно делать, а также какое количество страниц следует выбрать на каждом сайте.


Процесс сканирования Google начинается со списка URL веб-страниц, созданного на основе предыдущих сеансов сканирования. Его дополняют данные из файлов Sitemap, предоставленных веб-мастерами. Просматривая каждый из этих сайтов, поисковый робот Googlebot находит на каждой странице ссылки и добавляет их в список страниц, подлежащих сканированию. Робот Googlebot отмечает все новые и обновленные сайты, а также неработающие ссылки.


3.1.2 Индексирование


Робот Googlebot обрабатывает каждую сканируемую страницу, чтобы составить полный индекс всех найденных слов, а также отметить, в какой части страницы они находятся. Кроме того, обрабатываются данные из основных тегов и атрибутов, например тегов Title и атрибутов ALT. Робот Googlebot способен обрабатывать многие (но не все) типы содержания. К примеру, обработке не поддается содержание некоторых файлов мультимедиа и динамически создаваемых страниц.


3.1.3 Предоставление результатов


Когда пользователь вводит поисковый запрос, система находит в индексе подходящие страницы и выдает наиболее релевантные результаты. Релевантность определяется различными факторами. Один из них – это рейтинг PageRank для конкретной страницы. PageRank является показателем "важности" страницы и определяется на основе входящих ссылок с других страниц. Проще говоря, каждая ссылка на страницу вашего сайта с другого сайта увеличивает PageRank вашего сайта. Не все ссылки равноценны. Google непрерывно совершенствуем алгоритмы оценки ссылок, чтобы отсеивать спам и другие данные, негативно влияющие на качество результатов поиска. Наибольший вес имеют ссылки, размещение которых связано с качеством содержания вашего сайта.


Для обеспечения адекватного рейтинга сайта на страницах результатов поиска важно, чтобы робот Google мог корректно сканировать и индексировать сайт.


3.2. Архитектура Google


По данным Comscore, за два последних месяца 2012 года этот поисковик обработал 114,7 млрд запросов — это соответствует 65,2% мирового рынка поиска. Показатели ближайшего конкурента, китайского Baidu, в восемь раз меньше. Да что там говорить, у психологов даже специальный термин есть — Google Effect: современным людям, оказывается, проще не запоминать факты, а в нужный момент отыскать их в интернете.


Такая популярность означает, что размеры поискового индекса Google не просто огромны: они трудновообразимы. Не все осознают, что когда мы вводим в поисковую строку насущный для нас запрос, то обращаемся к одному из самых крупных хранилищ данных в мире. Ещё поразительнее другое: для того чтобы отыскать в петабайтах информации ответ на наш запрос, Google хватает доли секунды.



Самым важным достижением Google является построение архитектурной пирамиды своего детища — аппаратно-программной структуры системы хранения и индексирования веб-контента, допускающей практически неограниченное масштабирование.

В основании пирамиды лежит кластерный массив, единичным узлом которого был недорогой и далеко не лучший по надёжности компьютер — сервер Google. Его архитектура была разработана в 2005 году. В то время как дорогостоящие отказоустойчивые кластеры использовали сложные системы резервного питания, каждый из серверов Google толщиной в 3,5 дюйма (2U в стоечной терминологии) имел собственную двенадцативольтовую батарейку.

Использование в качестве резервного источника питания не централизованной системы бесперебойного питания, а недорогих батарей, монтируемых прямо на сервере, многократно снизило затраты на аппаратную составляющую империи Google. Договориться с поставщиком материнских плат (на первых порах эту роль играла компания Gigabyte) о небольшой модификации блока распределения напряжения оказалось куда дешевле, чем городить отработанные кем-то решения по резервированию питания.



Google File System (GFS)— собственная файловая система, рассчитаная на работу в условиях, когда аппаратные и сетевые сбои являются нормой, а не чрезвычайной ситуацией. То есть они отказались от стандартных NFS и AFS.

MapReduce

- технология обработки данных на больших кластерах

Google

. Эффективно хранить в распределённой и склонной к отказам среде поступающий контент и получаемую на его основе индексную базу, конечно же, здорово, однако самая суть работы любого поисковика — быстрый и экономичный алгоритм создания индексной базы. Ведь, в конце концов, именно благодаря ему наши ключевые слова в строке поиска превращаются в ссылки на конкретные ресурсы.


3.3. Роботы Google


Поисковыми роботами принято называть любые программы (такие как роботы или пауки), которые автоматически обнаруживают и сканируют веб-сайты, переходя по ссылкам от страницы к странице. Основной поисковый робот Google называется Googlebot. В следующей таблице приведены сведения о популярных поисковых роботах Google, регистрируемых в журналах источников ссылок. Кроме того, показано, как задавать этих роботов в файле robots.txt, в метатегах robots и в командах X-Robots-Tag HTTP.


Поисковый робот

Специализация/предназначение


Робот Googlebot (веб-поиск Google)

Основной робот


Googlebot News

Новостной (принцип быстрого робота)


Googlebot Images

Изображения


Googlebot Video

Видео контент


Google Mobile

Индексация мобильного контента.


Google Mobile AdSense

Мобильные объявления


Google AdSense

Сервис контекстной рекламы от Google.


Google AdsBot

Проверка качества целевой страницы



3.4. Оценка качества ресурсов


Руководство для веб-мастеров содержит технические рекомендации, советы по дизайну и обеспечению качества. Ниже приведены советы по оптимизации сайта для Google:

3.4.1. Предоставьте посетителям необходимую информацию


Создайте высококачественное содержание для своих страниц, особенно для главной. При разработке полезного и информативного сайта создавайте страницы с четким и точным описанием их тематики.

3.4.2. Приложите усилия, чтобы на других сайтах были ссылки на ваш сайт


Ссылки повышают вероятность обнаружения вашего сайта нашими сканерами и частоту его отображения в наших результатах поиска. Алгоритмы могут отличать естественные ссылки от неестественных.

3.4.3. Обеспечьте легкий доступ к своему сайту


Создавайте сайт с использованием логической структуры ссылок. На каждую страницу должен быть доступен переход хотя бы по одной статической текстовой ссылке.

Чего не следует делать:


Не заполняйте свои страницы списками ключевых слов, не пытайтесь публиковать разное содержание для поисковых систем и для пользователей, не создавайте страницы, предназначенные только для сканеров.


Не используйте изображения для показа важных имен и названий, а также другого важного содержания и ссылок. Робот не распознает текст, содержащийся в изображениях. Если основное содержание и ключевые слова на вашей странице нельзя перевести в обычный HTML-формат, используйте ALT.


Не создавайте несколько копий страницы под разными URL-адресами. Многие сайты содержат текстовые версии страниц и версии для печати, имеющие такое же содержание, как и соответствующие страницы с графикой. Если на вашем сайте хранится несколько страниц с одинаковым содержанием, вы можете указать URL канонической (предпочитаемой) версии для Google.



3.4. Специальные поисковые запросы


С помощью специальных поисковых запросов можно увидеть пример результатов, показывающих, как Google индексирует ваш сайт. Чтобы увидеть их полный список, воспользуйтесь оператором info:. Пример: info:google.com. Подробнее о каждом типе поиска рассказано ниже.


Памятка специальных запросов Google: https://support.google.com/webmasters/answer/35256?hl=ru


Глава 2.

Введение в поисковые системы. Формула ранжирования


Введение в поисковые системы. Формула ранжирования


1.1 Краткое введение в поисковые системы

1.2 Поисковая система глазами посетителя и владельца сайта

1.3 Формула ранжирования



1. Введение в поисковые системы



1.1 Краткое введение в поисковые системы


Поисковая оптимизация (search engine optimization, SEO) — комплекс мер для улучшения видимости сайта в результатах выдачи поисковых систем по определенным запросам пользователей с целью продвижения сайта. То есть в первую очередь смысл заключается в том, чтобы занять ТОПовые места в поисковых системах при выдаче определенных запросов необходимой тематики.


В Рунете особой популярностью пользуются следующие поисковые системы:


1-е место: Яндекс - 57.9% (основной поиск + поиск по картинкам)


2-е место: Гугл - 39.2% (основной поиск + поиск по картинкам)

3-е место: Поиск Mail.ru - 1.6%


4-е место: Рамблер - 0.12%



Остальные поисковики имеют менее процента доли поискового рынка в России.


С помощью специальных алгоритмов поисковые роботы собирают и индексируют информацию (заносят ее в базу данных, где она структурируется и располагается в определенном порядке). Когда пользователь вводит запрос в строку поиска, автоматически формируется обращение к базе данных. После этого система выдает в виде нумерованного списка наиболее релевантные (релевантность - степень соответствия запроса поисковой выдаче) документы. Сортировка документов (ранжирование - это процесс выстраивания найденных по запросу пользователя страниц в порядке наибольшего соответствия искомому запросу) и присвоение им позиции в поисковой выдаче осуществляется на основе их значимости.


Техники оптимизации можно разделить на две категории:


Белая оптимизация - работа над сайтом без применения официально запрещённых каждой поисковой системой методов раскрутки ресурса - без влияния на поисковые алгоритмы сайтов.


Чёрная оптимизация - методы, которые противоречат правилам поисковых систем. Среди них можно выделить следующие: использование скрытого текста на страницах сайта, использование «однопиксельных ссылок» и т.д. Последствия применение данной оптимизации: понижение позиции сайта на страницах результатов или в худшем случи - полное удаление сайта из индекса поисковика.

Резюмируем:

Что же такое SEO? В первую очередь, это комплекс методов. Они направлены на улучшение свойств видимости ресурса поисковой системой, влияние на степень ранжирования результатов поиска, получение целевого трафика. Профессия «SEO-оптимизатора» включает в себя не только раскрутку ресурса, не только «юзабилити-планирование», не только работу с контентом. Профессия SEO-оптимизатора подразумевает понимание психологии целевой аудитории, требует определённого уровня знаний web-технологий и общей грамотности.



1.2 Поисковая система глазами посетителя и владельца сайта

Сервис поиска – это коммерческое предприятие, ориентированное на прибыль. Цель поисковой системы – привлечь и удержать как можно большее количество пользователей, получая возможность зарабатывать на рекламе и ряде прочих аналогичных услуг или сервисов.


Чем больше людей пользуется поиском, тем больше рекламы можно продать, поэтому между поисковыми системами ведется конкурентная борьба – чтобы удержать пользователей, необходимо постоянно улучшать результаты поиска, строить качественную актуальную выдачу, а также предоставлять дополнительные услуги – игры, сервисы, приложения.


Цель пользователянайти наиболее адекватный, релевантный ответ на свой запрос. Формируя запрос, каждый пользователь поисковой системы преследует одну из трех целей:


1. Информационную узнать определенную информацию, например, как приготовить салат с авокадо или какие санитарно-гигиенические требования предъявляются к офисам.


2. Навигационнуюнайти сайт компании, название фирмы; уточнить схему проезда или конкретный адрес.


3. Транзакционную совершить конкретное действие — купить автомобиль, забронировать гостиницу или скачать мелодию.


Чтобы привлекать пользователей из поисковых систем, выладельцам сайтов важно понимать механизмы работы поисковиков и основные принципы ранжирования. Для этого на свой сайт и сайты конкурентов следует смотреть с двух позиций: и как владельца, и как рядового посетителя сайта. Сейчас поисковые системы все больше стараются «видеть» сайт именно глазами рядового посетителя.


Цель владельца сайтаразместить наиболее эффективный контент, рекламу, услугу на базе поисковой системы, используя её целевую аудиторию.


Для того чтобы пользователь из посетителя сайта превратился в покупателя, необходимо сделать все возможное, чтобы ему было приятно, удобно и комфортно оставаться на сайте, как можно дольше. Тут важно не только разнообразить контент и интересный интерфейс, но и улучшать качество самого товара, улучшать сервис по предоставлению услуг, иметь положительные отзывы о вашей компании или предприятии, иметь приемлемые, конкурентоспособные цены.

Резюмируем: Цель поисковых систем – удерживать и привлекать посетителей, чтобы зарабатывать на продаже рекламы. Цель пользователя – найти наиболее адекватный, релевантный ответ на свой запрос. Цель рекламодателей – размещать максимально эффективную рекламу за счет работы с целевой аудиторией на базе поисковой системы. Для того чтобы пользователь из посетителя сайта превратился в покупателя, необходимо сделать все возможное, чтобы ему было приятно, удобно и комфортно оставаться на сайте, как можно дольше.


1.3 Формула ранжирования


Яндекс использует формулу ранжирования основанную на системе машинного обучения под названием MatrixNet. В ней построением формулы занимается алгоритм, которому на вход подаются оценки сделанные специальными людьми (асессорами).


Асессоры - специалисты Яндекса, которые занимаются оценкой того, насколько та или иная страница подходит для ответа на тот или иной запрос. Что они делают:


Они берут поисковые запросы и документы, которые поиск находит по этим запросам, и оценивают, насколько хорошо найденный документ отвечает на заданный запрос. Оцениваются пары запрос-URL, при этом выставляются оценки: «витальный», «важный», «релевантный +», «релевантный» или «нерелевантный». Каждой из оценок соответствует некая вероятность того, что человек найдет на этом сайте то, что ему нужно.


Оценка происходит на основе инструкции асессора. Из запросов и хороших ответов составляется обучающая выборка. Она должна содержать самые разные запросы, причем в тех же пропорциях, в которых их задают пользователи. На обучающей выборке поисковая система устанавливает зависимость между страницами, которые асессоры посчитали релевантными запросам, и свойствами этих страниц. После этого она может подобрать оптимальную формулу ранжирования, которая показывает релевантные запросу сайты среди первых результатов поиска.


Чтобы измерить качество поиска, мы пропускаем случайную выборку запросов через асессоров, которые оценивают пары запрос-URL, выставляя им оценки: «витальный», «важный», «релевантный» или «нерелевантный». Каждой из оценок соответствует некая вероятность того, что человек найдет на этом сайте то, что ему нужно.

Формула ранжирования строится на различных комбинациях нескольких сотен факторов.


Факторы ранжирования — это характеристики алгоритма поисковой системы, по которым оценивается страница сайта и определяется ее позиция в выдаче. Яндекс использует в своих алгоритмах несколько сотен факторов. Поисковая система делит их на четыре большие группы:


Статические - связаны с самой страницей. К таким факторам относятся:


количество ссылок на сайт в интернете,

количество ссылок на страницу (ПейджРанк страницы в Гугле, ВИЦ в Яндексе),

Трастранк.

ИКС


Динамические - связаны одновременно с запросом и страницей. К таким факторам относятся:


присутствие в тексте страницы слов запроса, их количество и расположение (тестовая релевантность),

наличие в анкорах ссылок слов запроса (ссылочное ранжирование).


Запросные - учитывающие признаки поискового запроса. К таким факторам относится:


геозависимость и негеозависимость запроса.


Поведенческие факторы. К таким факторам относятся:


- кликовые факторы,

- поведение пользователей на странице выдачи,

- посещаемость сайта,

- поведение пользователей на сайте.


Далее поисковая машина сравнивает сайты по этим факторам и определяет максимально релевантные ресурсы. Это и называется формулой ранжирования Яндекса, которая подбирается при помощи Матрикснета – метода машинного обучения.


Из сотен факторов ранжирования Яндекса рассмотрим основные:


Возраст сайта


При ранжировании Яндекс учитывает время существования страниц сайта (именно сайта, а не домена). Почему возраст так важен? Чем старше сайт, тем больше о нем информации в базе данных поисковика, страницы таких сайтов быстрее индексируются, доверие к таким ресурсам естественно выше. О новых сайтах (менее 6 месяцев) Яндекс почти ничего не знает и отправляет их в «песочницу» наращивать свою авторитетность. Именно поэтому молодым сайтам так сложно попасть в ТОП выдачи, особенно по высокочастотным запросам.

Правильная привязка сайта к региону, наличие контактной информации


Примерно 30% поисковых запросов являются геозависимыми, иными словами, привязанными к определенному региону.




Принадлежность сайта к региону определяется по ряду признаков. В основном это контактная информация и телефон, указанные на сайте, а также такие косвенные признаки, как текст сайта, его IP-адрес и т.п. Для того, чтобы ваш сайт корректно индексировался по геозависмым запросам, необходимо сделать его привязку к региону в «Вебмастере» Яндекса и указать на сайте правильную контактную информацию.


Оригинальный контент, релевантный целевым поисковым запросам


Поисковая машина так же учитывает контент сайта, его качество и уникальность. Если на сайте размещен оригинальный и интересный тематический контент, то это позволит получить органический трафик по низкочастотным запросам без всякого дополнительного продвижения. За копипасть велика вероятность попадания под фильтр Яндекса, так же под фильтр могут попасть молодые сайты, использующие чужой контент после небольшого рерайта.


Очень негативно Яндекс относится к переоптимизированным текстам, поэтому не стоит злоупотреблять количеством вхождений ключевых слов. Предпочтительная плотность ключевиков должна составлять от 1% до 3-4%. Слишком длинные тексты также не приветствуются, контент в первую очередь создается для посетителей сайта, а значит, он должен быть легким в восприятии и соответствовать тематике ресурса.

Структурирование информации на сайте


Структура сайта должна быть логичной и понятной. Желательно, чтобы любая страница сайта была доступна максимум в три клика. Это облегчит взаимодействие пользователей с ресурсом, а так же позволит ускорить индексацию сайта поисковыми роботами.


Контент желательно делить на абзацы и блоки, обязательно разбавлять иллюстрациями. Это поможет посетителям легче воспринимать информацию.

Дизайн, юзабилити, скорость работы сайта


Яндекс рекомендует тщательно продумывать дизайн сайт, ведь он должен помогать посетителю увидеть главную информацию, ради которой и был создан ресурс.


Важна архитектура и юзабилити. Пользователю должно быть удобно и комфортно взаимодействовать с сайтом, ведь это напрямую влияет на поведенческий фактор, который в последнее время в значительной степени учитывается поисковиком. Если сайт нравится его посетителям, то он скорей всего окажется в ТОП поисковой выдачи.


Отсутствие хорошей навигации, сложная или запутанная структура сайта, неудачное расположение элементов, сложности с регистрацией или оформлением заказа, все это повышает коэффициент отказов. Такую же реакцию вызывает медленная работа сайта или частые сбои в его работе.


Яндекс очень негативно относится к агрессивной рекламе на сайте (особенно это касается popup, popunder и clickunder). Реклама имеет право на существование, но не должна мешать пользователю взаимодействовать с ресурсом.

Цитируемость сайта – количество и качество ссылок с других сайтов, тексты внешних ссылок


Значение внешних ссылок на сайт постепенно снижается, но все еще учитываются Яндексом. Поисковику важно, сколько и какие ресурсы ссылаются на веб-страницу сайта.


При региональном продвижении в анкорах ссылок должна быть региональная принадлежность, очень желательно наличие ссылок с региональных доноров.


Яндекс учитывает тематику ссылающихся сайтов; ссылки с тематических ресурсов придают больший вес ресурсу. Поисковик также ратует за разнообразие источников ссылочной массы. Существует понятие «возраста ссылки», чем она старше, тем лучше для Яндекса.

Наличие цен, информации об оплате и доставке для коммерческих сайтов


Яндекс считает, что в ТОП выдачи должны быть только те сайты, которые помогают решать задачу пользователя. Поэтому, если речь идет об интернет-магазине, то он должен отвечать ряду требований:

Товары должны содержать описания и фотографии.

На сайте необходимо указать контактные данные, а также желательны отзывы других посетителей.

Обязательно наличие информация о стоимости товара, а так же условиях доставки и способах оплаты.

Регистрация и оформление покупки должны быть простыми и понятными.

Все это в первую очередь сказывается на поведенческом факторе посетителей сайта и учитывается Яндексом.


Отсутствие поискового спама


Любые попытки поискового спама строго пресекаются Яндексом. О том, что лучше избегать «серных» и «черных» методов продвижения сайта, известно всем. Не стоит усердствовать и с оптимизацией контента и продажей ссылок с сайта.

Надежный и безопасный хостинг


При ранжировании поисковик учитывает работоспособность сайта, поэтому сайт должен быть доступен 24 часа 7 дней в неделю. Поисковые роботы ежедневно обходят сайты, и если по каким-то причинам ресурс недоступен, это негативно скажется на его позициях в выдаче. Поэтому необходимо поддерживать хостинг в полной суточной работоспособности и не забывать вовремя продлевать срок регистрации домена. Недоступность сайта более 24 часов грозит серьезными потерями позиций в выдаче!

Формула ранжирования Яндекса регулярно совершенствуется. На сегодняшний день Яндексу важно, чтобы посетитель интернет-ресурса максимально удобно и быстро мог получить то, зачем пришел на страницу. От этого напрямую будет зависеть ранжирование сайта.



Поведенческие факторы


В 2019 году это один из сильнейших факторов ранжирования сайта, который может перекрыть почти все остальное, следует работать над улучшением сайта и добавлять фишки, которые повлияют на удержание человека на сайте (видео, калькуляторы, сравнения, избранное, блог), так же нужно иметь конкурентное предложение, чтобы человек после вас не ушел к конкурентам (выгодная доставка, цены, оплата, обратная связь)


Резюмируем: Ранжирование – это упорядочивание результатов поиска в соответствии с запросом пользователя. Формула релевантности Яндекса строится на основе множества факторов ранжирования. Факторы ранжирования - свойства запроса и страницы, которые важны для ранжирования и, которые можно измерить числами. Формула ранжирования Яндекса каждый раз совершенствуется, и на сегодняшней день учитывает качество сайта и услуг.


Глава 3.

Системы веб-аналитики: Яндекс Метрика, Google Analytics, Liveinternet.


Понятие веб-аналитики. Цель веб-аналиики.


Инструменты веб-аналитики:


2.1. Счетчики


2.1.1. Яндекс.Метрика.

2.1.2. Гугл.Аналитикс.


2.2. Анализаторы логов


2.3. Вебвизор


2.4. Анализатор звонков.



Понятие веб-аналитики. Цель веб-аналиики.


Веб-аналитика — сбор, измерение и анализ информации о посетителях сайтов.

Основные задачи:

мониторинг посещаемости веб-сайтов;

определение целевой аудитории;

изучение поведения посетителей;

принятие решений по развитию и расширению функциональных возможностей сайта.

Цели:

увеличение конверсии, повышение эффективности рекламных кампаний.


Инструменты веб-аналитики:


Для сбора веб-статистики существует множество программ и сервисов. Основные:

Счетчики

Анализаторы логов

Вебвизор

Анализаторы звонков


2.1 Счетчики


Счётчик — сервис, предназначенный для внешнего независимого измерения посещаемости сайтов.

Сервисы работают по следующему принципу: код, установленный на страницах сайта, регистрирует посещения и собирает данные о них.


Наиболее популярные счетчики статистики: Яндекс Метрика, Ливинтернет, Гугл.Аналитикс.


..1 Яндекс.Метрика.

Яндекс.Метрика - удобный, бесплатный сервис, доступен для всех желающих с 24 апреля 2009 года.

Основные возможности:


- сбор и актуализация данных (Обновление отчетов происходит каждые 30 секунд, между действиями посетителя на сайте и отражением их в отчетах проходит от 30 секунд до 5 минут)

- управление доступами (предоставление гостевого (только просмотр) и полного доступа к счетчику)

- формирование отчетов

- настройка фильтров (требуется в случае, если необходимо не учитывать какие-то данные, например, все посещения с определенных IP-адресов).

Подробные инструкции по установке счетчика можно узнать

в разделе Помощь (в Яндекс.Метрике)


Основные разделы счетчика:


Посещаемость - общая сводка и конверсии (добавление и анализ целей).

Источники - систематизирование трафика по типу.

Посетители - конкретизирование аудитории.

Содержание - раскрытие структуры сайта в виде дерева, упорядоченного по популярности (по убыванию числа просмотров).

Поведение - вебвизор и карты поведения.

Технологии - сбор данных об устройствах и программном обеспечении, используемые посетителями.

Конструктор - построение отчетов, не присутствующих среди основных, детализация существующих отчетов.

Звонки - учет звонков из разных источников.

Мониторинг - нагрузка сайта, трафик по минутам, результаты.

Острова - анализ функционирования островов.


На главной странице счетчика размещена сводка общих данных о посещаемости. Используя «Каталог виджетов», есть возможность настройки данной страницы для себя.

В общих случаях, отчеты содержат период, который можно настраивать, таблицу с данными и график, а также можно выгрузить данные в нескольких форматах.

Отчет «Посещаемость» включает в себя данные о количестве визитов, просмотров, посетителей и новых пользователей, о проценте отказов, глубине просмотра и времени на сайте.

В Отчете «Конверсии можно посмотреть результаты достижения каждой цели, которые были предварительно настроены.

Группа «Источники» содержит несколько отчетов: общую сводку; сайты, c которых пришли посетители; процент поискового трафика; эффективность контекстных и баннерных рекламных кампаний; поисковые фразы, по которым были переходы на сайт.

В данной группе «Источники» есть специальный раздел для анализа результатов по контекстной рекламе в Яндекс.Директе. Для этого Аккаунт в Директе должен совпадать с аккаунтом Метрики. Специальные метки необходимо использовать для оценки эффективности кампании в других системах, к примеру, Google AdWords.

Группа отчетов «Посетители» уточняет информацию о пришедшей на сайт аудитории: пол, возраст посетителей принадлежность к региону, активность в определенное время суток.

Отчеты группы «Содержание» включают информацию по определенным страницам сайта. Кроме стандартных отчетов о популярных страницах, страницах входа и выхода, здесь содержится отчет по заголовкам страниц.

Если в настройках счетчика подключена функция «Внешние ссылки и загрузка файлов», а на сайте установлена панель социальных кнопок, то в отчете «Кнопка «Поделиться» будет представлена статистика, позволяющая оценить интерес пользователей к текстам сайта. Кроме того, в отчете «Внешние ссылки» представлена важная информация: по каким внешним ссылкам пользователь уходит с сайта.

В отчете «Загрузки файлов» можно найти данные о скачивании различных документов с сайта.

В Яндекс.Метрике можно создать персонализированный отчет по определенным действиям пользователей на сайте. Для этого в код счетчика потребуетсявнести изменения. Интернет-магазины могут воспользоваться также особым функционалом, который позволяет получать детализированную информацию о каждом заказе с сайта.

Все действия пользователя на сайте можно посмотреть в отчете «Поведение»: карта путей по сайту, карта ссылок, карта кликов, Вебвизор, Аналитика форм.

Отчет «Карта путей по сайту» наглядно показывает основные пути перемещения посетителей по сайту. Карта путей по сайту — это интерактивный граф, где вершинами являются страницы и разделы сайта, а ребрами — пути пользователей. Можно настроить фильтр по различным источникам: переходы с поисковых систем, рекламные переходы, прямые заходы и т.д.

Отчет «Карта ссылок» накладывается на анализируемую страницу сайта. В легенде карты (внизу страницы) можно прочитать расшифровку цвета и указать период для анализа ссылок. Если необходимо подсчитать количество переходов по ссылкам на сайте, то в легенде нужно включить опцию «Выделить блок», и при наведении на любую ссылку вы сможете получить нужную информацию.

Карта кликов по использованию аналогична карте ссылок, однако в ней показываются данные по кликам, совершенным пользователями на странице, это дает возможность увидеть куда кликает пользователь (не только по ссылкам). Выделяют режим отображения карты тепловой и монохромный, а также есть можно настроить распределение кликов по времени, анализировать клики по ссылкам и кнопкам и т.д.

Отчет «Аналитика форм» представлен в графическом виде. Задавать определенный формы не требуется, т.к. они автоматически определены. В «Аналитике форм» можно проанализировать, сколько человек вступило во взаимодействие с формой, сколько заполнило ее до конца. Также здесь можно посмотреть длительность взаимодействия пользователя с формой и статистику по каждому полю формы.

Группа отчетов «Технологии» помогает понять, какие браузеры, операционные системы и разрешения мониторов наиболее часто используются посетителями сайта. Если на сайте присутствуют элементы JavaScript, Flash, требуется подключение Cookies, то отчеты в этой группе покажут разницу между посетителями с требуемыми настройками и без.

Информация, отображаемая во всех отчетах группы «Технологии», стандартна: количество визитов и просмотров, отказы, глубина просмотра и время пребывания на сайте.

Яндекс.Метрика позволяет также работать с отчетами группы «Звонки», которые доступны для сайтов, рекламирующихся в Яндекс.Директе или Яндекс.Маркете. Для учета звонков используется опция «Целевой звонок». Она позволяет считать, сколько звонков было получено с объявления.

Cначала необходимо разместить в коде несколько тегов и указать их в настройках счетчика Яндекс.Метрики. Затем любой посетитель, который перешел из объявления в Директе или Маркете на сайт, будет видеть особенный номер телефона. Каждый звонок по этому телефону переадресовывается на нужный контактный телефон, а Метрика считает количество звонков.

В соответствующих отчетах можно изучить статистику по количеству звонков, длительности ожидания и разговора, количеству неотвеченных звонков и др. Эта информация поможет проанализировать, насколько эффективна существующая в компании схема работы с телефонными звонками.

Групп отчетов — «Мониторинг» — служит для оценки доступности сайта. В группу отчетов «Мониторинг» входит информация о нагрузке сайта и детализация пришедшего трафика по времени.


Цели в Метрике

Цели - наиболее желательные действия пользователя на сайте. В Яндекс Метрике можно добавлять до 100 «целей».

Существует 4 типа целей:


Просмотр страниц – фиксирование просмотра заданного количества страниц на сайте

URL страницы - применяется когда необходимо отследить переход на определенную страницу

Событие – если при совершении определенного действия URL страниц не меняется, можно применить данную цель, подсчитывая совершенное пользователем действие.

Составная цель – учитывается результат совершения действий по заданной последовательности, с выявлением ухода посетителя на каждом шаге.


Для проектов с пометкой «КОНТЕКСТ» необходимо в первую очередь настроить цели.


..2 Гугл.Аналитикс


Google Analytics бесплатный счетчик статистики от Google, общедоступный с середины августа 2006 года.


Основные разделы счетчика:

Главная страница - обзор аккаунта.


Раздел «МОИ МАТЕРИАЛЫ»

Сводки - управление набором виджетов с краткими отчетами, отслеживающими показатели. По умолчанию в сводке уже имеется несколькими автоматически выбранными виджетами, возможно настройка собственной сводки (Добавить сводку).

Ярлыки – наиболее часто используемые отчеты. Если сохранить отчет как ярлык, все его настройки тоже сохранятся (в том числе примененные фильтры, расширенные сегменты, параметры и т. д.).


Оповещения – автоматические и созданные на основе указываемых условий сообщения об отклонении показателей от заданного диапазона.


Раздел «СТАНДАРТНЫЕ ОТЧЕТЫ»


В режиме реального времени – ежесекундное отслеживайте данных:

число посетителей, находящихся на сайте в данную минуту;

географическое местоположение посетителей;

ключевые слова и сайты, послужившие источником перехода;

страницы, которые просматривают посетители;

текущие конверсии.

Аудитория – детальная информация о посетителях сайта.

Конверсии – (Acquisition) анализ переходов на сайт из различных каналов, кампаний, AdWords, анализ расходов.

Поведение – обзор действий пользователя, карты поведения, эксперименты (улучшение конверсии с помощью 2х вариантов страниц).

Конверсии – (Conversions) анализ целей, электронная торговля, многоканальные последовательности, количественное сравнение конверсий.

Модуль электронной торговли в разделе (Conversions) – инструмент получения информации о следующих показателях:

Товары:

какие товары были приобретены, в каком количестве и какой доход был получен.

Транзакции:

доход, налоги, стоимость доставки и сведения о количестве товара для каждой транзакции.

Время до покупки: количество дней и количество посещений, которые уходят на совершение покупки, начиная с момента проведения кампании и заканчивая совершением транзакции.


С помощью отчетов "Многоканальные последовательности" можно анализировать пути конверсии (цепочки действий, приведших к конверсии) и соответствующим образом корректировать рекламную стратегию.




По основным возможностям счетчик Google Analytics схож с Яндекс Метрикой, но счетчик от Google Analytics в отличие от Метрики имеет уже готовое решение для учета статистики каждого поддомена. Для этого необходимо создать для каждого из них отдельный профиль.


Кроме того присутствуют существенные различия в настройке «целей». Посмотреть информацию о настройке можно в разделе

Справка

.


Ключевые отчеты Google Analytics:

Отчет по трафику. Можно выделить два вида отчетов по трафику. Первый — общего назначения, работа с ним позволяет оценивать, с каких поисковых систем или сайтов приходят люди. Второй — отчет по трафику в реальном времени, позволяющий быстро получать информацию о количестве посетителей на сайте сейчас или за определенный период, количестве просмотров, показателях лояльности трафика, достижении целей и популярных страницах сайта.

Карта посещений — это отчет о пути действий пользователей на сайте. Работа с ним позволяет оценить, откуда приходят на сайт посетители, как они переходят по страницам ресурса, какие страницы наиболее популярны.

Отчет о времени загрузки страниц позволяет увидеть данные о работоспособности сайта.

Отчет по кликам на странице - данные о количестве кликов по ссылкам в определенной части страницы.

Отчет о мобильных устройствах помогает определить долю и детальную информацию о трафике с мобильных устройств.

Отчет по конверсиям —Настройка целей и отслеживание последовательностей переходов.

Отчеты по результатам пользовательского поиска. Если на сайте установлен поиск от Google, то данный отчет позволит установить, что конкретно пользователи искали, насколько часто и как образом они взаимодействуют с сайтом после поиска.

Персонализированный отчет позволяет работать со сбором статистики при использовании необходимых индивидуальных условий.


4


типа целей в Google Analytics:

Цель – Переход на заданную страницу

Типы соответствия данной цели:


Переход по URL — засчитывается, если посетитель просматривал одну из страниц сайта.


Точное соответствие — засчитывается попадание на конкретную страницу.

Соответствие заголовка — игнорируются параметры в конце URL (имеется в виду совпадение символов, начиная с первого и завершая последним знаком в указанной строке). Например, URL страницы имеет вид http://www.site.ru/checkout.cgi?page=1&id=9982251615. В этом случае каждому посетителю соответствует отдельный идентификатор id. Для этой страницы можно выбрать тип цели “соответствие заголовка”, указав URL /checkout.cgi?page=1.

Соответствие регулярного выражения — определяется совпадение по нескольким критериям, когда основа и/или концевые параметры индивидуальны в разных URL для одной и той же страницы. Например, когда на сайте имеются разделы услуг, в каждом из которых есть раздел цен: www.site.com/uslugi/uborka/price.htm, www.site.com/uslugi/moyka/price.htm, www.site.com/uslugi/syshka/price.htm и т. д. Используя в качестве целевого URL регулярное выражение 'uslugi.*price\.htm$', мы сможем отследить количество переходов по всему массиву страниц с ценами на услуги.


Продолжительность - Посещения определенной длительности

Страниц/экранов за посещение - Просмотр определенного количества страниц

Событие – достижение выполнения заданного действия

При создании цели можно присвоить конверсии денежную ценность. Указанная сумма будет засчитываться при каждом достижении цели. настраивается в процессе создания цели


Universal Analytics


Universal Analytics – новое поколение системы Google Analytics, отслеживание конверсии на сайте и в офлайне, путем склеивания конверсионных переходов пользователя.


..3 Счетчик LiveInternet

Счетчик LiveInternet позволяет собирать статистику сайта. Идентификация уникальных посетитетелей происходит при помощи cookies. А статистика просмотров показывает полное количество загрузок страниц сайта.

Интерфейс счетчика:



Для регистрации необходимо зайти на страницу сервиса liveinternet.ru , вверху страницы «Получить счетчик» — нажимаем и в новом окне заполняем форму регистрации — все поля, кроме «Синонимы».


В графе «Ключевые слова» пишем через пробелы или запятую, « Участие в рейтингах» — можно выбрать по своей тематике, можно не участвовать. Далее – «зарегистрировать». Далее следует окно с подтверждением «Ваш сайт успешно зарегистрирован», нажимаем «Получить html-код счетчика».

Еще одно окно с выбором внешнего вида, цвета и вновь кнопка «Получить html-код счетчика».


Копируем предоставленный код полностью(!) и размещаем его «На каждой странице, как можно ближе к началу, между тэгами и », или в виджете сайдбара.

ВАЖНО:

Необходимо устанавливать счетчик доступный только по паролю.

Некоторые виды информеров:

Стандартный информер разделен на разделы: на линии (в данный момент времени), за 24 часа (сутки), за 7 дней и за 1 месяц. В каждом разделе по две цифры — верхняя и нижняя. Нижняя цифра – это количество посетителей, а верхняя – количество просмотров.


Основные разделы

Посещаемость – за день, за неделю, за месяц.

Размер аудитории — размер аудитории сайта за различные периоды времени и размер различных выборок из всей аудитории сайта. Данные о посетителях: «Новые», «Неотлучные», «Ядро», «Частые», «Постоянные».

Варианты обращения к сайту - В отчете показано количество просмотров страниц с разных базовых адресов сайта (синонимов).

Переходы на сайт:

с каталогов и рейтингов;

социальные сети;

с поисковых систем;

по поисковым фразам.


В счетчике Ливинтернет отсутствует возможность настройки целей. Для поддоменов необходимо регистрировать счетчик отдельно. Для того, чтобы учитывать суммарную посещаемость нескольких разных сайтов, нужно использовать специальный тип счетчика: именованный. При использовании именованного счётчика участнику присваивается идентификатор и выдаётся индивидуальный код счётчика, который можно устанавливать на любых своих сайтах, независимо от их адреса. Счетчик сильно уступает по функционалу конкурентам Яндекс Метрика и Гугл Аналитикс.


2.2 Анализаторы логов


Анализаторы логов - внутренняя локальная программа, устанавливаемая на компьютер пользователя, как правило, сервер. Лог-анализатор с определенной периодичностью собирает накопленные лог-файлы (журналы записи событий о работе сервера), обрабатывает данные и хранит их в своем внутреннем архиве, создает страницы, показывающие статистику пользователю.


Основное отличие логов и счетчиков - логи не учитывают куки.


Преимущества и недостатки логов:


«+» логов

достоверность данных (не теряется из-за перегрузки сервера статистики)


«-» логов

сложнее настроить

почти все платные

не позволяют сравнивать посещаемость с сайтами конкурентами — у них нет для этого данных

сложнее отслеживать географию посетителей (нужна дополнительная инфо по привязке IP-адресов к географическому расположению).

Не используются файлы-куки (не могут отслеживать посетителей, заходящих на сайт по корпоративной сети или прокси-серверу и в др. случаях)

не распознают посетителей повторно заходящих на сайт


Примеры анализаторов логов:

The webalizer, Weblog expert - программа доступна в трех вариантах: WebLog Expert Professional и WebLog Expert Standard платные, WebLog Expert Lite — бесплатная. Alterwind Log Analyzer – продукт российских разработчиков. Программа предоставляется в трех вариантах — Lite - бесплатно, Standar и Professional - платно. Analog - создатели этого анализатора логов рекламируют его как наиболее популярный анализатор лог файлов в мире.


2.3 Вебвизор


Еще одной отличительной чертой Яндекс Метрики является наличие технологии Вебвизор – видеоотчета о поведении пользователя на сайте. Яндекс приобрёл технологию сервиса WebVisor в 2010 году по итогам дней открытых дверей для стартапов, которые Яндекс проводит в рамках программы Яндекс.Старт.


Анализ по вебвизору помогает принять решение в сфере улучшения юзабилити, конверсии сайта, установить на видео, как вел себя посетитель, который положил товар в корзину, но так и не оформил покупку



2.4 Анализатор звонков.


Коллтрекинг (анализ источников звонков) - это технология, которая позволяет с помощью автоматической подмены номеров телефонов на сайте анализировать, из каких источников (рекламных каналов) приходят на сайт посетители, которые осуществляют звонки. Анализаторы звонков помогают сделать анализ эффективности рекламы полноценным, всегда платные. Схожие функции добавлены в Яндекс Метрику в разделе «Целевой Звонок 2.0».


Решаемые задачи:

1)

Анализ звонков по рекламным каналам

.

2)

Анализ звонков с точностью до запроса/посетителя

.

3)

Комплексный анализ рекламных кампаний

.

Примеры решений для анализа звонков:


Аллока, CoMagic.


Глава 4.


Тема: «Виды и способы увеличения продаж клиента».


План:


Продвижение по позициям в поисковых системах.

Продвижение по трафику.

Продвижение по лидам.

Контекстная реклама.

Медийная (банерная) реклама.

Яндекс.маркет.

Вирусная реклама (вирусный интернет-маркетинг).

Продвижение в социальных сетях (SMM).

Продвижение с оплатой за целевые действия (CPA).


Продвижение по позициям в поисковых системах.


Продвижение по позициям в поисковых системах - стандартное SEO. Это комплекс мер для улучшения видимости сайта в результатах выдачи поисковых систем по определенным запросам пользователей с целью продвижения сайта.


Обычно чем выше позиция сайта в результатах поиска, тем больше заинтересованных посетителей переходит на него с поисковых систем. При анализе эффективности поисковой оптимизации оценивается стоимость целевого посетителя с учётом времени вывода сайта на указанные позиции и конверсии сайта.


Данный метод, является самым простым способом для пользователя попасть на сайт, найдя его в поисковых системах. Основным недостатком является длительный период вывода в ТОП наиболее частотных запросов, которые и дают наибольший трафик.



Общая концепция: любой пользователь, который будет искать в интернете продукт, реализацией которого занимается клиент, с большой долей вероятности, будет подать на сайт клиента. Спектр запросов по которым пользователи будут подать на сайт зависит от семантического ядра и от успешности продвижения. За работы в данном направлении осуществляется оплата.


Продвижение по трафику.

Продвижение по трафику – это SEO, при котором Вы платите не за позиции в ТОПе, а за количество посетителей из поисковых систем. При этом количество продвигаемых слов может достигать нескольких тысяч. Поэтому чтобы продвигать сайт по трафику, необходимо, чтобы он соответствовал определенным требованиям. Например, на сайте должно быть большое количество страниц.


Трафиковое продвижение выгодно:


интернет-магазинам, предлагающим широкий ассортимент товаров;

крупным брендам, работающим в объемной отрасли (туризм, медикаменты, автозапчасти и т. п.);

порталам, которые перепродают трафик или рекламу;

Молодым сайтам в связи с особенностью алгоритмов существующих поисковых систем, в которых продвижение по высокочастотным запросам является весьма длительным.


Общая концепция: работы ведуться пообъемному семантическиому ядру, состоящему премимущественно из НЧ запросов. Период вывода данных запросов в ТОП сравнительно небольшой. Так же стоит отметить, что данные запросы, менее чувствительны к докруткам алгоритмов ПС.


Продвижение по лидам

Лид – определенное действие пользователем сайта, в результате которого владелец сайта получает возможность контактировать с данным пользователем. То есть лид – это контакт для потенциальной продажи.


Примеры лидов:


заявка с сайта;

оформление заказа;

телефонный звонок;

подписка на новости, рассылку и т.д.


Успешное продвижение по лидам возможно при соблюдении двух факторов:


На сайте должен быть конкретный товар или услуга, с конкретной ценой. (Именно по этой причине продвижение по лидам плохо работает в случае сложных товаров и услуг, где нужная консультация специалистов – пример: консалтинговые услуги, продажа конвейерных лент для производства керамогранита);

Момент конверсии должен быть принципиально учитываем. Если лидом является звонок – должна быть внедрена система учета звонков. Если лидом будет являться заявка: и у исполнителя, и у заказчика должна быть возможность отслеживать количество заявок.


Общая концепция: оплата осуществляется лишь за конкретные действия пользователей. Необходимы работы не только с сайтом, но и с продуктом.


Контекстная реклама

Контекстная реклама — это особый вид интернет-рекламы, которая показывается в зависимости от поискового запроса пользователя к поисковой машине (например, на Яндексе), или в зависимости от смысла конкретной веб-странички.


Основным преимущество является то крайне быстрый рост трафика. Технически начало данной рекламной компании крайне простое. Необходимо разместить на страницах своего сайта специальный код скрипта, выдаваемый системой контекстной рекламы зарегистрированным вебмастерам.

В России наиболее популярными системами управления контекстной рекламой являются:

Яндекс.Директ — отечественная система, позволяющая размещать рекламные объявления на поисковой машине «Яндекс» и в так называемой Рекламной Сети Яндекса (РСЯ) — на сайтах, где объявления показываются с помощью автоматического определения смысла страничек;

Google AdWords — система для показа контекстных объявлений на поисковой машине Google, второй по популярности в России, и в сети сайтов, где объявления также показываются с помощью автоматического определения смысла страничек;

Бегун — российская система показа контекстных объявлений, которая работает с поисковой системой Rambler, а также показывает объявления в огромной сети собственных сайтов;

MediaTarget — система показа контекстных объявлений на проектах LiveInternet и нескольких аффилированных сайтах.



Общая концепция: Вы хотите поискать в Яндексе информацию о холодильниках и вводите запрос «новый холодильник». Вместе с результатами поиска вы увидите небольшие текстовые объявления (они расположены справа), которые соответствуют вашему запросу и предлагают посетить сайт, где про эти холодильники можно почитать. В этом случае «новый холодильник» называется ключевым словом, по которому показывается реклама.


Медийная (банерная) реклама.

Медийная (банерная) реклама это рекламное объявление, представляющее собой графическое изображение в формате GIF или JPG. Формат GIF — позволяет применять анимацию, что делает ее, привлекающей внимание пользователя. Медийная реклама обеспечивает вовлечение пользователей за счет эмоционального содержания графических модулей.

Медийная реклама совсем не обязательно должна быть связана с сайтом. Нет необходимости посещать сайт, если коммуникация с брендом в Интернете может заканчиваться на баннере. Лучше всего это работает с торговой рекламой:

Рекламное сообщение «горящие путевки туда-то» по конкурентоспособной цене, снабженное телефоном, вызывает немедленный отклик в виде звонка, и пользователю не нужно посещать сайт, чтобы получить дополнительную информацию;

Реклама о начале распродажи, которая вообще не «кликабельна» (то есть «клик» на баннере не приводит к переходу на какой-либо сайт). Вся информация, которая в данный момент нужна пользователям, уже есть на баннере, и переход на сайт ведет лишь к снижению конверсии, то есть к уменьшению эффективности рекламы.


Основные носители медийной рекламы в интернете:

Баннеры (обычно прямоугольные графические рекламные модули, несущие в себе статическое или анимированное рекламное изображение);

Rich-Media баннеры (всплывающие изображения, отрываемые уголки, распахивающиеся изображения, бегающие по экрану существа, баннеры, которые «следят» за мышкой пользователя, и т.п.);

Pop-under баннеры (открывающиеся в отдельном окне браузера, расположенном под активным окном или закладкой);

Баннеры-трансформеры (изменяют свою форму и размер в процессе загрузки страницы).

Общая концепция: визуально приятные, заметные и привлекательные для пользователей банеры.


Яндекс.маркет.

Яндекс.Маркет - это система подбора товаров и оптимального места для их покупки. Сервис разработан компанией Яндекс и предоставляет пользователям подробные описания свойств и технических характеристик товаров. Пользователь сервиса может осуществлять быстрый подбор товара по определенным параметрам.


Для подборки товара используется искусственный интеллект Гуру, а также готовые рецепты, модули сравнения цен и моделей, отзывы о товарах и магазинах со стороны покупателей, пользователей сервисов Яндекс.

Интернет-магазин регистрируется в Яндекс.Маркете, проходит ручную проверку и модерацию. Информация о товарах передается в специальном формате YML (Yandex Market Language). Система управления вашего сайта должна автоматически создавать такой файл и обновлять его, если меняются цены или ассортимент.

Рейтинг магазинов на Яндекс.Маркете складывается из отзывов и оценок пользователей и проверки службой контроля качества Яндекса. Отзывы и оценки пользователей проходят тщательную модерацию. Учитывается содержание, IP-адрес компьютера, поведение посетителя и общая ситуация с количеством отзывов и оценкой магазина.

Общая концепция: Информация о товарах поступает в Яндекс.Маркет из базы данных Интернет-магазинов. При клике на позицию предложения, пользователь переходит на страницу магазина с соответствующим описанием (за это действие и осуществляется оплата). По способу оплаты Яндекс.Маркет похож на контекстную рекламу. Оплачивается только переход пользователя системы на сайт рекламодателя.


Вирусная реклама (вирусный интернет-маркетинг)

Вирусный маркетинг – это создание и размещение медиавируса - интересного видеоролика, flash-приложения или другого привлекательного контента. Медиавирус быстро распространяется в Интернете силами самих пользователей и переносит вместе с собой нужную рекламную информацию.

Это вид распространения рекламы, характеризующийся прогрессирующей передачей рекламного материала от пользователя к пользователю по инициативе самих пользователей.


При создании медиавируса необходимо руководствоваться двумя принципами:

Вирус должен быть достаточно привлекателен, чтобы пользователям захотелось его пересылать;

Вирус должен выполнять четко определенную маркетинговую задачу, заданную рекламодателем – повышать продажи, укреплять имидж и т.п.

Пример: Реклама Old Spiceгде, где негр держит гель для душа и просит посмотреть на него


Задача маркетинга: Провести рекламу товаров Old Spice среди потенциальных покупателей, популяризировать продукты компании среди женщин, приобретающих косметику для своих мужчин, увеличить узнаваемость бренда.


Результат: Более 22 миллионов просмотров на YouTube только англоязычной версии видео вирусной рекламы, созданной агентством маркетинга Wieden+Kennedy. На примере ролика были созданы тысячи ремиксов и пародий. Кампания получила звание лучшего вирусного кейса 2010 года, продажи бренда выросли за год на 17%.


Общая концепция: У большинства населения наблюдается низкий уровень доверия к рекламе вообще, а тем более исходящей от компании-производителя, основной принцип вирусного маркетинга заключается в том, что человек, получающий информационное сообщение, должен быть уверен, что оно исходит от лица незаинтересованного, например от знакомого, или незнакомого, но ни в коем случае не аффилированного к рекламной кампании.


Продвижение в социальных сетях (SMM).

Продвижение в социальных сетях – явление, возникновение которого логично сочетается с базовыми принципами маркетинга. Несомненный плюс продвижения бренда в социальных сетях – прозрачное, четкое и понятное таргетирование аудитории по заранее определенным параметрам.


Методы бесплатного продвижения в соц. сетях:

Группы или сообщества. Это самый распространенный вид. Большинство соц. сетей предоставляют возможность создать сообщество по интересам. Приглашение в группы друзей или других участников соц. сети;

Публичные страницы или fan page. Публичные страницы немногим отличаются от групп;

Продвижение медиа-контента. Аудио, видео, картинки – все это замечательно продвигается в соцсетях. В медиа-контент можно вставлять адрес сайта или название бренда. Признанной площадкой для вирусного видео служит youtube.

Платные способы раскрутки в соц. сетях:

Таргетированная реклама. Самый распространенный способ платной рекламы в социальных сетях. Наверняка вы видели объявления небольшого размера в своих аккаунтах. Один из таких находится слева на картинке. Так вот, это таргетированная реклама, то есть направленная на определенную группу людей. Можно показывать рекламу пользователям с определенной страны, города, улицы, с определенным интересами, возрастом и так далее;

Реклама в приложениях. В социалках существует огромное множество приложений. Это и игры, и полезные программы для создания аватаров, картинок и так далее. Продвигаться в социальных сетях можно, используя приложения. Его можно разработать или выступить спонсором. Популярные приложения имеют несколько миллионов пользователей;

Конкурсы. Можно активизировать вашу целевую аудитории в соц сети благодаря какой-нибудь акции, конкурсу или скидкам. Пользователи любят такие вещи и благоприятно на них реагируют. Вокруг грамотных конкурсов с хорошими призами собирается множество людей.

Общая концепция: привлечение пользователей с помощью соц. сетей и данных указанных самими пользователями.


Продвижение с оплатой за целевые действия (CPA)


CPA - это "cost per action", в переводе “плата за действие”. Иногда встречается (PPA – вместо "cost" используют синоним "pay"). Это метод оплаты рекламы, при которой вы получаете деньги за то, что приведенный вами клиент выполняет какие-то полезные действия. Другими словами вы генерируете трафик (с сайтов, поисковых систем, социальных сетей и т.д.) и направляете потенциальных клиентов на страницы с предложениями (офферами) от рекламодателей, если клиент выполняет полезное действие указанное рекламодателем - вы получает за это оплату. Основые модели:

CPS – pay per sale - "плата за продажу" – оплата - фиксированная сумма/определенный процент от продажи. CPL – pay per lead - "плата за действие", они же лиды, см. пункт 3.


Основные

виды действия,

за который осуществляется оплата в CPA:

Лиды (модель CPL);

Покупки (модель CPS);

Посещение нескольких страниц сайта;

Загрузка файла;

Просмотр прайс-листа;

Заполнение формы заказа или обратной связи.

Отличие CPA от CPL (продвижения по лидам):


При генерации лидов рекламодатель получает контактные и демографические данные пользователей, а в случае CPA он получает последовательность действий, которые могут быть анонимными. Например, участие в голосовании, посещение определенных страниц сайта, бронирование товара без указания контактных данных.


Общая концепция: оплата за действия пользователей.

Заключение


Главная цель коммерческого сайта - получение чистой прибыли. Любой клиент, который приодит в Нашу Компанию, делает это не ради позиций, а именно с этой целью.

В данной лекции представлены основные способы привлечения пользователей и как следствие, увеличение продаж в интернет сфере.

Основной упрек в сторону SEO специалистов заключается в следующем: «Сеошники только и делают, что загаживают поисковую выдачу своими сайтами». Данное утверждение можно считать мифом, так как на данный момент поисковые алгоритмы устроены таким образом, что для того что бы попасть в ТОП, особенно по высококонкурентным тематикам, необходимо максимально проработь ресурс и сделать его действительно качественным. Времена «спамных портянок» к нашему сожалению прошли. Данное суждение можно отнести и к другим способам привлечения трафика – необходимо не только что бы пользователь попал на сайт, но и что бы он захотел (и интуитивно понял как) ему совершить покупку (иное действие).


Ниже представленны источники, в которых можно более подробно ознакомиться с материалами данной лекции. Выдача по запросам, которые Вы можете искать для более подробного ознакомления с интересующими Вас аспектами должна быть информационной, однако из-за стараний SEO специалистов она является коммерческой. Данную информацию стоит учитывать при поиске материала в интернете и выводах о прочитанном в дальнейшем.


Глава 5.


Тема: «Виды и способы увеличения продаж клиента».


План лекции:


Контентная оптимизация сайта.


1.1. Алгоритм повышения релеватности сайта.

1.2. Работа, направленная на увеличение кликабельности сниппета сайта.

1.3. Основные термины


Техническая оптимизация сайта.


2.1 Общие правила

.2 Оптимизация кода

2.3 Отклики сервера


Работа над структурой сайта.


3.1 Навигация

3.2 Техническая составляющая


1 Контентная оптимизация сайта.


Контентная оптимизация сайта включает в себя работу с контентом страницы, направленную на повышение релеватности страницы в поисковых системах. К контенту страницы относится: текст, картинки, таблицы, цены (на услуги, товар и прочее), карточка товара (на карточке обязательно должно присутствовать описание товара: характеристики, размеры и прочее), аудио, видео и др.


Правильное расположение всех элементов на странице приводит к повышению юзабилити сайта, и, как следствие, к улучшению всех поведенческих показателей сайта: глубины просмотра, кол-ва отказов, время нахождения пользователя на странице сайта, а так же к увеличению конверсии ресурса.


При расположении текста на страницах сайта необходимо обращать внимание на разбиение текста на текстовые блоки (если у конкурентов нет разбиения на блоки, но тематика позволяет его применить, мы его обязательно используем). Оптимизатор ОКО принимает решение, какие будут блоки, сколько их будет.


Примеры размещения контента с помощью разбиения на текстовые блоки:



1.1 Алгоритм повышения релеватности сайта


1 Оптимизация title


Title должен содержать от 4 до 15 слов.


При написании тайтла необходимо придерживаться следующей структуры:


- первая часть тайтла должна содержать 2 самых весовых запроса, без повторения слов (не допустимо «Окна ПВХ купить пластиковые окна» правильно «Пластиковые окна (ПВХ)». При этом самый весовой запрос употребляем как можно ближе к началу.


- вторая часть содержит в себе слова из менее весовых запросов (купить, цена, услуги).


Самый весовой запрос в title допускается использовать до 2-х раз, если он содержится в других менее весовых запросах, при этом он должен быть разделен не менее чем тремя словами.


Если количество запросов не позволяет составить тайтл длиной более 4 слов, необходимо добавить в тайтл дополнительные слова, раскрывающие смысл страницы (сопутствующие). Например, для запроса «купить окна ПВХ» близкие слова - заказать, продажа, цены, т.е. все слова, которые Яндекс показывает в директе как синонимы. Ориентируемся на содержание страницы и топ-10 в выдаче Яндекса по основному запросу. При анализе выдачи нужно обратить внимание на подсвеченные Яндексом слова в тайтлах, не содержащихся в запросе.


2 Написание keywords

Больше не используется


3 Оптимизация h1-h6


ВАЖНО! на странице должен быть только один h1. Если на странице их несколько, то необходимо исправить все заголовки таким образом, чтобы в итоге остался только один h1.


Заголовок h1 должен содержать самое весовое ключевое словосочетание. При этом он должен отражать суть страницы. Например, если на странице, на которой расположен каталог верхней одежды, продвигается только запрос «куртки», недопустимо писать в h1 только запрос. В этом случае h1 будет иметь вид «Куртки и другая верхняя одежда от магазина ****». В заголовках h2-h6 должны содержаться менее весовые ключевые ключевые слова.


Последовательность заголовков h1-h6 на странице, она должна соответствовать модели:


<h1>Заголовокh1>

<h2>Подзаголовокh2>

<h3>Подпунктыh3>

etc., т.е. выделения h1-h6, употребленные в тексте, не должны нарушать порядковой последовательности своих номеров.


4 Оптимизация и


ВАЖНО! На 4000 знаков (1 страница) должно быть не более 1-2 выделений , причем содержание должно соответствовать правилам русского языка и элементарной читабельности («окна москва купить недорого» – подобного быть не должно).


Все теги , которые встречаются в тексте необходимо заменить на , не нарушая при этом правило, что на 4000 знаков (1 страница) должно быть не более 1-2 выделений . Если пункт нарушается, то нужно убрать выделение тегами или заменить его на форматирование с помощью CSS.


В оставляем только ключевое слово запроса, под который осуществляется накрутка. Недопустимо присутствие в теге знаков препинания и слов «купить», «цена», «стоимость», а также названия города.


Необходимо убрать все лишние теги , , , на всей странице в соответствии с правилом: на 4000 знаков (1 страница) должно быть не более 1-2 выделений .


5 Оптимизация количества ключевых слов


Оптимизация количества ключевых слов происходит посредством проведения анализа кол-ва вхождений в среднем по топ10 по ключевому слову:


если среднее значение превышает значение нашего сайта более чем на 2-3 вхождения, то оптимизатор ОКО пробует вписать необходимое количество в текст, если вписать самостоятельно не представляется возможным (мало объема, сложные ключи), то оптимизатор составляет ТЗ копирайтеру по инструкции «Составление ТЗ копирайтеру»;


если среднее значение ниже значения нашего сайта более чем на 2-3 вхождения, то убираем лишние;


расхождение значения нашего сайта со средним значением составляет менее чем 2-3 вхождения считается незначительным и не влияющим на релевантности ресурса, поэтому в таком случае корректировка текста по кол-ву вхождений не происходит.


проверяем, достаточно ли в тексте используется весовая часть запроса. Например, если анализировать запрос «купить пластиковые окна», то количество его в тексте будет находится в пределах 3-4. В то время как количество употребления сочетания «пластиковые окна» будет гораздо выше. Так как раскрыть тематику без дополнительного употребления смысловой части невозможно - это является одним из показателей естественности текста. Употребление весовой части запроса будет считаться неточным вхождением для всех производных и будет учитываться при расчете релевантности.


Еще одним важным показателем является «Тошнотность» - слишком большое количество ключевых слов и фраз в контенте страницы. Тошнота страницы определяет степень ее неестественности, так как в нормальном тексте не может быть слишком высокого процента определенных слов. «Тошнота контента» рассчитывается как квадратный корень из количества наиболее часто встречаемого слова в документе.


При корректировке тошности сравниваем среднее значение по топ10 со значением нашего сайта, если значение нашего сайта превышает среднее, то переходим к оптимизации 2-х самых тошнотных слов (подгоняем под среднее значение).


Проводится проверка по критерию спамности: недопустимо употребление несколько раз каких бы то ни было ключевых слов в пределах одного предложения, перечисление одного ключа (от 2 раз и более), а также вхождение одинаковых ключевых слов в смежных предложениях. Особое внимание обращаем на футеры.


6 Оптимизация с помощью синонимов


Необходимо привести общее соотношение точных вхождений/словоформ по каждому запросу к соотношению 40/60%.


Также необходимо оценивать данное соотношение у конкурентов. Если у конкурентов преобладают словоформы или разбросы, то допускается смещение соотношения в пользу словоформ, если преобладают ТВ запросов, то допускается смещение соотношения в сторону ТВ. При этом оптимизатор ОКО постоянно проверяет, каким образом меняются при изменении соотношений другие показатели текста (тошнота, вода), и в случае превышения данных показателей правки откатываются до приемлемого придела.


7 Оптимизация с помощью замены русского слова на английское или наоборот


Если ключевое слово текущего запроса можно заменить на английский вариант, то находим словоформу (не точное вхождение) данного ключевого слова в тексте и заменяем.


Общее количество подобных замен должно составлять не более 10% употреблений этого ключевого слова во всем тексте.


8 Добавление названия компании


При проработке главной страницы необходимо в обязательном порядке употребить официальное название компании. Офиц. название компании должно включать в себя форму собственности. Например, ООО «Компания1» или ИП Иванова И. И.


Название берется из единого брифа или со страницы «О компании». Если брифа нет, а на сайте есть несколько вариантов названий компании необходимо отправить запрос аккаунту на уточнение названия.



При проработке внутренних страниц также желательно употреблять в тексте официальное название компании.


Например, официальное название ОАО «Вымпелком», а продвигаемый бренд — «Билайн». В тексте прописывается Билайн, а в футере ОАО «Вымпелком».


9 Добавление геоконтента


Проверяем целевую страницу на потребность в употреблении геоконтента (является ли компания заказчика мультирегиональной, имеет ли отделения в разных регионах страны).

Проверяем соответствие употребления геоконтента требованиям ТЗ, но учитываем, что на текст для одной страницы сайта допускается не более 1-2 употреблений.


10 Работа с каталогами


Сравниваем нашу страницу с конкурентами.


1) Если на нашей странице есть каталог и текст и у конкурентов есть каталог и текст, и количество вхождений в каталоге и тексе на нашей странице и в среднем по топ-10 равны, то ничего не делаем.


2) Если на нашей странице есть каталог и текст и у конкурентов есть каталог и текст, и количество вхождений в каталоге и тексе на нашей странице больше чем в среднем по топ-10, то мы:


а) срезаем количество ключей в тексте, ориентируясь на конкурентов – в случае, если в топе преобладают сайты с большим количество вхождений в каталоге и небольшими текстами);


б) ТОЛЬКО по согласованию с ОА закрываем в часть вхождений в каталоге (или все вхождения) – в случае, если в топе преобладают сайты с большим количество вхождений в тексте и небольшими каталогами).


3) Если на нашей странице только текст, а в среднем по топ-10 у сайтов есть каталоги, то запрашиваем и добавляем каталог.


11. Использование тега .


Тег может использоваться на странице только в следующих случаях:

Закрытие текста, в котором нет ключевых запросов, но который убрать со страницы невозможно (например, пожелание клиента или важная информация о доставке).

Закрытие счетчиков, ссылок на посторонние ресурсы.

Закрытие текста под гугл.

Закрытие форм заказа, поиска, сортировок, фильтров, etc.


Во всех остальных случаях тег не используется. Если данный тег на странице присутствует на момент проработки, его необходимо убрать.


1.2. Работа, направленная на увеличение кликабельности сниппета сайта.


Сниппет - небольшой отрывок текста из найденной поисковой машиной страницы сайта, использующийся в качестве описания ссылки в результатах поиска. В поисковой системе Яндекс, как правило, они представляют собой отрывок текста, в котором встретилось ключевое слово в тексте на странице. Иногда в ПС Яндекс в качестве сниппетов также может выводиться текст из мета-тега «Description». Гугл всегда использует мета-тега «Description» в качестве сниппета.


Написание description. Данный мета-тег необходим для увеличения кликабельности сниппета.


Правила написания description:

- как можно ближе к началу употребляем продающее слово/словосочетание. (например, скидки, бесплатная доставка);

- далее прописываем продвигаемое ключевое слово;

- затем пишем название компании и другие слова.

Например,

http://www.di-ci.ru/notarialnyj_perevod/


Скидки до 30 % на нотариальный перевод от бюро переводов «Диалект Сити». Бесплатная доставка переводов в любую точку Москвы.


ПС Яндекс, как правило, выбирает в качестве сниппета наиболее релевантный кусок текста по соответствующему ключевому слову. Предпочтение отдается тексту, расположенному ближе к началу страницы.

Вариант 1 — Если кликабельность участка текста, который выбрал Яндекс, можно улучшить, добавив в него незначительные изменения (можно добавить продающие слова или скорректировать текст так, чтобы плотность ключей в данном участке осталась неизменной), — делаем.

Вариант 2 — Если Яндекс в качестве сниппета выбрал кусок текста из контента страницы, который обладает низкой степенью кликабельности, то необходимо провести работы по увеличению кликабельности сниппета.

Для этого нужно снизить релевантность данного участка текста (убрать ключи) и добавить текст, такой же по объему и плотности ключей, ближе к началу страницы. Также можно найти более подходящий для сниппета участок текста и преобразовать его таким образом, чтобы плотность ключей была аналогична исходному.


1.3. Основные понятия.


TF-IDF — статистическая мера, используемая для оценки важности слова в контексте документа, являющегося частью коллекции документов или корпуса. Вес некоторого слова пропорционален количеству употребления этого слова в документе, и обратно пропорционален частоте употребления слова в других документах коллекции.


TF – частота слова в документе

IDF – обратная частота запроса


TF — (частота слова в документе) - отношение числа вхождения некоторого слова к общему количеству слов документа. Таким образом, оценивается важность слова ti в пределах отдельного документа.

,

где ni есть число вхождений слова в документ, а в знаменателе — общее число слов в данном документе.

IDF (inverse document frequency — обратная частота документа) — инверсия частоты, с которой некоторое слово встречается в документах коллекции. Учёт IDF уменьшает вес широкоупотребительных слов.

,

где

|D| — количество документов в корпусе;

— количество документов, в которых встречается ti (когда ).

Таким образом, мера TF-IDF является произведением двух сомножителей: TF и IDF.

Большой вес в TF-IDF получат слова с высокой частотой в пределах конкретного документа и с низкой частотой употреблений в других документах.

Вхождения в текст, TITLE, strong, H1-6 и др. считаются не только по формуле TF- IDF, но и по модифицированной формуле Okapi BM-25.

Okapi BM25 учитывает длину поля (в данном случае title, strong или h1) в котором произошел хит (встретилось слово запроса). Чем меньше длина — тем выше значение релевантности конкретного хита.

Формула расчета BM

BM25 = IDF + log ((k1+1)*TF)/(k1(1-b)+b(Dl/ArgDl)+TF)),

где b, k1 – const

Dl – длина нашего документа

ArgDl – средняя длина документа

TF считается для каждого слова, BM – для конкретного запроса.

http://ru.wikipedia.org/wiki/Okapi_BM25 - дополнительная информация


2 Техническая оптимизация сайта.


Техническая оптимизация сайта – это комплекс мер, направленных на корректировку технических аспектов сайта, с целью улучшить его взаимодействие с роботами поисковых систем.


Основная задача технической оптимизации – обеспечить максимально полную и быструю индексацию страниц сайта.


2.1 Общие правила


Грамотная техническая оптимизация позволяет роботам поисковых систем хорошо и быстро индексировать сайт, такой сайт не выдает ошибки и сбои в работе, каждой странице сайта соответствует только один адрес и др. Ниже представлены некоторые моменты на которые стоит особенно уделить внимание. Полный список параметров для проверки оптимизатором, которым должен соответствовать сайт согласно технической оптимизации, описан в чек. листе по тех. оптимизации (на портале в разделе «Документы»).


Robots.txt – файл, специально предназначеный для роботов поисковых систем. В этом файле указываются параметры индексирования сайта: какие страницы заносить в поисковую базу, а какие исключить. В нём можно указывать директивы, как для всех роботов поисковых систем сразу, так и для роботов каждой поисковой системы в отдельности.


Про составление этого файла и настройку можно подробнее узнать на сайте помощи вебмастерам от Яндекса http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml.


Карты сайта — одна из страниц сайта, информация на которой аналогична разделу «Содержание» обычной книги. Используется как элемент навигации. В карте сайта представлен полный перечень разделов и/или всех страниц, имеющихся на сайте. Нередко, заголовки страниц в списке служат ссылками на эти страницы. Карта бывает двух форматов:


HTML (для пользователя);

XML (для роботов ПС).


Редиректы (перенаправления) делаются с помощью файла .htaccess, который расположен в корне сайта и доступен только вебмастеру. Так как поисковые системы могут считать сайт с www и без www совершенно различными, то прописывается редирект c сайта без www (http://vashsait.ru) на сайт с www (http://www.vashsait.ru) или наоборот. Это автоматически переадресовывает всех, кто заходит на сайт на нужную страницу.


Настройка видов url страниц - корректный вид url также настраивается с помощью .htaccess. Важно, чтобы все внутренние ссылки на сайте имели одинаковый вид. Это можно оценить по следующим критериям:


На всех страницах присутствуют или отсутствуют закрывающие слэши;

адрес сайта полностью написан латинскими буквами (http://www.vashsait.ru/katalog) или в адресе встречаются какие-либо параметры (http://www.vashsait.ru/?id_news=72);

используются латинские или русские буквы в url.


Лучше всего, если во внутренних ссылках сайта содержатся псевдостатические адреса. Это значит, что в них не используются спецсимволы: «?», «=», «&», а сами адреса ссылок имеют вид: http://www.vashsait.ru/about.


404 ошибка – одна из самых важных технических доработок, которые обязательно проводить. Если адрес ссылки, ведущей на страницу сайта введен неправильно, важно чтобы посетителю сайта и поисковому роботу отдавалась страница с кодом 404 (несуществующая страница). Тогда в индекс поисковой системы не попадет большое количество страниц с одинаковым текстом, что крайне негативно влияет на ранжирование.


Идентификаторы сессий. Пользователям, впервые попавшим на сайт, присваивается уникальный идентификатор сессии. Адреса страниц сайта в этом случае имеют вид http://www.vashsite.ru/.?PHPSESSID=код_сессии. В результате одна и та же страница может иметь неограниченное количество адресов из-за различных кодов сессий (появляются т. н. дубли страниц). В базе поисковых систем уже сейчас находится множество страниц сайта с такими адресами, различающимися только набором символом после «PHPSESSID=». Наличие большого числа дублей страниц затрудняет индексацию корректных страниц, снижая тем самым эффективность поисковой оптимизации. Для устранения этого необходимо внести правки в программную часть таким образом, чтобы идентификаторы сессий не появлялись в URL страниц вообще, либо были не видны поисковым роботам.


Неинформативные страницы, страницы-дубли и зеркала сайта. В индексе поисковых систем может находиться большое количество страниц, имеющих одинаковое содержание, но разные адреса (страницы-дубли). Роботы поисковых систем считают такие страницы разными и индексируют их все, в результате поисковый индекс «замусоривается» большим количеством дублированного контента, что приводит к проблемам с индексацией сайта роботами поисковых системам.


Наличие дублей страниц в индексе поисковой машины является серьезным препятствием для корректного ранжирования страниц.


Другой проблемой является наличие в поисковом индексе служебных, пустых и иных неинформативных страниц сайта. Такие страницы также «засоряют» поисковый индекс и препятствуют корректному ранжированию страниц.


Для исключения всех страниц-дублей, других «мусорных» страниц из индекса поисковых систем следует создать в корневой директории сайта текстовый файл robots.txt и с помощью специальной директивы закрыть их от индексации. В корне каждого сайта-зеркала также необходимо создать файл robots.txt и закрыть его от индексации.


Кроссбраузерность – это способность сайта хорошо отображаться в разных браузерах (без перекосов, съездов, с правильной интерпретацией всех правил CSS). За основу берутся самые популярные браузеры – IE, Opera, Mozilla Firefox, Сафари, Хром. Сайт долженкорректно отображается во всех браузерах.


Регистрозависимые адреса страниц. Некоторые ссылки на страницы сайта могут иметь адреса, содержащие как строчные латинские буквы, так и заглавные (напр., http://www.vashsait.ru/sportAndHealth). При этом если попробовать ввести аналогичный адрес, но полностью в нижнем регистре (напр., http://www.vashsait.ru/sportandhealth), сайт может выдать совершенно другую страницу или ошибку.


Проблема заключается в том, что адреса ссылок в Интернете, как правило, записываются полностью в нижнем регистре. По мере того, как сайт будет набирать популярность и накапливать естественные внешние ссылки (например, люди будут рекомендовать сайт друзьям) – будет невозможно осуществить контроль за этим процессом. Таким образом, может получиться, что внешние ссылки ведут на несуществующие страницы, люди не будут получать информацию за которой пришли и посещаемость будет падать.


Нестандартные технические доработки сайта. В каждом конкретном случае, в зависимости от нюансов используемой CMS, работы хостинга и т.п. могут возникать дополнительные моменты, требующие внимания.

2.2 Оптимизация кода сайта


Оптимизация кода сайта — это процесс, основной направленностью которого является снижение объема кода отдаваемого поисковым роботам (при индексации) и посетителям (при загрузке страницы).


Поисковые роботы при сканировании сайта обращают внимание на отношение текста на странице к количеству внутреннего кода используемого на ней же. Это отношение четких значений не имеет.


Чем меньше блог использует кода, тем быстрее происходит загрузка его страниц (снижение нагрузки на сервер).


Поисковые системы определяют скорость загрузки ресурса, как один из важнейших факторов ранжирования. Так же это значительно осложнит задачу для потенциального взломщика т.к. когда нет информации о версиях плагинов, сложно искать в них уязвимости.


Есть три основных направления при оптимизации кода:


Файл СSS;

Кодировка;

Валидность.


CSS расшифровывается, как «каскадные таблицы стилей» (от англ. Cascading Style Sheets). Таблицы стилей предназначены для визуального оформления элементов веб-страницы. Как правило, CSS используется в связке с HTML, что является весьма эффективным «инструментом» при создании любого сайта.



CSS представляет собой совокупность параметров, с помощью которых отображается тот или иной элемент на веб-странице. Эти параметры могут указываться, как в отдельном файле (таблице стилей), так и быть прописаны непосредственно в HTML коде страницы. Например, на веб странице могут быть такие элементы: заголовок статьи, абзацы, цитаты, сноски, картинки, видео ролики, ссылки на другие страницы сайта и т.д. Всем этим элементам мы можем задать определенный стиль отображения — размер шрифта, цвет букв, толщину рамок и картинок, стиль ссылок и так далее.


Если вы используете файлы с расширение .css (стили при оформлении), которые подгружаются в самую последнюю очередь, то следует сделать их более мобильным, то есть применить сжатие. Например, размер строк после оптимизации coda можно уменьшить в 5 раз:


«padding — top: 4px; padding — bottom: 7px»

в

«4px 7px»


Валидность кода — это соответствие исходного кода сайта нормам и правилам, описанным Консоциумом Всемирной Паутины или сокращенно W3C. Чтобы проверить сайт на соответствие этим нормам нужно пройти по ссылке: http://validator.w3.org/. Ввести нужный адрес и посмотреть результаты.


Сервисов, которые осуществляют данную проверку много. Все они покажут какие ошибки присутствуют в коде, а так же укажут их местоположение. Не стоит пугаться, если их количество составит более 100 или 1000 штук, так как исправление одной может автоматически сократить их вдвое.


Кодировка базы данных. Все данные должны корректно отображаться и как следствие индексироваться поисковыми системами. Ниже представлена ошибка в кодировке сайта.



2.3 Отклики сервера


Каждый отклик сервера на команду клиента сопровождается трехзначным кодом. При отправке сообщения может возникнуть исключительная ситуация, при этом в тексте ошибки будет содержаться код последнего отклика SMTP-сервера. Далее приводится описание этих кодов.


Каждая цифра в коде ответа сервера имеет свое назначение. Первая цифра обозначает успех, неудачу или незавершенность команды. Вторая цифра уточняет тип ответа (например, ошибка почтовой системы или синтаксическая ошибка команды). Третья цифра служит для лучшей градации информации.


Ниже приведены пять значений первой цифры:


1yz – положительный предварительный отклик .Сервер воспринял команду, но находится в ожидании подтверждения на продолжение или отказ от выполнения запрошенных действий.

2yz – положительный отклик . Запрошенное действие было выполнено и сервер готов к принятию новой команды.

3yz – положительный промежуточный отклик. Сервер воспринял команду, но для завершения действия ожидает дальней информации.

4yz – временный негативный отклик. Команда не принята, и запрошенные действия не были исполнены. Однако ошибочное состояние временное, и действие может быть запрошено еще раз.

5yz – негативный отклик. Команда не принята, и запрошенные действия не были исполнены.


Вторая цифра показывает категорию ошибки:


x0z – Синтаксис: Отклик обозначает синтаксическую ошибку команды; команда может быть синтаксически правильная, но отклик нельзя отнести к другим категориям; нереализованная команда.

x1z – Информация: Отклик на запрос информации, например, статус или помощь.

x2z – Соединение: Отклики, относящиеся к каналу передачи данных.

x3z – Не определены

x4z – Не определены

x5z – Почтовая система:

Отклики указывают состояние принимающей почтовой системы в отношении запрошенной передачи или другого действия почтовой системы.


Третья цифра служит для лучшей градации значения в каждой категории, определяемой второй цифрой.


Полная таблица откликов:


Код

Название

Описание


Коды первого класса (1xx) не посылаются сервером клиентам.


100

Продолжайте

Клиент должен продолжать передачу запроса.


101

Переключение протоколов

Сервер предлагает изменить протокол на указанный в поле заголовка отклика Update. Обычно это предложение о переходе на более новую версию HTTP.


110

Отклик мог устареть

Отклик является устаревшим (используется в заголовке Warning).


111

Обновление не удалось

Отклик от кэша не является свежим, т. к. попытка обновить его закончилась неудачей (используется в заголовке Warning).


112

Разрыв соединения

Кэш был умышленно отсоединен от остальной сети на некоторое время (используется в заголовке Warning).


113

Эвристическое устаревание

Кэш эвристически выбрал период обновления, больший 24 часов, и возраст отклика более 24 часов (используется в заголовке Warning).


199

Различные предупреждения

Дополнительные предупреждения, не содержащиеся в данном списке (используется в заголовке Warning).


Коды второго класса (2xx) возникают, когда запрос успешно принят и понят сервером.


200

OK

Запрос был успешно обработан. Содержимое отклика зависит от типа запроса.


201

Создано

Запрос был успешно обработан и в результате был создан новый ресурс. Его URI указан в поле заголовка отклика Location.


202

Принято

Запрос был принят, и его обработка началась другим асинхронным процессом, поэтому сервер не сможет сообщить о ее завершении.


203

Неавторитетная информация

Возвращаемая метаинформация получена не от сервера ее происхождения, а из локальной копии.


204

Нет содержимого

Сервер выполнил запрос, но ему нечего возвращать клиенту. Обозреватель не должен изменять отображение документа.


205

Сброс содержимого

Сервер выполнил запрос, и обозреватель должен сбросить отображение документа.


206

Частичное содержимое

Сервер выполнил частичный запрос GET для ресурса.


214

Применено преобразование

Применено преобразование, изменившее кодировку или тип MIME отклика (используется в заголовке Warning).


299

Различные настойчивые предупреждения

Дополнительные предупреждения, не содержащиеся в данном списке (используется в заголовке Warning).


Коды третьего класса (3xx) сообщают о перенаправлениях; чтобы выполнить запрос нужны еще какие-то действия.


300

Несколько вариантов

Запрошенный ресурс имеет несколько представлений, и клиент должен выбрать одно из них.


301

Ресурс перенесен

Запрошенный ресурс сменил свой URI. Его новый URI указан в поле заголовка отклика Location.


302

Найдено

Запрошенный ресурс временно сменил свой URI.


303

Смотри другое

Отклик на данный запрос может быть найден под другим URI, указанным в поле заголовка отклика Location.


304

Не изменено

Клиент выполнил условный запрос GET, доступ разрешен, но документ не был изменен.


305

Используйте прокси

Загрузка...