Ключевые цифры

Тестирование в цифровом мире

Мы вкратце продемонстрировали принципы тестирования на примере компании IBM. Однако подход «от анализа к действию» может применяться повсюду, особенно в цифровых каналах, где возможности для тестирования кажутся почти безграничными. Приведу пример. Мы пытались улучшить домашнюю страницу интернет-магазина Kodak при помощи нескольких тестов. Ниже вы увидите первоначальный вариант страницы, который мы хотели оптимизировать. Однако сотрудники Kodak не видели никакой проблемы, а просто хотели знать, можно ли слегка улучшить внешний вид.

Для оценки мы создали шесть различных страниц. Иными словами, испытания класса A и B превратились в испытания A, B, C, D, E, F. Приведенный ниже вариант оказался лучше остальных и привел к 11,3 % роста дохода – всего лишь за счет изменения расположения элементов.

У этого подхода был весомый недостаток. Мы знали, какой из вариантов страницы показал наилучшие результаты, но никак не могли выделить тот отдельный элемент, который отвечал за различие в результатах. Чуть позже я покажу вам несколько методов, помогающих в точности выявить, что вызывает различия. Однако перед этим позвольте мне сказать одну важную вещь.

Тестирование позволяет исключить субъективизм и мнения отдельных людей в процессе принятия решений. Вам может нравиться один дизайн страницы Kodak, а мне – другой, однако лишь тестирование скажет, кто из нас прав. Вместо того чтобы обсуждать различные версии, основываясь на собственном вкусе, опыте или аналогиях, мы можем просто попробовать их все и позволить аналитике нас рассудить и сказать, что работает лучше. Конец дискуссии.

Надеюсь, к этому моменту вы уже поняли всю силу оптимизации, но если вам нужны дополнительные аргументы, я приведу еще один пример. Победа Барака Обамы на президентских выборах 2008 года отчасти была связана с умным применением наших маленьких цифр. Ниже вы можете увидеть две версии домашней страницы сайта Obama.com, запущенного во время избирательной кампании.

Слева приведен первоначальный вариант домашней страницы. Будущий президент посетил штаб-квартиру компании Google в 2007 году, когда в ней еще работал Дэн Сирокер. Дэн был настолько вдохновлен разговором с Обамой, что оставил Google, уехал в Чикаго и там присоединился к его команде. Поначалу у него не было своего угла, поэтому он ночевал на полу в квартире своего друга. Однако это не помешало ему со временем организовать команду аналитиков, работавших с новыми видами медиа для избирательной кампании. В итоге Обама смог собрать 656 миллионов долларов, из которых около 500 миллионов пришло через интернет-каналы, в основном через сайт Obama.com.

Позвольте мне рассказать, как это происходило. Дэн и его команда использовали некоторые из методов, описанных мной в этой главе, для изменения домашней страницы (слева приведен исходный вариант, справа – итоговый). В сущности, произошло всего два изменения. Дэн поменял фотографию и текст на кнопке (было – sign up «Зарегистрируйтесь», стало – learn more «Узнайте больше»). Как показано в приведенной ниже таблице, эти простые коррективы полностью изменили ситуацию.

Страница справа оказалась лучше изначальной на 40 %. Это привело к привлечению 288 тысяч добровольных помощников и к 57 миллионам долларов дополнительного финансирования (примерно на 25 % выше суммы, собранной противником Обамы Джоном Маккейном).

Дэн Сирокер не ограничился ни тестированием класса A и B, ни даже A, B, C, D, E, F. Он использовал многовариантное тестирование, ставшее куда более мощным инструментом именно в цифровую эпоху, позволяющую автоматизировать массу аналитических процессов. Впервые я познакомился с многовариантным тестированием в 2002 году.

К тому времени в Ogilvy я руководил деятельностью международной аналитической группы, и часть моей работы состояла в организации ежегодных конференций, на которых аналитики со всего мира обсуждали лучшие примеры и размышляли над тем, в какую сторону будет развиваться их практическая деятельность. Во время моей работы в Лондоне доллар был довольно слаб, и мы решили провести конференцию в Майами. Мне никогда прежде не доводилось бывать в этом городе, и я не ждал от него ничего особенного. Репутация Флориды у жителей Европы довольно невысока, однако я был приятно удивлен. Город наполнен приятной эмоциональной вибрацией, а в центре можно увидеть целый ряд потрясающих зданий в стиле ар-деко. Я вел конференцию вместе с Найджелом Хоулеттом, настоящим ветераном мира прямого маркетинга и работы с базами данных. Найджел – настоящий британский джентльмен и феноменальный пловец (о чем я узнал на собственном печальном опыте). Он умудрился выиграть у меня 50 долларов, поспорив, что сможет двадцать пять раз проплыть стометровку в знаменитом бассейне отеля «Националь» (пари было заключено после нескольких коктейлей в баре). Я до сих пор отлично помню, как он залез в бассейн, а затем начал проплывать одну стометровку за другой. Мне показалось, что за этим занятием он провел пару часов!

Помимо умения заключать заведомо выигрышные пари Найджел отлично чует, какие компании или новые технологии будут особенно интересны в будущем. Он пригласил на конференцию австралийскую компанию Memetrics, и та продемонстрировала технологию своего автоматизированного многовариантного теста. Особенно сильно нас поразил пример работы на eBay.

Сотрудники eBay попросили Memetrics оптимизировать свой сайт с помощью перспективной технологии. Ниже вы увидите пример страницы.

На первом этапе работы Memetrics выявила шесть контентных зон, которые требовали тестирования.

Второй этап заключался в развитии различных версий для каждого блока контента. Memetrics создала по четыре варианта для таких блоков, как список категорий, верхнее, левое и правое поля с контентом.

Если попытаться совместить все варианты, то вы получите 4096 возможных комбинаций (то есть 4096 немного различающихся между собой веб-страниц). Memetrics разработала технологию, которая позволяла демонстрировать пользователям в ходе тестирования все варианты страницы, а затем оценивать, какой именно из них показал наилучшие результаты.

После пары недель компания смогла выбрать выигрышную комбинацию и измерить ее показатели. Ниже вы можете увидеть изначальный и оптимизированный варианты страницы. Самая выигрышная комбинация позволила увеличить в десятки раз долю конверсии, то есть количество посетителей, заходивших на сайт и что-то там купивших (а не просто блуждавших по нему). Доля конверсии рассчитывалась как частное от деления количества покупателей на общее количество посетителей (то есть и тех, кто ничего не купил).

Как мы отреагировали на этот рассказ? Нам показалось, что нас накачали стероидами, и мы захотели немедленно применить многовариантное тестирование на практике. В мире традиционной почтовой рекламы аналитику пришлось бы вручную создавать тест и проводить все коррективы. Было очевидно, что ни один аналитик не в состоянии справиться с подобным количеством комбинаций. Memetrics автоматизировала весь процесс, а благодаря огромным объемам данных, получаемых в ходе тестирования, возможности аналитиков расширились до невероятных пределов. Позднее Memetrics была куплена консультационной компанией Accenture.

Мы начали использовать технологию многовариантного тестирования при работе со своими клиентами, и это оказалось крайне успешным. Об одном таком клиенте – TD Ameritrade – я расскажу чуть позже. В наши дни с этой технологией работает множество подрядчиков в области веб-аналитики, и многовариантное тестирование становится все более общепринятой практикой. Несколько лет назад Google вывела на рынок свою версию программы под названием Google Site Optimizer (GSO), причем стоит отметить, что она совершенно бесплатна для пользователей. Поэтому теперь у вас нет никаких оправданий, чтобы не проводить на своем сайте тестирование, причем даже довольно сложное.

GSO показывает результаты тестирования в режиме реального времени. Ниже вы можете увидеть снимок эксперимента GSO с сайтом Обамы.

В первой колонке можно увидеть все различные комбинации, подвергающиеся тестированию. Небольшой график показывает в режиме реального времени, какая комбинация показывает наилучшие результаты. Смотреть на него так же увлекательно, как наблюдать за ходом лошадиных бегов. Я несколько раз ловил себя на том, что вместо работы сижу, уставившись в экран, – ничего не мог с собой поделать, слишком это было притягательно.

Во второй таблице вы можете увидеть, какие именно элементы теста определили его успех. Как вы можете заметить, кнопки «Узнать больше» и фотография семьи сыграли в данном случае самую важную роль.