A/B тестирование, как способ поднять конверсию траффика.

A/B тестирование для веб-сайтов — это метод исследования, при котором пользователям показываются страницы с разным расположением элементов или разным текстом. Это делается для того, чтобы узнать, какой вариант страницы лучше всего конвертирует траффик в действия. В методе A/B используется всего два варианта, отсюда и его название. Более сложным является Multivariate (MVT) testing, при котором используется несколько разных вариантов.

Главным недостатком таких экспериментов является необходимость иметь такое количество посетителей, при котором будет возможно определить разницу между вариантами с минимальной погрешностью. Определить это количество довольно несложно, следует только провести тест, при котором оба варианты страницы идентичны. Как только показатели по конверту приблизятся друг к другу максимально близко, а так оно и будет, можно останавливать счетчик.

Для проведения эксперимента следует решить еще две задачи. Первая, техническая — это выбрать, по какому принципу сохранять вариант страницы, показанный пользователю — по куки, по айпи или по сессии. В идеале, надо избежать показа одному и тому же пользователю разные варианты страниц. Вторая задача — это метод деления траффика. Для маленьких изменений, обычно используются ратио 50 на 50, оно позволяет получить ответ на вопрос максимально быстро. Для рискованных же экспериментов ратио выбирают как 80 к 20 или даже 90 к 10, а затем, если результат не провален, потихоньку двигают его в сторону равновесия. Для узких экспериментов можно использовать фильтрацию, например, проводить эксперимент только для траффика с поисковых систем, чтобы узнать, какой вариант страницы лучше для такого типа траффика.

О технической стороне вопроса я говорить не хочу, потому что ля проведения эксперимента можно использовать как простой PHP скрипт, который в состоянии написать любой программист, так и дорогостоящий софт, все зависит от объемов.

Несмотря на кажущуюся простоту провести A/B тестирование довольно сложно, проблемы можно разделить на две группы: неправильно проведенный эксперимент и неправильные выводы.

Типичной ошибкой является сравнение двух версий страниц, между которыми не одно, а несколько различий. В случае, если одна из них будет иметь лучшие показатели, станет невозможно сразу сказать, за счет чего они появились. Поэтому рекомендуется делать каждый тест отдельно, выбирая в результате лучший вариант страницы и внося в него очередные изменения.

А/B тест используется для ответа на конкретный вопрос. Зачастую, его проводят для того, чтобы сначала найти какую-нибудь разницу между результами вариантов страниц, а затем уже думать, как использовать полученную информацию.

Еще одной популярной ошибкой являются краткосрочные тесты, при которых один вариант страницы выстреливает по всем показателям. Очень часто выбор этого вариант — ошибка, из-за того, что через эксперимент не прошло достаточное количество траффика. Иногда вариант, который сначала выигрывает, затем оказывается хуже по показателям.

Неправильные результаты также могут дать всплески траффика и его неоднородность, например, в случае покупки рекламы на короткий период или публикации статьи о вашем сайте в каком-либо блоге, появившийся трафик может спутать показания.

Если тест проведен верно, то главное не допустить ошибок в выводах. Чаще всего встречается заблуждение, что в плохих показателях страницы виноват какой-то элемент или фраза в тексте, путем многочисленных изменений показатели сильно улучшить не получается, но причина этого обычно лежит не в самой странице, а в нерелевантном траффике. Это заблуждение, впрочем, не мешает улучшения страницы.

Мешает же повышению эффективности заблуждение в том, что маленький рост каких-либо показателей является случайным. Обычно рост продаж даже на 1-2% является следствием внесенных исправлений. В случаях, если есть подозрение, что какой-то показатель вырос случайно — рекомендую продлить период теста, если изменений не будет, значит вы все-таки увеличили эффективность страницы.

Любой полученный вывод должен основываться на цифрах. Всегда можно сказать о росте продаж, о росте подписок на рассылку или об увеличении количества звонков, но измерить доверие к сайту или другой абстрактный показатель и его изменение в результате теста невозможно.

Кроме того не стоит строить выводов о поведении пользователей на сайте, потому что тест затрагивает только расположение элементов. Можно делать предположения о том, почему пользователи начинают вести себя по-другому, но их состоятельность все равно надо будет доказать потом.

И в заключение, хочу отметить еще один момент. Когда сайт только начинает существовать или показатели сайта неудовлетворительны, то трудно понять, с чего именно начинать изменения в структуре страницы. В таком случае лучшим способом является создание несколько кардинально отличающихся друг от друга макетов, лучший из них следует сделать своим основным полигоном для изменений. Стоит отметить, что именно кардинальные изменения могут внести перелом в плохие показатели страницы.

Кстати, недавно ОЗОН был пойман на тестировании A/B подписей к дополнительным товарам на странице