Сплит-тестирование: порядок работы и отчетность — KINETICA
Блог №1 для директоров по performance-маркетингу
оптимизация конверсий

Сплит-тестирование: порядок работы и отчетность

5
 Прочитать позже
5 минут  |  время прочтения

Сплит-тестирование. Как устроена услуга?

Сплит-тестирование — это способ увеличить коэффициент конверсии в значимую цель: звонок, заявку или покупку, — за счет изменений различных элементов: контента, офферов, форм заявок, карточек товара.

Методология сплит-тестирования предполагает, что половина аудитории будет видеть сайт таким, какой он есть сейчас, а другая половина — с изменениями. С помощью системы Google Optimize мы проводим тестирование и система отслеживает, на какой версии сайта совершают больше целевых действий. Если побеждает версия с изменениями, которые мы придумали и внедрили, агентство получает вознаграждение. Его размер зависит от того, насколько сильно вырос коэффициент конверсии.

Если же наш вариант не повысил этот показатель — агентство не получает вознаграждения.

Сплит-тестирование это поиск решений для увеличения вероятности совершения заказа с текущей аудитории. Мы заранее не знаем будет гипотеза успешна или нет, обычно 4 из 5 гипотез удачные.

*Если нужная цель не настроена, мы ее настроим и сразу приступим к сплит-тестированию, так как технология позволяет не ждать сбора статистики.

Как считается размер прироста и происходит отчетность?

При прогнозах мы знаем только предыдущие показатели, но не знаем будущие. Поэтому прогноз строим на основе текущего коэффициента конверсии, а оплату считаем по фактическому результату.

Такой подход позволяет справедливо оценить вклад и результат работы агентства.

Приведем пример.

Допустим, сейчас средний коэффициент конверсии на сайте 1%. Мы планируем его увеличить до 1,3%. Согласно формуле это 30 пунктов прироста:

(1,3%/1%-1)*100%,

В ходе эксперимента трафик равномерно распределяется между исходной версией сайта и тестируемой — если в течение дня сайт посетили 1000 человек, то примерно 500 из них увидят исходную версию сайта, а 500 — вариацию.

Благодаря этому эксперимент остается чистым: если 500 посетителей, которые пришли на исходную версию, показали коэффициент конверсии в 1,1%, то и фактический прирост мы будем считать от этого уровня. Мы не влияем на исходную версию, и это значит, что рост обеспечен какой-то внешней причиной. Однако мы влияем на вариацию и, если в этих же условиях 500 посетителей вариации показали не 1,1%, а 1,2% — справедливо считать, что это результат тестирования.

Следовательно, коэффициент в тесте по факту вырос с 1,1% до 1,2%, а вознаграждение будет считаться как

(1,2%/1,1%-1)*100%= 9 пунктов прироста * N рублей за 1 пункт прироста.

Например, если для вашего проекта стоимость 1 пункта 2000 р., то с депозита спишем 9*2000=18 000 р. Стоимость 1 пункта определяется индивидуально и немного растет, потому что увеличивать конверсию с каждой итерацией сложнее.

Сплит-тестирование: порядок работы <nobr>и отчетность</nobr>

(Оценка фактического прироста происходит в Google Optimize)

На основании чего вы формируете идеи для тестов?

Три ключевых источника:

1. Конкуртентный анализ. Как конкуренты позиционируются, что выносят в УТП, какая логика мерчендайзинга товаров и пр.

2. Поведенческий анализ по тепловым картам и вебвизору. Как ведут себя люди на страницах, какая информация избыточна или не понятна, что мешает продвигаться по воронке.

3. Успешный опыт предыдущих тестов в других проектах. Какие правки дали кратный рост, что в аналогичных проектах отработало в плюс.

Что именно вы меняете на сайте в рамках сплит-теста?

Любые элементы, включая тексты, формы и цены. При этом остаемся в рамках дизайн-стандартов сайта.

Чем больше ограничений и запретов на изменения, тем нам сложнее анализировать и генерировать идеи и, как следствие, дороже пункт прироста. Об этом договариваемся до начала работы.

Вы согласовываете гипотезы, которые внедряете?

Не согласовываем, но уведомляем. Суть услуги в отсутствиии вязкости на согласованиях — нам нужно быстрее тестировать и внедрять успешные гипотезы. На брифинге и в договоре мы фиксируем то, что править нельзя, значит все остальное можно, поэтому в согласовании нет смысла.

Что будет, если тест покажет результат лучше планового?

Нужно будет доплатить.

Если депозит был рассчитан на 30 пунктов прироста по 2000 р. каждый, то есть 60 000 р. в сумме, а прирост составил 50 пунктов, вместо 30, нужно доплатить за 20 пунктов, то есть 40 000р. Это хорошая новость — заработали больше вы, и как следствие, мы. Но переплата не может быть больше, чем вдвое — если мы сделали прирост 100 пунктов, оплатить нужно будет только за 60.

Если тест покажет отрицательный результат, мы его завершаем и тестируем следующую гипотезу. Никаких списаний не происходит.

Сколько стоит 1 пункт прироста?

Индивидуально рассчитываем. Обычно в рамках 3000 - 7000 рублей за пункт прироста.

Сколько длится один тест?

Скорость зависит от количества конверсий в день и от масштаба изменений. Чем конверсий больше, тем быстрее проходят тесты и тем больше гипотез можно проверить за месяц.

Например, для проекта с 200 конверсиями в месяц мы за месяц проведем одно сплит-тестирование. Это минимальная планка для проектов, которые мы готовы взять в работу. Идеальный случай — 500 и больше конверсий в месяц.

Что происходит с успешными и неуспешными гипотезами?

Успешные гипотезы в момент тестирования реализованы только в системе Google Optimize. Чтобы внедрить их на сайт, мы формируем техническое задание. Ваши разработчики его реализуют, а мы проверим корректность реализации.

Неуспешные гипотезы просто отключаем в интерфейсе и дополнительно ничего делать не нужно.

Какую достоверность теста вы считаете достаточной для выводов?

Мы считаем, что 80% — достаточная вероятность опережения базовой модели, чтобы сделать выводы и закончить тестирование.

Вы можете проверить мою гипотезу?

Да, но в этом случае оплата будет не за прирост коэффициента конверсии, а за часы, которые мы потратили на реализацию и тест гипотезы (1 час - 2200р). Для этого нужно будет заключить отдельное доп. соглашение с отдельным депозитом. Минимальный депозит 50 000р.

Вернуться на страницу услуги

Был ли материал вам полезен?
Да
Нет
Спасибо
Отправляя форму, я принимаю пользовательское соглашение
Предложить статью
Мы ищем новых авторов, готовых писать честные и профессиональные статьи
Условия сотрудничества →
Прочитайте еще
Кейсы
Изменения карточки товара интернет-магазина Трофей
Которые увеличили доход на 400 000 рублей в месяц
просмотры3064
репосты 5
уровеньСпециалист
Кейсы
Сплит-тестирование лучшей скидки для интернет-магазина спецодежды
Которое принесло 3,2 млн. рублей дохода за период тестирования
просмотры2085
репосты 3
уровеньСпециалист
Кейсы
Неочевидный сплит-тест, который за месяц принес 700 000 рублей
Оптимизация конверсий интернет-магазина товаров для охоты, рыбалки и активного отдыха
просмотры2019
репосты 8
уровеньСпециалист
Разобраться в маркетинге
Тизеры и креативы: два подхода
к работе с графикой
в рекламных кампаниях
просмотры196 уровеньСпециалист