Сплит-тестирование. Как устроена услуга?
Сплит-тестирование — это способ увеличить коэффициент конверсии в значимую цель: звонок, заявку или покупку, — за счет изменений различных элементов: контента, офферов, форм заявок, карточек товара.
Методология сплит-тестирования предполагает, что половина аудитории будет видеть сайт таким, какой он есть сейчас, а другая половина — с изменениями. С помощью системы Google Optimize мы проводим тестирование и система отслеживает, на какой версии сайта совершают больше целевых действий. Если побеждает версия с изменениями, которые мы придумали и внедрили, агентство получает вознаграждение. Его размер зависит от того, насколько сильно вырос коэффициент конверсии.
Если же наш вариант не повысил этот показатель — агентство не получает вознаграждения.
Сплит-тестирование это поиск решений для увеличения вероятности совершения заказа с текущей аудитории. Мы заранее не знаем будет гипотеза успешна или нет, обычно 4 из 5 гипотез удачные.
*Если нужная цель не настроена, мы ее настроим и сразу приступим к сплит-тестированию, так как технология позволяет не ждать сбора статистики.
Как считается размер прироста и происходит отчетность?
При прогнозах мы знаем только предыдущие показатели, но не знаем будущие. Поэтому прогноз строим на основе текущего коэффициента конверсии, а оплату считаем по фактическому результату.
Такой подход позволяет справедливо оценить вклад и результат работы агентства.
Приведем пример.
Допустим, сейчас средний коэффициент конверсии на сайте 1%. Мы планируем его увеличить до 1,3%. Согласно формуле это 30 пунктов прироста:
(1,3%/1%-1)*100%,
В ходе эксперимента трафик равномерно распределяется между исходной версией сайта и тестируемой — если в течение дня сайт посетили 1000 человек, то примерно 500 из них увидят исходную версию сайта, а 500 — вариацию.
Благодаря этому эксперимент остается чистым: если 500 посетителей, которые пришли на исходную версию, показали коэффициент конверсии в 1,1%, то и фактический прирост мы будем считать от этого уровня. Мы не влияем на исходную версию, и это значит, что рост обеспечен какой-то внешней причиной. Однако мы влияем на вариацию и, если в этих же условиях 500 посетителей вариации показали не 1,1%, а 1,2% — справедливо считать, что это результат тестирования.
Следовательно, коэффициент в тесте по факту вырос с 1,1% до 1,2%, а вознаграждение будет считаться как
(1,2%/1,1%-1)*100%= 9 пунктов прироста * N рублей за 1 пункт прироста.
Например, если для вашего проекта стоимость 1 пункта 2000 р., то с депозита спишем 9*2000=18 000 р. Стоимость 1 пункта определяется индивидуально и немного растет, потому что увеличивать конверсию с каждой итерацией сложнее.
На основании чего вы формируете идеи для тестов?
Три ключевых источника:
1. Конкурентный анализ. Как конкуренты позиционируются, что выносят в УТП, какая логика мерчендайзинга товаров и пр.
2. Поведенческий анализ по тепловым картам и вебвизору. Как ведут себя люди на страницах, какая информация избыточна или не понятна, что мешает продвигаться по воронке.
3. Успешный опыт предыдущих тестов в других проектах. Какие правки дали кратный рост, что в аналогичных проектах отработало в плюс.
Что именно вы меняете на сайте в рамках сплит-теста?
Любые элементы, включая тексты, формы и цены. При этом остаемся в рамках дизайн-стандартов сайта.
Чем больше ограничений и запретов на изменения, тем нам сложнее анализировать и генерировать идеи и, как следствие, дороже пункт прироста. Об этом договариваемся до начала работы.
Вы согласовываете гипотезы, которые внедряете?
Не согласовываем, но уведомляем. Суть услуги в отсутствиии вязкости на согласованиях — нам нужно быстрее тестировать и внедрять успешные гипотезы. На брифинге и в договоре мы фиксируем то, что править нельзя, значит все остальное можно, поэтому в согласовании нет смысла.
Что будет, если тест покажет результат лучше планового?
Нужно будет доплатить.
Если депозит был рассчитан на 30 пунктов прироста по 2000 р. каждый, то есть 60 000 р. в сумме, а прирост составил 50 пунктов, вместо 30, нужно доплатить за 20 пунктов, то есть 40 000р. Это хорошая новость — заработали больше вы, и как следствие, мы. Но переплата не может быть больше, чем вдвое — если мы сделали прирост 100 пунктов, оплатить нужно будет только за 60.
Если тест покажет отрицательный результат, мы его завершаем и тестируем следующую гипотезу. Никаких списаний не происходит.
Сколько стоит 1 пункт прироста?
Индивидуально рассчитываем. Обычно в рамках 10000 - 15000 рублей за пункт прироста.
Сколько длится один тест?
Скорость зависит от количества конверсий в день и от масштаба изменений. Чем конверсий больше, тем быстрее проходят тесты и тем больше гипотез можно проверить за месяц.
Например, для проекта с 500 конверсиями в месяц мы за месяц проведем одно сплит-тестирование. Это минимальная планка для проектов, которые мы готовы взять в работу. Идеальный случай — 1000 и больше конверсий в месяц.
Что происходит с успешными и неуспешными гипотезами?
Успешные гипотезы в момент тестирования реализованы только в системе Google Optimize. Чтобы внедрить их на сайт, мы формируем техническое задание. Ваши разработчики его реализуют, а мы проверим корректность реализации.
Неуспешные гипотезы просто отключаем в интерфейсе и дополнительно ничего делать не нужно.
Какую достоверность теста вы считаете достаточной для выводов?
Мы считаем, что 80% — достаточная вероятность опережения базовой модели, чтобы сделать выводы и закончить тестирование.
Вы можете проверить мою гипотезу?
Да, но в этом случае оплата будет не за прирост коэффициента конверсии, а за часы, которые мы потратили на реализацию и тест гипотезы (1 час - 2200р). Для этого нужно будет заключить отдельное доп. соглашение с отдельным депозитом. Минимальный депозит 50 000р.
Вернуться на страницу услуги
