Как увеличить CR:
гайд по сплит-тестированию

2. Из опросов и интервью

Еще один важный источник знаний — потенциальные и действующие клиенты. Они могут ответить, почему они купили или не купили товар, какие сложности возникли, что понравилось, а что нет.

Провести такой опрос можно несколькими способами:

1. Разместить форму или чат на сайте. Задавайте вопрос посетителю или дайте высказать свое мнение. Это поможет понять, как новые посетители относятся к вашему сайту, что им неудобно или непонятно.

2. Позвонить и задать вопросы людям, которые оставляли свои контакты.

3. Рассылка с опросом. Мы делали так для интернет-магазина Восток-Сервис. Отправили по базе письма с опросом, что можем улучшить и чего не хватает клиентам. 

3. Анализ ЦА и конкурентов

Чтобы получить новые идеи развития, мы проводим конкурентный анализ: ищем интересные механики, изучаем, чем похожи на конкурентов и чем отличаются предложения, узнаем, что можно вынести как УТП.

Кроме того, мы анализируем ЦА и понимаем, какие этапы во время выбора проходят клиенты, какой контент изучают, какие вопросы задают, что для них является основной ценностью в товаре или услуге. С помощью этих знаний мы можем сформировать оффер и описание, которые будут эти потребности и вопросы закрывать.

Анализ ЦА для нашего клиента

Как проверить гипотезу

Если сразу внедрить изменения, есть риск неверно интерпретировать данные.

Скажем, изменили ключевое сообщение на сайте и по прошествии месяца оценили результат. По отношению к предыдущему месяцу коэффициент конверсии вырос в 2 раза. Означает ли это, что новый текст точно лучше старого?

К сожалению, нет. Однозначно так сказать нельзя, потому что причин такого улучшения может быть много. Например, специалист по рекламе запустил новое объявление, более удачное, чем предыдущее. Либо сам товар или услуга сезонная, а этот месяц — пик сезона.

Чтобы избежать влияния внешних факторов и однозначно оценить изменения, нужно воспользоваться сплит-тестированием.

Это операция, при которой посетители сайта случайным образом делятся на группы и видят разные версии сайта.

Сплит-тест работает так: посетители видят разную версию сайта, в зависимости от того, в какую группу они попали

При таком подходе не важно, откуда приходит трафик, как сезонность влияет на спрос и какие изменения происходят с рекламными кампаниями и объявлениями. В таком случае мы оцениваем коэффициент конверсии не в абсолютных значениях, а в относительных: положительным результатом будет изменение коэффициента конверсии в тестовом варианте относительно базового.

Коэффициент конверсии считается так:

(CR теста / CR до сплита — 1) * 100%

Возьмем пример выше. И посчитаем:

1% — CR основной версии

1,2% — CR тестовой версии

(1,2/1-1)*100=20% — коэффициент увеличился на 20%

Еще пример:

0,79% — CR основной версии

0,85% — CR тестовой версии

(0,85/0,79-1)*100=8% — коэффициент увеличился на 8%

Один из наших проектов, статистическая достоверность теста — 98%.

Но при проведении сплит-теста нужно соблюдать основы статистики. Важно добирать статистическую значимость, чтобы не получить ложноположительный результат. Статистическая значимость показывает, какова вероятность того, что полученный результат — неслучайное стечение обстоятельств. В хрестоматийной статистике установили планку значимости в 95%. Это значит, что есть только 5-процентная вероятность, что результат будет ошибкой.

Какие нюансы учесть Тестируем только одну цель Нужно сразу решить, что станет основным показателем при принятии решения, успешна была кампания или нет. Чаще всего таким показателем является макроконверсия — покупка или отправка заявки. Но это может быть и микроконверсия — добавление в корзину или подписка на рассылку. Ждем достаточно времени Очень важно собрать статистическую значимость теста. Допустим, мы запустили тест и в базовой версии получили одну конверсию, а в тестовой — две. Означает ли это, что тестовая версия в два раза лучше? Вряд ли. Слишком мало конверсий для оценки результата. Чтобы понять, сколько нужно накопить данных, можно воспользоваться калькулятором.

Как выбрать гипотезу

В процессе формирования гипотез мы заполняем тайм-план, в котором описываем, сколько времени нужно на реализацию.

Важно в первую очередь брать в работу гипотезы, которые требуют меньше времени на внедрение и при этом имеют лучший КПД.

Для простоты вы можете для каждой гипотезы сделать четыре колонки: сама гипотеза, время на внедрение, прогнозная эффективность (например, в баллах от 1 до 10) и перемноженные две колонки.

Пример таблицы с экономикой разных гипотез и правок

Например, переписать текст значительно быстрее и в этом смысле приоритетнее, чем переделывать логику выдачи блока «С этим товаром покупают». Возможно, гипотеза не подтвердится и затраченное время будет бесполезно потрачено, а такой подход позволяет сократить риски.

Также важно оценивать экономику гипотезы. Увеличить коэффициент конверсии в рассылку, скорее всего, менее важно, чем в покупку.

Еще одна деталь, которую важно учитывать при выборе гипотезы — запланированные изменения сайта. Если вы подготовили изменение дизайна карточки товара и запланировали его релиз, нельзя, чтобы это произошло в процессе тестирования. Иначе результаты будут необъективными. Также это может привести к ошибкам, при которых некоторые элементы на странице некорректно изменятся или пропадут вовсе.

Совокупность этих факторов дает итоговую оценку для решения, в какой сегмент распределить гипотезу — запустить в первую очередь или отложить «на потом».

Так работает сплит-тестирование: это непрерывный и цикличный процесс

Какими инструментами мы пользуемся

Мы пользуемся Google Optimize в связке с GTM. Плюсы и минусы этого подхода:

Плюсы

+ бесплатный сервис;

+ можно отслеживать результаты в Гугл Аналитикс;

+ автоматическое определение показателей достоверности;

+ не нужно лезть в код сайта для внедрения гипотез.

Минусы

— возможное мерцание экрана;

— простая логика распределения аудитории: нельзя задать сложную настройку;

— работа только с фронтендом.

Таким образом проводится большая часть сплит-тестирований, например, тестирование лучшего УТП или скидки, изменение информации в карточке товара или call-to-action.

Еще можно использовать серверное распределение:

Плюсы

+ реализация сложной логики распределения;

+ возможность тестировать что-то на бэкенде;

+ реализация не на коленке.

Минусы

— надо лезть в чужой код;

— сложнее запустить сплит, чем в варианте выше.

Например, так тестируют триггерные письма: отправляют две разные версии письма о забытой корзине.

Гипотезы, которые тестировали мы

Вот некоторые из сплит-тестов, которые мы проводили:

Изменили карточки товара интернет-магазина Трофей

Что проверяли

Данные для гипотезы взяли в Гугл Аналитикс: по воронке в электронной торговле видно, что самый большой отвал посетителей происходит на этапе добавления в корзину. Только 4% людей, которые посмотрели карточку товара, добавляли его:

Что сделали

Изменили карточку товара: наиболее важные элементы разместили на первом экране и в постоянной доступности, а неважные отправили на второй план.

Было

Стало

Что получилось

Тестируемая версия сайта за первый месяц принесла на 220 000 ₽ больше дохода, чем основная. В этом случае клиент заплатил 36 000 ₽ по факту за успешное тестирование и в первый месяц дополнительно заработал 220 000 ₽ на 50% трафика. После внедрения на основную версию эти изменения стали приносить 400 000 ₽, а в год принесут дополнительно 4,8 млн рублей.

Подробнее в статье

Сплит-тестирование скидки для интернет-магазина спецодежды Восток-Сервис

Что проверяли

Обычно для рекламных кампаний интернет-магазина спецодежды «Восток-Сервис» использовали промокод со скидкой 10%. Для теста мы взяли следующие варианты:

— без скидки (базовая модель),

— скидка 3%,

— скидка 5%,

— скидка 7%,

— скидка 10%.

Проверяли, какая скидка принесет больше прибыли.

Что сделали

Добавили разные скидки на товары:

Для авторизированных

Для неавторизированных

Что получилось

Скидка в 10% показала лучший результат по количеству транзакций. Между другими скидками разница несущественная. При этом любой промокод показал результат выше, чем предложение без скидки.

На уровне дохода результат оказался менее очевидным: самой прибыльной стала скидка 5%. Процент фактических выкупов у каждого оффера одинаковый.

Подробнее в статье

Сводная таблица результатов сплит-теста

Убрали фильтр. Сплит-тест принес 700 000 ₽

Что проверяли

Фильтры в текущей версии каталога неудобны и усложняют выбор товара, гипотезу вывели, изучив статистику в Гугл Аналитикс.

Что сделали

Изменили фильтр и поиск в каталоге:

Было

Стало

Что получилось

1. Тестируемая версия сайта за месяц принесла на 400 000 ₽ дохода больше, чем основная.

2. CR в покупку увеличился на 29%.

Так как на этапе сплит-тестирования на новую версию сайта идет только 50% трафика, при внедрении изменений на всех посетителей, результаты тестирования также увеличиваются. В этом случае рост ежемесячного дохода будет уже не 400 000 ₽, а 700 000–800 000 ₽.

Подробнее в статье

Как мы делаем сплит-тест для клиентов

Мы разделяем услугу оптимизации коэффициента конверсий на 2 тарифа:

Совместная работа по генерации

Как платить: по затраченным часам без привязки к результату.

Что делаем: ищем потери и точки роста, составляем план работ и совместно с клиентом формируем гипотезы. Внедряем код подмены. Снимаем результат и формируем отчет.

Всё делаем сами

Как платить: платите, только если коэффициент конверсии вырос.

Что делаем: узнаем, что нельзя менять на административном уровне: фирменные цвета, цены на товары и другое. Сами формируем гипотезы, внедряем ее и формируем отчет по итогам работы.