Все лгут: как не дать A/B-тестам вас обмануть и сделать эффективную рассылку

В email-маркетинге мы постоянно тестируем разные гипотезы. Цифры — наша опора. Они помогают понять предпочтения аудитории и повысить Open и Click Rate.

Но цифры — это не все. Даже математические данные тестов могут направить по ложному пути, если провести проверку неправильно. И ошибиться легко.

Смотрите сами — вы делаете две версии письма, рассылаете по разным группам подписчиков и ждете результат. Вариант с лучшими показателями отправляете по всей базе. 

Но если вы не учли размер выборки или поменяли слишком много элементов в письме, есть риск получить недостоверный результат. Вы будете думать, что сделали идеальную рассылку, ведь это подтверждено цифрами. А пользователи — раздражаться и отправлять вас в спам. 

В статье расскажем, как этого избежать и получить достоверные результаты тестирования. Внутри найдете бонус — удобный шаблон для реестра гипотез, чтобы не запутаться в результатах. 

При любом тестировании важно учитывать статистическую значимость, ее обозначает показатель p-value. Она означает вероятность того, что выборка соответствует всей аудитории, а результаты теста не получились случайно. Обычно необходимым значением p-value считается 95%, а очень хорошим — 99%.

Рассмотрим на примере. Представьте, что у вас есть база на 4000 пользователей. Вы решили протестировать две версии тем — с эмоджи и без. 

Первое письмо открыли 265 человек, второе — 250. Технически победа присуждается первому варианту. Но любой калькулятор статистической значимости покажет, что достоверность такой проверки около 70%. Для нас это слишком высокий риск ошибиться. 

Обычно перед запуском тестов на любом проекте мы рассчитываем размер выборки на своём онлайн-калькуляторе, но вы можете использовать сервисы типа Mindbox. Вбиваем средний показатель, ожидаемый прирост, достоверность не ниже 95% и получаем необходимое количество пользователей для проверки. 

Так у нас получается не только проверить, достаточно ли у нас аудитории для анализа, но и при большей базе подписчиков выставить ограничение и уйти на A/B/C-тестирование.

А что делать тем, у кого в базе нет столько подписчиков? Тоже проверять, но более широкие концепции. Плюс с маленькой выборкой тестирование нужно проводить несколько раз. 

Понятно, что вы не будете постоянно рассылать письмо с одной и той же темой. Но можно отправить несколько писем с темами, похожими по оформлению или структуре. Например, с указанием дедлайна акции или без него. Через несколько рассылок вы поймете, какие письма больше нравятся аудитории.

Я рекомендую начинать тестирование с показателей, которые влияют на Open Rate. Ведь если письмо не откроют, все остальное бессмысленно. В первую очередь стоит определить: 

К примеру — нужно определить подходящий день для рассылки. На проекте федеральной сети товаров для творчества мы проводили такое тестирование. С одной стороны, в субботу и воскресенье люди отдыхают и в целом меньше открывают письма. С другой — хобби занимаются как раз в выходные, а значит, можно своевременно предложить нужный товар. 

Сверстали письмо и разослали его одной группе подписчиков в понедельник, другой — к выходным. 

Разница между вариантами оказалась незначительной. Но при высокой достоверности — а у нас она была 99% — признаем ее значимой. А значит, делаем рассылку с понедельника по четверг, чтобы получить бОльший Open Rate. 

Когда определились с базой, можно переходить к тестам, которые влияют на Click Rate, вот что мы пробуем:

Измеряем ключевые метрики, например, Open Rate, Click Rate, показатель отписок и жалоб, а также конверсии в покупку, подписку или LTV.

На проверку одной гипотезы уходит в среднем два-три дня. Но что делать, если сроки горят? Есть один лайфхак. Сейчас расскажу. 

Чтобы добиться серьезного улучшения показателей, одного теста не хватит. Для каждого клиента мы проводим от 5 до 20 проверок. На это нужно время, в  среднем от 10 дней до полутора месяцев на проекте.

Но бывает, что времени на раскачку нет. Тогда быстро запуститься поможет архив проведенных тестов. Мы бережно храним данные по каждому проекту. 

Работаем в спредшите. В него вносим:

Этот формат мы опробовали на десятках клиентов. Информация обо всех проектах хранится в одной папке. Каждый специалист имеет к ней доступ и может посмотреть результаты тестов в похожих компаниях. 

Реестр много раз выручал в условиях дедлайна. Вот ссылка на шаблон.

Бороться за внимание подписчиков всё сложнее. Каждый день люди получают десятки писем и открывают только те, которые соответствуют их вкусам.

Разобраться в предпочтениях  помогают A/B-тесты. И чтобы не ошибиться в процессе: 

Если хотите, чтобы мы помогли правильно провести тесты и сделать рассылку эффективнее, приходите на email-аудит. Проанализируем эффективность прошлых писем и определим точки роста для привлечения новых лидов.