Кинетическая ракета
Москва, ул. Бауманская, 7+7 (495) 792-29-50
Барнаул, ул. Балтийская, 248 800 700-02-07
Оставить заявку
Нажимая на кнопку, вы соглашаетесь с условиями политики конфиденциальности
или напишите нам:

Как долго ждать результата A/B теста в имейл-рассылках

Недавно ребята из MailChimp рассказали про A/B тестирование в имейл-рассылках: они собрали базу в полмиллиона тестовых кампаний и выяснили, как долго ждать результата и за какими показателями следить. Делимся с вами переводом этого гайда.

Неважно, чем вы занимаетесь — продаете детские игрушки, организуете курсы китайского языка или ведете блог для маркетологов — A/B тестирование подскажет, как сделать рассылку привлекательнее. Идея тестирования проста: создайте две разные версии письма, отправьте их разным пользователям и смотрите, на какое отреагируют лучше. Чаще всего тестируют:

разные темы письма;
форму обращения к пользователю и подпись;
структуру самого письма;
• время отправления и день недели.

A/B тестирование увеличивает не только открываемость писем и переходы на сайт, но и прибыль в интернет-магазинах.

Определите метрики для теста

Прежде чем запустить рассылку в тестовом режиме, определите цели и желаемый результат от исследования. Обычно целевые метрики выбирают наугад — для большей точности воспользуйтесь нашим наработкам. Мы предлагаем три типичных ситуации, которые помогут выбрать цели A/B тестирования.

Нужно повысить трафик на сайте. Если у вас есть сайт или блог, на котором вы размещаете рекламу и тем самым зарабатываете, выбирайте в качестве ключевой метрики показатель переходов из письма.

Низкая вовлеченность читателя в рассылку. Если вы запускаете рассылку с рекламой или с полезной информацией, выбирайте показатель открываемости письма.

Продажи стоят на месте. Если вы рассказываете через имейл-рассылки о новых поступлениях или рекомендуете популярные товары, используйте выручку в качестве целевого показателя.

Определите свои цели заранее. От них зависит длительность тестирования — для каждой метрики она своя.

Как долго ждать результата A/B теста в имейл-рассылках

Оптимальное время ожидания в A/B тестах для разных целевых метрик

Не подменяйте одну метрику другой

Тестировать письма с целевым действием «купить» в десять раз дольше, чем с метриками перехода и открываемости. Поэтому часто пользователи торопятся и запускают тесты для других показателей — так проще и быстрее. Но это все равно, что подбрасывать монетку: может попадете в цель, а может и нет.

Высокая кликабельность писем не гарантирует повышение показателя выручки. В этом загвоздка и ошибка. Если хотите увеличить продажи, уделите чуть больше времени тестированию.

Запаситесь терпением

Для исследования мы собрали полмиллиона A/B тестов с базой подписчиков выше 5 000 и вывели оптимальное время ожидания для целевых метрик.

Например, для показателя открываемость идеальное время ожидания — два часа. Точность прогноза 83 %. Для 90 % точности нужно ждать 12 часов.

Как долго ждать результата A/B теста в имейл-рассылках

Для переходов по ссылкам время ожидания с точностью в 83 % — один час. Время ожидания более трех часов повышает точность до 90 %.

Как долго ждать результата A/B теста в имейл-рассылках

Тесты с выручкой отнимают больше всего времени. И это не удивительно: сначала пользователи открывают письмо, некоторые из них конвертируются в читателей или активных пользователей, а те в свою очередь — в покупателей. Поэтому ждать приходится 12 часов, чтобы достичь показателя точности 82 %. Для точности выше 90 % тестировать придется целые сутки.

Как долго ждать результата A/B теста в имейл-рассылках

Что учесть перед запуском A/B тестирования

1.

Выберите вариант письма на основе трех метрик 
Открываемость, кликабельность, доходность.

2.

Помните: ни одна из этих метрик не заменит другую 
Тестировать показатель доходности метрикой открываемости писем — все равно, что гадать: орел или решка?

3.

Будьте терпеливы
Чем больше времени вы потратите на тестирование, тем более точные результаты получите.

Каждый список пользователей уникален, поэтому экспериментируйте в своих A/B тестах с метриками и продолжительностью. Даже если у вас в базе меньше 5 000 пользователей — тестируйте. Полученные данные пригодятся в будущем: исследования на их основе дадут более точные показатели.

Как долго ждать результата A/B теста в имейл-рассылках

Brand / Icon / Simple / SimpleIcon@3x Created with Sketch.