Как долго ждать результата A/B теста в имейл-рассылках — KINETICA
Разработка performance-стратегии продвижения — полное руководствоскачайте бесплатно

Как долго ждать результата A/B теста в имейл-рассылках

На примере 500 000 кампаний от MailChimp
5
3 минуты  |  время прочтения

Недавно ребята из MailChimp рассказали про A/B тестирование в имейл-рассылках: они собрали базу в полмиллиона тестовых кампаний и выяснили, как долго ждать результата и за какими показателями следить. Делимся с вами переводом этого гайда.

Неважно, чем вы занимаетесь — продаете детские игрушки, организуете курсы китайского языка или ведете блог для маркетологов — A/B тестирование подскажет, как сделать рассылку привлекательнее. Идея тестирования проста: создайте две разные версии письма, отправьте их разным пользователям и смотрите, на какое отреагируют лучше. Чаще всего тестируют:

разные темы письма;
форму обращения к пользователю и подпись;
структуру самого письма;
• время отправления и день недели.

A/B тестирование увеличивает не только открываемость писем и переходы на сайт, но и прибыль в интернет-магазинах.

Определите метрики для теста

Прежде чем запустить рассылку в тестовом режиме, определите цели и желаемый результат от исследования. Обычно целевые метрики выбирают наугад — для большей точности воспользуйтесь нашим наработкам. Мы предлагаем три типичных ситуации, которые помогут выбрать цели A/B тестирования.

Нужно повысить трафик на сайте. Если у вас есть сайт или блог, на котором вы размещаете рекламу и тем самым зарабатываете, выбирайте в качестве ключевой метрики показатель переходов из письма.

Низкая вовлеченность читателя в рассылку. Если вы запускаете рассылку с рекламой или с полезной информацией, выбирайте показатель открываемости письма.

Продажи стоят на месте. Если вы рассказываете через имейл-рассылки о новых поступлениях или рекомендуете популярные товары, используйте выручку в качестве целевого показателя.

Определите свои цели заранее. От них зависит длительность тестирования — для каждой метрики она своя.

Как долго ждать результата A/B теста в имейл-рассылках

Оптимальное время ожидания в A/B тестах для разных целевых метрик

Не подменяйте одну метрику другой

Тестировать письма с целевым действием «купить» в десять раз дольше, чем с метриками перехода и открываемости. Поэтому часто пользователи торопятся и запускают тесты для других показателей — так проще и быстрее. Но это все равно, что подбрасывать монетку: может попадете в цель, а может и нет.

Высокая кликабельность писем не гарантирует повышение показателя выручки. В этом загвоздка и ошибка. Если хотите увеличить продажи, уделите чуть больше времени тестированию.

Запаситесь терпением

Для исследования мы собрали полмиллиона A/B тестов с базой подписчиков выше 5 000 и вывели оптимальное время ожидания для целевых метрик.

Например, для показателя открываемость идеальное время ожидания — два часа. Точность прогноза 83 %. Для 90 % точности нужно ждать 12 часов.

Как долго ждать результата A/B теста в имейл-рассылках

Для переходов по ссылкам время ожидания с точностью в 83 % — один час. Время ожидания более трех часов повышает точность до 90 %.

Как долго ждать результата A/B теста в имейл-рассылках

Тесты с выручкой отнимают больше всего времени. И это не удивительно: сначала пользователи открывают письмо, некоторые из них конвертируются в читателей или активных пользователей, а те в свою очередь — в покупателей. Поэтому ждать приходится 12 часов, чтобы достичь показателя точности 82 %. Для точности выше 90 % тестировать придется целые сутки.

Как долго ждать результата A/B теста в имейл-рассылках

Что учесть перед запуском A/B тестирования

1.

Выберите вариант письма на основе трех метрик 
Открываемость, кликабельность, доходность.

2.

Помните: ни одна из этих метрик не заменит другую 
Тестировать показатель доходности метрикой открываемости писем — все равно, что гадать: орел или решка?

3.

Будьте терпеливы
Чем больше времени вы потратите на тестирование, тем более точные результаты получите.

Каждый список пользователей уникален, поэтому экспериментируйте в своих A/B тестах с метриками и продолжительностью. Даже если у вас в базе меньше 5 000 пользователей — тестируйте. Полученные данные пригодятся в будущем: исследования на их основе дадут более точные показатели.

Был ли материал вам полезен?
Да
Нет
Спасибо
Выскажитесь
Отправляя форму, я принимаю пользовательское соглашение
Предложить статью
Мы ищем новых авторов, готовых писать честные и профессиональные статьи
Условия сотрудничества →
Прочитайте еще
Запускаем новый проект ecommerce-ритейлера. С чего начать анализ, если данных не так много?
просмотры4215
репосты 27
Спецпроект
просмотры21720
репосты 81
Руководство по разработке стратегии продвижения
Руководство по разработке стратегии продвижения
Привлечь больше лидов
Десять «скрытых жемчужин» Google Analytics
Авинаш Кошик делится полезными инструментами
просмотры26232
репосты 11
Разобраться в маркетинге
Гид по Google Tag Manager. Часть 2
Что такое слои данных, зачем они нужны и как ими пользоваться
просмотры19146
репосты 40