Зачем нужны A/B-тесты в рассылке?

Для каждого вида массовой рассылки можно выполнить A/B-тестирование. То есть создать разные варианты сообщения и проверить, какой из них даст наилучшие результаты. Например, можно оценить, как разные сообщения влияют на размер чека или на количество чеков в среднем на клиента.

По умолчанию в массовой рассылке всем клиентам отправляется один вариант сообщения. Функциональность A/B-тест позволяет отправить от 2 до 5 разных вариантов сообщения в рамках одной рассылки.

В разных вариантах сообщения можно менять:

• Текст сообщения;
• Отправителя;
• Тему письма (для email-рассылок);
• Прилагаемые файлы (для email-рассылок).

Создание A/B-теста в массовой рассылке

Чтобы добавить новый вариант сообщения в рассылке, перейдите в блок A/B-тест на странице создания рассылки. Этот блок находится между блоками Найти всех, кто и Рассылка.

Нажмите Добавить вариант.

Для каждого варианта сообщения можно задать, какой процент клиентов должен его получить. По умолчанию варианты распределяются равномерно. Например, если варианта два, то половина клиентов получает первый вариант, другая половина — второй.

Изменить процентное соотношение можно двигая бегунок.

Пример неравномерного распределения ответов:

• Вариант А получает 15% клиентов;
• Вариант B — 25%;
• Вариант С — 35%;
• Вариант D — 25% клиентов.

При создании A/B-тестирования в массовой рассылке в блоке Рассылки появляются вкладки, как показано на скриншоте выше. Количество вкладок соответствует количеству вариантов тестирования. При нажатии на название вкладки осуществляется переход к заполнению параметров сообщения для конкретного варианта. Необходимо заполнить эти параметры для каждого варианта.

Удаление варианта тестирования осуществляется при нажатии на значок корзины в соответствующей вкладке.

После заполнения всех вариантов сообщений можно отправить тестовое сообщение с необходимым вариантом. Для этого выберите вкладку с необходимым вариантом сообщения и нажмите Тест.

Для предпросмотра письма необходимо выбрать вкладку с нужным вариантом сообщения и нажать кнопку предпросмотра на панели форматирования.

Отчеты

Отчет по А/тесту доступен на странице, где располагаются все остальные отчеты по рассылке. 

В первой таблице по каждой группе выводится информация:‌

• Количество получателей — сколько сообщений было отправлено в данной группе;
• Доставлено сообщение — сколько сообщений было доставлено в данной группе;
• Количество клиентов, совершивших покупку — рассчитывается с учётом параметров атрибуции;
• Конверсия в покупателей — сколько процентов клиентов, получивших письмо, совершили покупку под влиянием рассылки;
• Количество чеков в группе;
• Среднее число чеков на покупателя;
• Сумма покупок;
• Средний доход на покупателя.

Вторая таблица содержит подробную информацию о конверсии и о нежелательном поведении в каждой группе. Например, в группе B:‌

• Отправлено — 36 057 сообщений (100%);
• Доставлено — 36 057 сообщений (100% от отправленных);
• Открыто — 918 сообщений (2.5% от отправленных);
• Переходы были из 198 сообщений (0.5% от отправленных);
• Заказы — из 26 сообщений (0.1% от отправленных);
• Отписались после получения сообщения 2 человека (0%);
• Жалоб на спам – 0 (0%).

Значения в некоторых столбцах выделены цветом: зелёным – лучшее значение, красным – худшее.‌ Например, в группе А средний доход на покупателя – 2 317 рублей, это лучшее значение среди всех групп (выделено зелёным). В группе B – 995 рублей, это худшее значение (выделено красным).