Контрольные группы дают возможность измерять эффективность рекламных активностей, которые реализуются с помощью триггерных цепочек или рассылок в модуле Smart Communications. В статье рассматриваем, как настроить тестирование и проанализировать эффективность маркетинга с помощью механизма контрольных групп.

В чем смысл контрольных групп

Контрольная группа — это доля клиентов, которая не получает никаких специальных промопредложений и не участвует в маркетинговых коммуникациях. Для чего ее выделять? Так можно оценить чистый эффект от конкретного промо или рассылки. Если мы видим, что контрольная группа реагирует на наши действия точно так же, как и остальные клиенты, то понимаем, что взаимодействие не привело к росту целевых показателей, и можем оценить эффективность проведенного мероприятия.

Самый популярный пример — сравнение числа покупок и выручки у основной группы и контрольной. Обычно контрольной группой становится 5-10% от базы клиентов. Несмотря на то, что выборка производится случайным образом, важно, чтобы ключевые параметры (пол, возраст, уровень дохода, частота покупок и т. д.) контрольной группы приблизительно совпадали с параметрами основной — так результаты не будут вводить нас в заблуждение.

Почему для оценки результата недостаточно отслеживать атрибуцию по чекам?

В модуле Smart Communications есть возможность отслеживать атрибуцию по чекам. Это один из самых распространенных способов оценивать эффективность маркетинга (сумму выручки, количество новых клиентов, число продаж). Атрибуция — это правила, которые позволяют связать чеки с рассылкой или акцией. Например, можно считать, что чек связан с коммуникацией, если клиент получил рассылку (в случае с email открыл письмо, а в случае SMS/Viber получил сообщение) и в течение N дней (сколько конкретно, решаем самостоятельно) после этого совершил покупку. Такой метод прост в использовании, но использовать только его не совсем правильно.

Представим ситуацию: клиент зарегистрировался в интернет-магазине, и мы отправили ему welcome‑письмо. Клиент открыл письмо и спустя какое-то время совершил покупку. В отчете мы увидим, что этот чек связан с welcome‑письмом, поэтому заслуга за полученную выручку отдается email‑каналу.

Но есть ведь вероятность, что клиент, который сам зарегистрировался на сайте, все равно собирался сделать покупку — без всяких приветственных писем. Тогда как понять, насколько большую роль в его решении сыграло это письмо? Чтобы сделанные выводы были более объективными, и используется механизм контрольной группы. В этом случае часть покупателей получает письмо, а часть не получает. Если показатели в полученных группах отличаются, можно судить о том, что welcome‑письмо действительно оказывает влияние на решение о покупке.

Пример рассылки с использованием контрольной группы

Например, интернет-магазин «Шоколад» планирует отправить дополнительное письмо клиентам, чтобы напомнить об оставленной корзине, которую они сформировали, но не оплатили, чтобы повысить долю выкупленных заказов. Чтобы протестировать идею, настроили контрольную группу, и гипотеза не оправдала ожиданий. Клиенты, которые получали письмо, не стали переходить к этапу оплаты чаще, чем участники контрольной группы.

После этого маркетологи «Шоколада» решили протестировать ту же идею, но в другом канале — Push-рассылках. И на этот раз она сработала: благодаря дополнительным уведомлениям доля оплаченных заказов увеличилась на 5%.

В маркетинговых мероприятиях можно одновременно подключать сразу два вида контрольных групп — глобальные и локальные. В первом случае мы можем оценить общую эффективность рекламной кампании, а во втором — эффективность конкретной механики. Smart Communications содержит специальные инструменты, которые позволяют выделять клиентов, которые входили в контрольные группы, и это можно использовать при разработке маркетинговых мероприятий.

В построителе сегментов, например, можно использовать фильтры, связанные с контрольными группами: участвовал в контрольной группе email-рассылки, участвовал в контрольной группе SMS-рассылки и так далее.

Как настроить контрольную группу в Smart Communications

В Smart Communications можно настроить контрольные группы как на отдельную рассылку, так и на целую цепочку событий — когда мы создаем кампанию. Чтобы создать контрольную группу при создании кампании, используем ползунок «Размер контрольной группы» на странице настройки.

Если это разовая рассылка, то для создания контрольной группы в блоке «Объем рассылки» воспользуемся ползунком «Размер контрольной группы». Размер контрольной группы может варьироваться от 0 до 50% целевого сегмента (по умолчанию — 0%). Количество клиентов, входящих в контрольную группу, выводится в блоке:

Контрольные группы можно устанавливать для любого канала, которые есть в Smart Communications:
• Email.
• SMS.
• Viber.
• Push.

При этом запускать тестирование можно как массовой рассылке, так и в триггерной цепочке. Кроме того, в любом канале коммуникации можно настроить контрольную группу и AB‑тестирование. Так мы сразу можем попробовать разные варианты сообщений и оценить эффект относительно контрольной группы.

В идеале эксперименты не должны быть разовой акцией, этот процесс должен быть постоянным: когда итогом одного теста становится несколько новых вопросов и идей для проведения следующего. Каждый раз нужно выбирать лучший результат, автоматизировать его и начинать сначала. Только тестировать уже другие вопросы и гипотезы.

Несмотря на то, что это довольно сложный и трудоемкий процесс, его можно считать одним из самых эффективных инструментов для тестирования в маркетинге. При этом мы можем начинать с чего-то более простого — например, с классического АB-тестирования в сообщениях или электронных письмах. Но при этом стоит понимать, куда мы собираемся двигаться дальше.

Отчеты по контрольной группе

В Smart Communications доступны отчеты по контрольной группе. Они находятся на странице с остальными отчетами по рассылке или кампании.

Отчет представлен в виде таблицы, где по основной и контрольной группам выводятся данные по числу покупателей, которые получили сообщения или совершили покупку, указана конверсия покупателей, среднее число чеков, сумма покупок и так далее. Здесь же можно посмотреть прогноз дохода при конверсии и среднем чеке контрольной группы — на какую сумму купили бы клиенты, если бы рассылки не было.

Например, в отчете видим, что рассылку получили 99 048 человек. Если бы мы ее не делали, то конверсия в покупателей была бы 8,39% — как в контрольной группе. С такой конверсией покупки совершили бы 99 048 * 0,0839 = 8 310 покупателей. В контрольной группе средний доход на покупателя составил 1 604 рубля. Если не отправлять рассылку, сумма покупок составит 8 310 x 1 604 = 13 329 240 рублей. С помощью отчета анализируем дополнительную выручку — выгоду, которую можно было бы получить благодаря рассылке. Если сумма покупок в основной группе составила 15 814 351 рублей, а прогноз дохода — 13 329 240 рублей, то разница составляет 2 485 111 рублей. На основе полученных данных можно принимать решение — стоит ли масштабировать акцию, или это не принесет желаемой выгоды.

Если у вас возникли вопросы по использованию контрольных групп в модуле Smart Communications, или вы хотите узнать, как автоматизация рассылок поможет конкретно вашей компании, заполните форму ниже. Мы постараемся ответить как можно скорее.