А/В-эксперименты
Шаг 1. Сформулируйте гипотезу
Эксперименты позволяют проверить, какие настройки рекламных кампаний в Директе наиболее эффективны для вашего бизнеса. Например, можно сравнивать кампании с разными креативами, акциями и посадочными страницами или проверять, как изменения настроек влияют на эффективность.
В рамках одного эксперимента лучше проверять только одну гипотезу с одним параметром.
Шаг 2. Создайте тестируемые рекламные кампании
В рамках эксперимента можно сравнивать только рекламные кампании или разные настройки в рамках одной кампании. Создайте две идентичные рекламные кампании, отличающиеся только настройкой, которую вы хотите проверить. Если необходимо протестировать разные ставки в рамках одной кампании, тогда добавьте одну и ту же кампанию в оба варианта.
Шаг 3. Настройте эксперимент в Директе
Создайте эксперимент в разделе Библиотека → А/В-эксперименты.
Заполните блок Параметры
-
Выберите основную метрику эксперимента. Основная метрика отражает суть вашей гипотезы, но на подсчет результатов не влияет, в отчете будут рассчитаны все доступные метрики.
-
Укажите, через сколько дней после запуска эксперимента планируете анализировать отчет. Длительность отображает, через сколько дней вы ожидаете увидеть результат. Но сам эксперимент будет длиться, пока вы его не остановите.
-
Выберите счетчик Метрики и цель, по которой хотите получить статистику по конверсиям. В метриках «Конверсии» и «Конверсия %» по умолчанию учитываются все цели.
Выберите варианты рекламных кампаний
Определите количество тестируемых вариантов. В отчете с результатами эксперимента все варианты будут сравниваться с контрольным.
-
Выберите необходимые рекламные кампании в контрольном и тестируемых вариантах. В каждый вариант можно добавить одну или несколько кампаний.
-
Укажите процент выборки на каждый вариант. Рекомендуем делить аудиторию поровну. Проверьте, что бюджеты кампаний пропорциональны выборкам.
-
При необходимости включите корректировки. Они нужны, например, если вы хотите проверить разные ставки в рамках одной кампании. В таком случае добавьте одну и ту же кампанию в контрольный и тестируемый вариант и установите корректировки.
Шаг 4. Оцените статистику по эксперименту
Чтобы открыть отчет по эксперименту, в разделе Библиотека нажмите А/В-эксперименты → Название эксперимента → Отчёт или перейдите на вкладку Отчёт в настройках эксперимента.
В отчете будут подсчитаны все метрики. Основная метрика будет стоять на первом месте.
Отчет показывает значение метрик для каждого из тестируемых вариантов. Их можно развернуть и посмотреть значения по каждой рекламной кампании. Отчет строится на основе данных, доступных в Мастере отчетов.
В таблице с результатами используется цветовое выделение ячеек в зависимости от p-value. Если значение p-value составляет менее 0,2, применяется слабое выделение, если менее 0,05 — яркое. Цветовое выделение ячеек зависит также от эффективности результата. Например, если количество показов увеличивается, ячейка окрашивается в зеленый цвет, а если увеличивается цена конверсии — в красный.
Разница показателей в процентах показана по отношению к контрольной группе.
В каждой ячейке таблицы указаны два значения метрики: нижнее — реальная абсолютная величина, верхнее — величина, умноженная на коэффициент выборки, чтобы соответствовать 100%.
Шаг 5. Завершите эксперимент
Проанализируйте, какой вариант вас устраивает и завершите эксперимент. Это можно сделать двумя способами:
-
В отчете по умолчанию выбран вариант с наибольшим изменением по ключевой метрике. Если результат вас устраивает, нажмите Запустить на 100%. Выбранные кампании продолжат работать без ограничения по выборке эксперимента, а остальные будут остановлены.
-
В таблице со списком экспериментов или в правом верхнем углу отчета нажмите Остановить эксперимент. Выберите все или некоторые кампании — они продолжат работать с текущими настройками и без ограничения по выборке. Если убрать все галочки — все кампании из эксперимента будут остановлены.
Остались вопросы?
Внимание
Специалисты отдела клиентского сервиса могут вас проконсультировать только по рекламным кампаниям того логина, с которого вы обращаетесь. Логин можно увидеть в правом верхнем углу экрана. Специалист получит доступ к вашим данным только при обработке обращения.
