Сначала назовите наблюдаемое событие
Активация является рабочим определением момента, когда пользователь выполнил значимое для продукта действие. Оно зависит от задачи сервиса. В вымышленном приложении для заметок команда выбрала создание и последующее открытие первой сохранённой записи в течение семи дней после регистрации. Простое посещение страницы не подменяет этот критерий. Определение важно зафиксировать до сравнения: если в одном периоде считают сохранение, а в другом любой вход, одинаковое название метрики скроет разные события. Полезность выбранного действия для дальнейшего использования также остаётся гипотезой, которую проверяют отдельно.
Количество и доля показывают разные изменения
В первом условном наборе зарегистрировались сто человек, сорок выполнили критерий. Доля составила сорок процентов. Во втором зарегистрировались сто пятьдесят, а критерий выполнили сорок пять: доля равна тридцати процентам. Активировавшихся стало на пять больше, но из каждой сотни зарегистрированных действие выполняет меньшая часть. Нельзя описать результат одним словом хорошо или плохо без цели анализа. Для планирования нагрузки важны абсолютные числа, а для исследования пути новых пользователей может быть полезна доля. Расходы на привлечение и последующее использование дадут ещё другие сведения.
Сравнение требует одинакового времени и состава
Если первой группе дали полные семь дней, а часть второй зарегистрировалась вчера, наблюдения пока несопоставимы. У новых участников ещё не было того же времени на действие. Также могла измениться аудитория или канал привлечения. Поэтому два календарных периода сами по себе не доказывают эффект новой версии продукта. Для проверки причинной гипотезы нужен соответствующий план эксперимента, а для простого отчёта требуется хотя бы ясное описание групп, окон и ограничений. Рост одной метрики тоже не гарантирует долгосрочной пользы: люди могут выполнить начальное действие и больше не вернуться.
Попробуйте на практике
Составьте бумажный отчёт о двух вымышленных наборах регистраций. Реальная рекламная кампания, доступ к аналитике и персональные данные пользователей не нужны.
- Запишите единый критерий активации: создать запись и позднее открыть её в течение семи дней после регистрации. Отметьте, что действие считается один раз на человека.
- Для первого набора укажите сто регистраций и сорок активаций, для второго сто пятьдесят и сорок пять. Рассчитайте долю активации в каждом наборе.
- Опишите изменение двумя предложениями: одно об абсолютном числе активировавшихся, другое о доле. Не заменяйте процентные пункты количеством людей.
- Добавьте условие, что у двадцати участников второго набора ещё не прошло семи дней. Пометьте сравнение как незавершённое и перечислите сведения, которые нужно дождаться или уточнить.
Как проверить результат. Получены сорок и тридцать процентов, рост абсолютного числа на пять и снижение доли на десять процентных пунктов. После добавления неполного окна окончательное сравнение не объявлено установленным, а причинный эффект кампании не выдуман.
Частые вопросы
Падение доли означает, что кампанию нужно немедленно остановить?
По этим данным такой вывод не следует. Неизвестны расходы, состав аудитории, зрелость наблюдений и дальнейшее использование. Показатель помогает поставить вопросы, но не заменяет оценку всей задачи.
Можно ли назвать активацией любую регистрацию?
Это возможно как выбранное определение, но тогда показатель описывает именно регистрацию. Название не должно создавать впечатление, будто человек уже получил пользу от продукта, если это не проверялось.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.