Определить полезное действие
Для заметочника таким действием может быть сохранение и последующее использование записи, для сервиса совместной работы завершённая задача команды. Событие выбирают в связи с назначением продукта. Сам по себе вход в приложение не всегда показывает получение пользы. Разделите этапы: человек узнал о продукте, начал работу, получил первый результат и вернулся с новой задачей. На каждом этапе возможны разные препятствия. Если инструкция непонятна, дополнительная реклама не исправляет этот опыт. Сначала полезно выяснить, где именно люди останавливаются и какие объяснения согласуются с наблюдениями.
Сравнивать группы с одинаковым временем наблюдения
Когорта представляет собой группу пользователей, объединённых выбранным признаком, например неделей первого использования. Для проверки удержания заранее определяют начальное событие, событие возвращения и период. Без этих условий два похожих процента могут описывать разные вещи. Учебный пример: из ста пользователей одной группы через неделю вернулись тридцать, а из двухсот другой группы шестьдесят. Во второй группе вернувшихся больше, но доля одинакова: тридцать процентов. Нельзя сравнивать завершённую неделю старой группы с двумя днями новой. Повторные действия одного человека также не следует автоматически считать отдельными вернувшимися пользователями.
Гипотеза связывает изменение и ожидаемый эффект
Формулировка улучшить онбординг слишком широка. Конкретнее предположить, что понятный пример первой задачи поможет новым пользователям завершить её самостоятельно. Тогда понятно, что меняется, кого затрагивает и какой показатель нужно наблюдать. В контролируемом эксперименте сопоставляют варианты по заранее выбранным правилам. До запуска проверяют учёт событий, распределение участников и достаточность данных. Случайное колебание на маленькой выборке не стоит объявлять победой. Если тест пока невозможен, исследование затруднений пользователей всё равно полезно, но его выводы нельзя выдавать за точную оценку причинного эффекта.
Успех не должен скрывать ухудшения
Рост целевого показателя оценивают вместе с ограничениями. Например, увеличение числа завершённых действий может сопровождаться ошибками, жалобами или замедлением работы. Поэтому заранее выбирают показатели, ухудшение которых недопустимо, и условия остановки эксперимента. Полезно проверить и качество самих данных: не начал ли новый интерфейс отправлять одно событие дважды? После изменения смотрят не только на первые дни, когда действует новизна. Устойчивое возвращение и понятная польза важнее принудительной активности. Навязчивые уведомления и затруднённый отказ способны увеличить отдельный счётчик, одновременно ухудшив доверие и пользовательский опыт.
Попробуйте на практике
Спроектируйте проверку роста для вымышленного приложения со списком домашних дел. Реальные данные и запуск эксперимента не нужны.
- Опишите полезный результат пользователя и выберите событие, которое действительно связано с его получением.
- Нарисуйте путь из четырёх этапов: знакомство, начало работы, первая завершённая задача и возвращение.
- Выберите одно предполагаемое препятствие и сформулируйте изменение вместе с ожидаемым наблюдаемым эффектом.
- Задайте период наблюдения и правила подсчёта уникальных пользователей. Добавьте показатель качества, например частоту ошибок.
- Составьте три возможных исхода: улучшение, отсутствие ясного эффекта и ухудшение. Для каждого определите следующий шаг и ограничения вывода.
Как проверить результат. План отличает объём регистраций от полезного результата и удержания. Правила подсчёта и критерии решения заданы до появления красивых цифр.
Частые вопросы
Какой показатель роста самый главный?
Универсального ответа нет. Он должен отражать ценность и особенности продукта, а дополнительные показатели помогают заметить нежелательные последствия.
Если эксперимент не дал улучшения, работа была напрасной?
Нет, если данные надёжны и гипотеза проверена. Результат помогает отказаться от неподходящего изменения или точнее сформулировать следующий вопрос.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.