Определите событие до расчётов
Целью аналитики может быть нажатие кнопки, отправка формы или другое заданное действие. Они не равнозначны. Человек способен нажать кнопку и не завершить отправку. Поэтому название показателя должно соответствовать настроенному событию. Если измеряется клик, его нельзя без проверки назвать полученной заявкой. В нашем учебном примере будем считать долю визитов, в которых отправлена форма. Каждый такой визит учитывается один раз, даже если в его пределах форма отправлялась несколько раз. Это отличается от общего количества отправок. Также визиты не равны уникальным людям: один человек может вернуться. Перед сравнением важно выбрать единицу наблюдения и сохранять её в обоих периодах.
Процент и количество отвечают на разные вопросы
Представим полностью вымышленные данные. В первом периоде было тысяча визитов, из них двадцать с отправкой формы. Получается два процента. Во втором периоде было сто визитов, из них пять с отправкой формы. Получается пять процентов. Доля результативных визитов выросла, а их количество уменьшилось с двадцати до пяти. Оба утверждения верны одновременно. Процент отвечает на вопрос о доле среди учтённых визитов, количество о числе наблюдаемых результатов. В этих данных нет стоимости привлечения, качества обращений и оплаченных заказов. Поэтому нельзя заключить, что бизнес заработал больше или что новая страница экономически выгоднее. Для таких выводов понадобятся дополнительные показатели, связанные с конкретной задачей.
Сравнивайте сопоставимые условия
Даже правильно рассчитанные доли не доказывают, что причиной изменения стал новый текст страницы. Между периодами могли поменяться источники переходов, предложение, сезонные обстоятельства или настройки аналитики. Сначала нужно проверить, что форма и событие учитывались одинаково. Затем полезно рассмотреть состав трафика и другие существенные различия. Если во втором периоде приходили в основном люди, уже знакомые с предложением, сравнение с широкой новой аудиторией требует осторожности. Простой порядок периодов до и после не отделяет влияние страницы от остальных изменений. Для будущей проверки заранее сформулируйте вопрос и критерий результата. Не стоит менять несколько вещей одновременно, а затем уверенно приписывать весь эффект одному заголовку.
Попробуйте на практике
Разберите вымышленные показатели посадочной страницы на бумаге. Не меняйте реальную аналитику и не запускайте рекламу.
- Запишите два периода: тысяча визитов и двадцать результативных, затем сто визитов и пять результативных. Назовите конкретное событие, которое делает визит результативным.
- Разделите число результативных визитов на общее число визитов в каждом периоде и переведите долю в проценты. Рядом сохраните исходные количества.
- Составьте два корректных вывода: один о доле, другой об абсолютном числе. Отдельно перечислите сведения, которых не хватает для оценки коммерческого результата.
- Придумайте два изменения условий, которые могли повлиять на сравнение. Сформулируйте вопрос для дальнейшей проверки, не объявляя страницу причиной заранее.
Как проверить результат. Расчёт верен, если получены два и пять процентов, а увеличение доли не перепутано с ростом числа обращений или прибыли.
Частые вопросы
Можно ли сравнивать страницы только по конверсии?
Для узкой задачи доля может быть полезна, если событие и условия сопоставимы. Для более широкого вывода нужны объём, качество результатов и другие показатели, соответствующие цели работы.
Высокая конверсия всегда означает хороший текст?
Нет. На показатель влияет не только текст, но и состав аудитории, предложение, работа формы и способ измерения. Оценка текста требует вопроса, который помогает отделить его роль от других факторов.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.