Сформулируйте гипотезу о потребности
Представим вымышленную мастерскую кашпо для комнатных растений. Интерес человека к растениям ещё не означает потребность купить кашпо сейчас. Возможно, ему нужны советы по уходу или фотографии, а не новое изделие. Поэтому гипотезу лучше связывать с задачей: кому может быть полезен определённый размер, материал или способ размещения. Не пытайтесь объяснить всё одной широкой категорией интересов. Отделите предполагаемую аудиторию от проверенного поведения. Для учебного плана достаточно общих профессиональных или тематических признаков; личные чувствительные сведения людей не нужны для формулирования такого вопроса.
Меняйте то, влияние чего хотите оценить
Если задача состоит в проверке двух вариантов изображения, сохраните сопоставимыми предложение, текст и другие существенные условия. Если исследуется аудитория, не меняйте одновременно всё объявление. В рекламных инструментах могут быть специальные механизмы экспериментов и разделения трафика, но их доступность и правила зависят от системы. Сравнение двух произвольно выбранных дней не равно аккуратно организованному эксперименту. На результат могут влиять время, внешние события и различия охвата. Заранее опишите, что является основным изменением, как делятся показы и когда будет оценка. Так меньше соблазн объяснить любой удобный результат новой гипотезой задним числом.
Свяжите показатель с целью
Клик показывает переход, но не подтверждает заказ и не объясняет качество обращения. Если цель связана с запросами на подходящее изделие, полезно отдельно учитывать такие запросы и дальнейший результат. При этом сначала нужно убедиться, что события считаются одинаково в сравниваемых вариантах. Малое число наблюдений даёт мало оснований для уверенного обобщения. Один дополнительный заказ не всегда означает устойчивое преимущество. Не меняйте критерий успеха после просмотра цифр только ради красивого вывода. Результат теста может состоять и в том, что данных пока недостаточно или исходная гипотеза не получила подтверждения.
Попробуйте на практике
Создайте бумажный план проверки рекламы вымышленной мастерской кашпо, не настраивая кабинет и не расходуя бюджет.
- Запишите один вопрос: например, какое из двух собственных изображений понятнее показывает способ размещения кашпо. Уточните, какое действие аудитории связано с целью проверки.
- Определите единственное основное изменение и перечислите условия, которые должны быть сопоставимыми. Не включайте одновременно новый текст, новую аудиторию и другую цену.
- Опишите способ разделения наблюдений и период оценки. Если возможности инструмента неизвестны, запишите это как вопрос к документации, не придумывая гарантированный режим тестирования.
- Задайте основной показатель, дополнительные наблюдения и вариант вывода данных недостаточно. Отдельно проверьте, что переходы, обращения и заказы не названы одним событием.
Как проверить результат. План содержит проверяемый вопрос, понятное изменение и заранее выбранный критерий. Рост кликов не выдаётся за доказательство роста заказов, а неизвестные настройки не представлены как установленный факт.
Частые вопросы
Можно ли тестировать сразу много изменений?
Можно сравнивать разные комплексы решений, но тогда труднее выделить вклад каждого элемента. Для узкого вопроса полезнее ограничить основное изменение.
Если кликов больше, вариант победил?
Это зависит от заранее выбранной цели. Для задачи получения заказов клики остаются промежуточным показателем и требуют дополнительной оценки.
Что делать с неубедительным результатом?
Сохранить ограничения вывода и проверить качество данных. Необязательно объявлять победителя, если наблюдений недостаточно для содержательного решения.
Самостоятельный разбор темы. Содержание конкретной обучающей программы здесь не представлено.