Тактическое руководство по маркетинговым экспериментам

[muskanislam99]

Одно из моих самых ранних воспоминаний об использовании научного метода относится к начальной школе. Моя учительница 5-го класса дала моему классу задание представить проект на научной ярмарке в конце года; на такой научной ярмарке, где нужно было достать огромный сложенный втрое картон. Она дала нам свободу выбрать любую тему для нашего проекта, при условии, что мы будем использовать научный метод, которому научились на уроках.

доска научной ярмарки
Однажды ночью я увидел, как мой отец протирает стол бумажным полотенцем, и заметил, что полотенце постоянно рвется, пока он чистит. Это вдохновило меня выяснить, какая марка бумажного полотенца лучше подходит для очистки мокрых пятен для моего научного проекта.

Я задал вопрос: «Какая марка бумажных полотенец лучше всего подходит для удаления влажных пятен?»
Я изучил данные отрасли — о бумажных полотенцах и о том, кто утверждает, что они лучшие.
На основе этих идей я выдвинул гипотезу: я думаю, что Brawny лучше, чем Bounty, из-за xyz.
Я проверил свою гипотезу — я использовал бумажное полотенце каждой марки, чтобы впитать 235 мл воды, и определил, какое из них продержалось дольше.
Я проанализировал и сообщил результат.
Процесс роста, вкратце, является научным методом. Вы задаете проверка whatsapp вопрос, анализируете существующее явление, выдвигаете гипотезу, затем проводите эксперимент, чтобы подтвердить свою гипотезу, анализируете результаты и сообщаете выводы.

В этой статье я пошагово расскажу, как работает процесс роста. Этот процесс — это накопление того, что я узнал, прочитав сотни статей таких людей, как Джон Эган, Эндрю Чен, Брайан Балфур, Шон Эллис, Морган Браун, Сьюзан Су и многих других; а также мои собственные личные идеи.

Процесс роста
Я расскажу об основах процесса роста и воспользуюсь примером с фиктивными цифрами, чтобы продемонстрировать каждый шаг в контексте.

1. Задать вопрос
Первый шаг в процессе роста — задать вопрос и обосновать его. Многие вопросы можно сформулировать, определив как ключевой выход (метрику, которую вы пытаетесь вырастить), так и увидев, какие входы заставляют этот выход расти.

Например, ключевым результатом Airbnb являются забронированные ночи, поэтому они хотят увидеть, какие функции или поведение (входные данные) увеличивают количество забронированных ночей. Amazon — это купленные товары. Facebook — это ежедневные активные пользователи.

Пример : предположим, команда по развитию Airbnb предполагает, что люди, которые добавляют что-то в списки желаний, как правило, остаются с нами надолго и бронируют больше поездок через Airbnb, поскольку у них есть интересные места, которые они сохранили, чтобы вернуться туда снова.

эксперимент по росту airbnb
Следующий шаг — обоснование предположения путем погружения в ваши модели роста или аналитику. В нашем примере одна вещь, которую могла бы сделать команда по развитию Airbnb, — это провести корреляционный анализ, чтобы увидеть, действительно ли добавление в список желаний увеличивает количество ночей, забронированных в течение года.

Модель роста: модель роста — это предполагаемая проекция входов на выходы, которая устанавливается существующими базовыми показателями. Это чрезвычайно полезно для определения рычагов и определения того, на чем сосредоточить энергию вашей команды роста. Это то, чему я научился, проходя программу Reforge.

Вот пример модели роста

пример маркетинга роста
Анализ корреляции – корреляция – это связь между наборами переменных, используемыми для описания или прогнозирования информации. Мы ищем коэффициент корреляции, который определит степень связи набора переменных (обозначается как «r»).

r = n(∑xy) — (∑x)(∑y) / ( √n(∑x²)-(∑x)²)(√n(∑y ²) — (∑y)²)

-1 до 0 = отрицательная корреляция
от 0 до 1 = положительная корреляция
ближе к 0 = нет корреляции
К счастью, существуют инструменты, позволяющие автоматизировать корреляционный анализ, поэтому нам не нужно каждый раз вводить его в калькулятор.

корреляционный анализ
Пример : Возвращаясь к примеру Airbnb; после углубленного анализа данных команда по развитию Airbnb определила, что на самом деле существует сильная корреляция между забронированными ночами и добавлением в список желаний с сильным r = 0,79.

Формулировка вопроса: Добавление в список желаний тесно связано с забронированными ночами. Как мы можем увеличить количество домов, добавленных в список желаний на человека?

2. Проведите мозговой штурм по идее
Вторым шагом в этом процессе является мозговой штурм идеи, на которой вы будете основывать свою гипотезу.
Это наш вывод, а идеи, которые мы проведем мозговой штурм, чтобы ответить на этот вопрос, будут нашими входами. Мы делаем это нашим новым выводом, потому что мы уже определили, что добавление в список желаний влияет на скорость бронирования ночей с положительной корреляцией.

(входы) идея 1 | идея 2 | идея 3 = Увеличить количество сохраненных домов в списке желаний на человека (выходы)

Хороший способ придумать идеи — посмотреть, что уже делают другие продукты за пределами вашего непосредственного пространства, оттолкнуться от естественного психологического поведения, связать две идеи вместе или даже спросить, почему люди ведут себя определенным образом в вашем продукте.

Давайте вернемся к примеру Airbnb:

Вопрос, который мы задали: как можно увеличить количество сохраненных домов в списке желаний на человека?

Команда развития Airbnb предлагает четыре разные идеи:

Измените значок сохранения «звездочка» на значок «сердечко».
Используйте существующие данные клиентов, чтобы отправлять пользователям список пожеланий с рекомендациями, пока они просматривают приложение или рабочий стол.
Каждый раз, когда вы возвращаетесь к объявлению более 2 раз, оно автоматически добавляется в список желаний.
Создайте всплывающий модуль, который будет уведомлять пользователя о необходимости добавить товар в список желаний, если он находится в нем более 30 секунд.
По мере того, как у вас появляются идеи, вы устанавливаете гипотезу для каждой из них. Для краткости мы выберем первую идею, чтобы показать, как следует устанавливать гипотезу.

Помните, если вы выдвигаете гипотезу, обоснование может быть немного инстинктивным в начале, если у вас нет данных, на которые можно было бы опереться, поэтому мы проверяем гипотезу в первую очередь. Вы даже можете использовать некоторые качественные предположения, такие как интервью с клиентами, чтобы сделать обоснование.

Пример : В случае успеха количество домов, добавленных в список желаний, увеличится на 30%, если кнопка сохранения «звездочка» будет изменена на «сердечко», поскольку качественно сердце апеллирует к эмоциональной психологии любви к чему-либо, тогда как звезда более произвольна/логична.

эксперимент по росту ab тест
Вот шаблон того, как сформулировать гипотезу: в случае успеха я предсказываю, что [тестируемая вами метрика] увеличится на [% или единиц тестируемой вами метрики], поскольку [исходные предположения].

3. Расставьте приоритеты
У каждой компании ограниченные ресурсы, поэтому тестирование всех экспериментов может оказаться нецелесообразным вариантом. Следующий шаг в процессе роста — расставить приоритеты относительно того, с какими из этих идей вы хотите поэкспериментировать. Когда мы расставляем приоритеты между идеями для эксперимента, мы выбираем на основе знания того, что это минимально жизнеспособный тест, а не вся реализованная функция.

Думать о том, сработает ли каждый тест, — это лишь часть расстановки приоритетов. Нам также нужно было определить, действительно ли тест стоит усилий и воздействия, а также нашего уровня уверенности. Для этого мы можем использовать структуру, которая поможет нам определить, какой тест следует расставить по приоритетам.

Вот чему я научился, объединив структуру приоритетов Шона Эллиса и Брайана Балфура. Для каждой идеи эксперимента есть три критерия принятия решения, которые помогут вам расставить приоритеты: влияние, уверенность и усилия.

В конечном итоге мы оцениваем каждую идею по влиянию, уверенности и усилиям от 1 до 10 и берем среднее значение. В большинстве случаев мы будем тестировать идеи, которые имеют наивысший средний балл.

рост эксперимент идея оценка
1. Влияние или выгода : если эксперимент будет успешным, повлияет ли он на метрику Northstar?

Определите охват (сколько людей затронет этот эксперимент)
Оцените влияние переменной (вероятность того, что тестируемая нами метрика повлияет на метрику Northstar)
2. Уверенность : какова вероятность того, что этот эксперимент будет успешным в перемещении метрики, которую мы тестируем? Вы можете оценить это по тому, насколько большим опытом в этой области вы обладаете с конкретной идеей.

Поставьте оценку от 1 до 3, если это совершенно новая идея, о которой вы почти ничего не знаете.
Поставьте оценку от 3 до 5, если предмет вам немного знаком, но вы все еще не совсем уверены в нем.
Поставьте оценку от 6 до 10, если это область, в которой вы уже экспериментировали или обладаете глубокими познаниями в этой области.
3. Усилия : сколько времени, энергии, рабочей силы и денег потребуется для выполнения минимального жизнеспособного теста? Чем выше оценка, тем легче выполнить этот эксперимент.

Для расстановки приоритетов вам не обязательно быть точным; оценка баллов вполне приемлема. По мере проведения большего количества экспериментов ваши оценки будут становиться более точными с течением времени.

Пример :
Давайте оценим одну из идей списка желаний:
Идея № 1: Изменение значка звезды на кнопку сохранения значка сердца
Влияние: 8
У Airbnb большая база пользователей, они развернут эту функцию для 20% базы пользователей для тестирования. Из корреляционного анализа команды по развитию они уже подтвердили, что увеличение количества домов, сохраненных в списке желаний на пользователя, увеличит количество ночей бронирования, поэтому эта идея получит высокий балл.

Уверенность: 5
Airbnb уже проводил много A/B-тестов кнопок, поэтому команда по развитию знает, что изменения кнопок не просто предлагают небольшие незначительные изменения в крупных функциях. Однако они не проводили много тестов этой конкретной функции, поэтому они дадут ей среднюю оценку.

Простота: 8
Для выполнения этого теста нужны всего два человека: дизайнер и инженер. Оба оценивают, что на тестирование может уйти день, так что это будет на более легком уровне.
Средний балл для этого: 7.0

Команда по развитию решает протестировать этот эксперимент, поскольку он набрал наибольшее количество баллов из всех 4 идей.

4. Эксперимент
Следующая часть процесса роста — выполнение, внедрение и отслеживание эксперимента. Если вы знакомы с agile и управлением продуктом, это по сути тот же самый процесс. У вас будут спринты роста и установленный ритм определенного количества экспериментов на спринт.

Каждый эксперимент должен быть рассчитан на работу в течение как минимум 1 недели и убедиться, что есть контрольная группа (при условии, что база пользователей достаточно большая). Однако некоторые эксперименты будут длиться более 2 недель — вы можете узнать, почему это может произойти, здесь, в этой записи в блоге AirBnB об их процессе эксперимента .

В моей компании UpKeep мы устанавливаем спринты на 2 недели и используем Jira для отслеживания всех наших экспериментов. Мы пытаемся проводить эксперимент каждую неделю, потому что экспериментирование больше связано с получением скорости для получения дополнительной информации о том, что поможет вам расти, независимо от того, будут ли эксперименты успешными или нет.