Как получать пользу от A/B тестирования?
•
2 gefällt mir•3,925 views
Системный подход к проведению A/B тестов. Рекомендация от Mindbox
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Как получать пользу от A/B тестирования?
Ähnlich wie Как получать пользу от A/B тестирования? (20)
Mehr von Mindbox
Mehr von Mindbox (20)
Как получать пользу от A/B тестирования?
- 1. A/B- тесты как получать пользу A/B- тесты как получать пользу A/B- тесты как получать пользу A/B- тесты как получать пользу mindbox
- 2. Интерес к A/B-тестам растёт 2008 2012 2015 a/b test trends.google.com 2017
- 3. Успех Amazon — это функция от количества тестов, проведенных в год, месяц, неделю и день.. Джефф Безос Amazon CEO source: Huffington Post
- 4. статистика 102 клиентов mindbox Но никто не делает А/B-тесты Делают Не делают 10% 90%
- 5. Делают Сомневаются 10% 50% Не заинтересованы в росте бизнеса (неинтересная для нас группа) 40% статистика 102 клиентов mindbox Но никто не делает А/B-тесты
- 6. Сомнения обоснованы Раньше сравнивали плохое и хорошее Волшебный прирост
- 7. Конверсия выросла на 24% Разве это не очевидно?!
- 8. Сомнения обоснованы Сплошной успех Преувеличение Умалчивают неудачи На целых 200%, а не с 0,5 до 1% Раньше сравнивали плохое и хорошее Волшебный прирост
- 9. A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения A/B-тесты не про мгновенный большой рост, а о том, как разрешать сомнения
- 10. НеопределенностьОпределенность ЭкспертыКнигиПлохой vs Хороший A/B тесты Тестирование Зона применимости A/B-тестов - неопределенность
- 11. Не быстро Маленький рост Зона неопределенности Как с этим жить? A/B-тесты - это (часто)
- 12. тесты мы сейчас хотим быть t в годах Хаотичные тесты обычно не ведут к конечной цели
- 13. Нужна система
- 15. тесты t в годах мы сейчас хотим быть
- 16. Система t в годах мы сейчас 0. Метрика 1. KPI на тесты 2. Регулярность 3. Свобода 4. Матчасть 5. База знаний хотим быть
- 17. 0. Что растим — метрика Например, конверсия в первую покупку
- 18. 1. Должны быть KPI например, 5 тестов Z тестов в месяцTest Meter
- 19. 1 раз в месяц смотреть, что запустили, как это повлияло на важные метрики 2. Регулярность
- 20. Быстро – это медленно, но регулярно японская мудрость
- 21. ✦ Уберите согласования простых деталей темы в письмах, цвета, картинки и т.д. ✦ Согласовывайте сложные вещи нарушение tone of voice, затрагивает смежные отделы или даются обязательства "всем покупателям подарим 1 миллион рублей" 3. Свобода
- 22. 4. Матчасть ✦ Формулы с доверительными интервалами ✦ Не больше 1 теста за раз ✦ Правильная гипотеза ✦ АА-тесты
- 23. 5. База знаний Гипотеза Успешность Аудитория Варианты Новая гипотеза Эмодзи повышают open rate письма Нет 18 — 25 лет с эмодзи и без эмодзи Не любой эмодзи работает. Нужен эмодзи розового цвета
- 24. Тесты успешны, а метрика не растет — Ошибка в математике — Больше АА-тестов Тесты не запущены, не знаете, что тестировать? — Повторять уже запущенное ранее - это ок — Тестировать "слишком мелкое изменение", "глупо эмоциональное" ,"слишком сухое",... - это тоже ок — Абстрагироваться от "самого адекватного" варианта — Устроить брейншторм Все тесты неуспешны — У всех тестов есть гипотезы, которыми объясняется неуспешность? — По всем этим гипотезам запущены новые тесты? Что может пойти не так
- 25. Крупный производитель с кучей подрядчиков часто не понимал, что случилось и кто виноват Кейс
- 26. 1. Появились комфортная среда 2. Ушли согласования и появился креатив 3. Появилась прозрачность Что дала система
- 27. И вот результат
- 28. 1. KPI введите количество кампаний и тестов 2. Регулярность 1 раз в месяц анализировать, что запустили и как повлияло 3. Свобода уберите согласования простых и мало-рискованных тестов 5. База знаний копить базу знаний, постоянно смотреть, что уже запускали 4. Матчасть формулы с доверительными интервалами и правильные гипотезы Делайте A/B-тесты системно
- 29. В науке нет финишной черты. Когда находишь ответ на один вопрос, тут же возникает другой. Я никогда не считал, что ответил на все вопросы. Потому-то и продолжаю спрашивать у дрожжей. ЁСИНОРИ ОСУМИ Нобелевский лауреат 2016
- 30. Что почитать по матчасти 1. Чарльз Уилан. Голая статистика - про статистику на пальцах 2. Глантц. Медико-биологическая статистика (1999) — базовые методы объясняются на простых примерах 3. Kanji. 100 statistical tests (2006) - большой удобный справочник, какие статистики в каких случаях применять для проверки гипотез 3. http://www.evanmiller.org/ab-testing/sample-size.html - калькулятор