Сколько людей реально нужно для АБ-теста
Возьмём конверсию в покупку 3% и 5%.
Сколько людей нужно прогнать через два варианта, чтобы понять, что новый реально лучше, а не просто случайно повезло - на картинке 🔝
Вот почему совет «всегда что-нибудь АБ-тестируй» немного оторван от реальности маленьких апок.
Если пэйвол видят 1000 человек в месяц, то 3% → 6% ещё можно проверить относительно быстро.
А 3% → 3,3% ты будешь проверять буквально годами.
Поэтому чем меньше трафика, тем более крупные гипотезы надо тестировать. Не «меняем текст», а другой оффер, позиционирование, другой способ показать ценность.
Вначале нужно больше концентрироваться на тестировании верха воронки.
Иконку и страницу стора видят все юзеры. До онбординга доходит уже меньше. До пэйвола ещё меньше. До покупки совсем мало.
То есть приоритет примерно такой: иконка → скриншоты → онбординг → пэйвол
Не потому что пэйвол менее важен. А потому что на маленьком трафике он будет очень долго набирать данные.
Сначала имеет смысл искать изменения, которые могут дать x1,5–2, и делать это там, где больше всего людей.
А когда трафика станет дохрена, тогда уже можно месяцами выжимать +5–10% из пэйвола.
Возьмём конверсию в покупку 3% и 5%.
Сколько людей нужно прогнать через два варианта, чтобы понять, что новый реально лучше, а не просто случайно повезло - на картинке 🔝
Вот почему совет «всегда что-нибудь АБ-тестируй» немного оторван от реальности маленьких апок.
Если пэйвол видят 1000 человек в месяц, то 3% → 6% ещё можно проверить относительно быстро.
А 3% → 3,3% ты будешь проверять буквально годами.
Поэтому чем меньше трафика, тем более крупные гипотезы надо тестировать. Не «меняем текст», а другой оффер, позиционирование, другой способ показать ценность.
Вначале нужно больше концентрироваться на тестировании верха воронки.
Иконку и страницу стора видят все юзеры. До онбординга доходит уже меньше. До пэйвола ещё меньше. До покупки совсем мало.
То есть приоритет примерно такой: иконка → скриншоты → онбординг → пэйвол
Не потому что пэйвол менее важен. А потому что на маленьком трафике он будет очень долго набирать данные.
Сначала имеет смысл искать изменения, которые могут дать x1,5–2, и делать это там, где больше всего людей.
А когда трафика станет дохрена, тогда уже можно месяцами выжимать +5–10% из пэйвола.
