Перейти к основному содержимому

A/B эксперименты со страницей в консоли RuStore

Функционал «Эксперименты со страницей» позволяет проводить A/B-тестирование карточки приложения. С его помощью можно создавать два варианта оформления (скриншоты, видео, описания), распределять трафик между ними, собирать статистику и определять наиболее эффективный вариант.

Для доступа к функционалу необходимо, будучи авторизованным в RuStore Консоли:

  1. Открыть меню Приложения и перейти в раздел Информация о приложении.
  2. Перейти на вкладку Эксперименты со страницей.
  3. При переходе на вкладку, на экране появляется кнопка Создать с приглашением начать первый эксперимент.
img
подсказка

Если эксперименты уже существуют, пользователю будет доступна информация по текущему и предыдущим запускам и кнопка Создать для добавления нового эксперимента.

К сведению

Благодаря возможности модерации и гибкой настройке вариантов, паблишеры могут проводить эффективное тестирование и повышать конверсию своих приложений в RuStore.

Создание эксперимента​

  1. Нажмите кнопку Создать и введите название эксперимента.
  2. Задайте параметры проведения эксперимента.
Параметры эксперимента
  1. В экспериментальном варианте (вариант B) могут быть заменены: краткое и полное описание, скриншоты и ссылка на видео.
  2. По завершении настройки нажмите кнопку Отправить на модерацию. Эксперимент перейдёт в статус На модерации.
предупреждение

Мы рекомендуем запускать A/B-эксперименты только после того, как все релизные версии приложения успешно прошли модерацию.

Модерация и статусы эксперимента​

  • На модерации. После отправки данные проверяются модераторами RuStore.
  • Опубликован (Активен). Эксперимент запускается и трафик распределяется между вариантами согласно заданным процентам.
  • Подсчет результатов. После завершения эксперимента система производит подсчет результатов, которые доступны для анализа.
  • Модерация не пройдена. Эксперимент не прошёл модерацию; необходимо внести корректировки и повторно отправить на проверку.
  • Отклонён. Эксперимент не прошёл проверку; необходимо внести правки и повторно отправить на модерацию.
  • Завершён. Эксперимент остановлен автоматически по истечении срока или по факту набранного количества событий, или вручную. Статистика по вариантам остаётся доступной для анализа.

Просмотр результатов​

После запуска эксперимента отображается информация о каждом варианте:

  • Количество показов и установок приложения и количество событий;
  • Текущая конверсия (при наличии соответствующих метрик).
img
подсказка

На детальной странице эксперимента можно увидеть настройки каждой версии, а также динамику показателей с учётом даты запуска и комментариев модераторов.

Досрочное завершение​

Эксперимент можно завершить досрочно, выбрав кнопку Завершить досрочно. При этом система предложит выбрать, какой вариант карточки приложения использовать в качестве основного. После подтверждения эксперимент получает статус Завершён.

img
предупреждение

При любом завершении эксперимента, включая автозавершение, система продолжает пересчитывать результаты в течение одного дня, так как события доходят с задержкой. При автоматическом завершении эксперимента у вас будет возможность раскатить вариант B в качестве основного, если вы сочтёте его более эффективным, хотя по умолчанию применяется вариант A. Обратите внимание: данное правило применяется только к последнему активному эксперименту.

Автоматическое завершение

Эксперимент может быть завершён системой автоматически, если карточка приложения наберёт достаточное количество просмотров, необходимое для формирования статистически значимых результатов.

Ограничения​

  • Эксперимент не блокирует создание новых версий: вы можете продолжать выпускать обновления или вносить правки в поля, не участвующие в эксперименте.
  • Если необходимо внести изменения в поля, участвующие в эксперименте (краткое и полное описание, скриншоты и ссылка на видео), эксперимент следует остановить, чтобы избежать искажения результатов.
  • Во время активного эксперимента нельзя публиковать «частичную новую версию» (то есть релиз, предназначенный для части пользователей), так как это нарушает логику корректного распределения аудитории в эксперименте. Если требуется выполнить частичную публикацию, эксперимент следует завершить.
  • Для версий, созданных до запуска эксперимента и находящихся в статусе Готово к публикации, поля будут перезаписаны в соответствии с параметрами, заданными в эксперименте.
  • Работа с экспериментами доступна пользователям с ролями: владельца, администратора, релиз-менеджера и разработчика. Подробности см. Роли пользователей.
  • На текущий момент, эксперименты не доступны для ТВ версий.