7 способов провести A/B тестирование приложения

A/B тестирование – вещь! Вы же хотите достигнуть наивысшей конверсии вашего ASO? Тогда пробуйте. Изучил пару источников, сделал выводы, плюс делюсь своим опытом. Расскажу, что и как тестировать. 7 способов – это серьезно. Особенно актуально, если ваше приложение на IOS или вы хотите предварительного тестирования. Поехали!

 

Что тестировать?

 

Взгляните на свое приложение и трезво оцените его. Допустим, вы уверены, что иконка  классная, а вот скриншоты слабоваты. Значит, потестите их. Вот весь список элементов в порядке важности. Рубрика «Очевидное и невероятное»:

  1. Название
  2. Иконка
  3. Скриншоты, видео
  4. Описание

 

Где проверить свой текущий коэффициент конверсии?

 

  • В Google Play Store откройте вкладку Acquisition Reports, чтобы просмотреть данные о конверсиях для органических скачиваний. Еще Google Play предоставляет сравнительные данные по другим приложениям вашей категории. Если у вас низкая конвертация, Google покажет, сколько загрузок вам не хватает.
  • В App Store откройте страницу Analytics и нажмите Conversion Rate. На графике сразу отобразится коэффициент ежедневной конверсии.Убедитесь, что там данные только от органических пользователей. На панели управления iOS настройте фильтр: Add Filter => Source Type => App Store Browse или App Store Search. Так вы соберете только органические данные.

Ну что ж, лайфхаки в студию!

 

Сравнение до и после

 

Нужно просто загрузить новые версии и сравнить показатели конверсии до и после.

 

Плюсы

+Супер просто

+Бесплатно

 

Минусы

Не точно. Даже если вы не вносите никаких изменений, коэффициент конверсии может колебаться в пределах 50% каждый месяц. Так что не факт, что выводы после тестирования будут верными.

Нет предварительного тестирования.

— Занимает много времени. Нужно опубликовать приложение и дать ему время собрать достаточное количество данных, прежде чем делать выводы.

 

Когда использовать этот метод?

  • Приложение доступно только на iOS
  • Нет рекламного бюджета
  • Нет сайта, на котором можно запускать тесты
  • Вы уверены, что новые варианты улучшат ваш коэффициент конверсии

 

Тесты в Google Play Store через Google Experiments

 

С помощью Google Experiments можно провести A/B тесты с описанием, иконкой, скринами, промо-видео. Настроить просто: кликните Store Presence => Store listing experiments. Дальше можно запустить один из двух тестов:

  1.    Глобальный. Включает всех пользователей. Лучше не тестить элементы с текстом.
  2.    Локализованный. Будет работать на пользователях с указанным языком. Можно протестировать описание, видео или скриншоты.

 

Плюсы

+Точно. Тест проходит непосредственно в магазине Google.

+ Просто использовать. Нужно лишь приложение в магазине и варианты для тестирования.

+ Бесплатно.

 

Минусы

Только для Google Play. Увы, Apple пока не выпустил свой инструмент A/B тестирования.

Нет предварительного тестирования. Нужно, чтобы приложение было уже опубликовано. Чтобы сделать тест перед запуском, используйте другие методы.

 

Когда использовать этот метод?

  • Если приложение доступно в Google Play.

 

Использовать для тестов сторонний софт

 

Пробуйте, если ваше приложение только в AppStore или вы хотите предварительного тестирования. Но для этого нужен бюджет. Можно использовать сторонние программы типа SplitMetrics, Storemaven или Test Nest. С их помощью вы настроите страницы магазина приложений, а потом создадите варианты для тестирования. Оттуда же сможете управлять трафиком (через Facebook Ads или любой другой источник), чтобы видеть, у какого варианта конверсия лучше.

 

Плюсы

+ Позволяет провести предварительное тестирование. Когда пользователь нажимает «установить» на странице макетного приложения, вы можете направить его на целевую страницу и собрать электронные адреса. Правда, некоторых может расстроить, что им придется ждать запуска.

+Тестирование сразу несколько переменных. Можно сначала протестировать скриншоты, а потом иконки.

+Возможность отслеживать поведение пользователей с помощью атрибутивных ссылок. Например, с помощью услуги AppsFlyer. Допустим, вариант A конвертирует на 10% лучше, чем вариант B. Но AppsFlyer показывает, что пользователи, которые видели вариант B, тратят на 20% больше денег. Что вы тогда выберете? Конечно В!

 

Минусы

-Дорого. От 149$ в месяц за программу плюс стоимость рекламных объявлений.

Не все клики будут конвертироваться в App Store. Сначала пользователи нажимают «установить» на странице макетного приложения, потом – направляются на настоящую страницу. Там им снова придется кликнуть. Многие не станут этого делать.

 

Когда использовать этот метод?

  • Ваше приложение доступно только на iOS.
  • Хотите предварительное A/B тестирование.
  • Можете позволить себе купить программное обеспечение для тестирования и провести рекламную кампанию.

 

A/B тестирование непосредственно через рекламные объявления

 

Используйте платные объявления Facebook Ads или любую другую социальную сеть. Это похоже на использование стороннего программного обеспечения. Исключение в том, что вместо трафика на страницу макетного приложения все будет работать напрямую.

 

Плюсы

+Дешевле, чем со сторонним программным обеспечением. Нужно платить только за рекламу.

+Можно сделать предварительное тестирование.

+Одновременное тестирование нескольких переменных. В одной рекламной кампании можно проверить скриншоты, в другой – значки.

 

Минусы

-Может дать искаженные результаты. Данные будут не такими точными по сравнению с использованием реальной или макетной страницы приложения.

Все еще может быть дорого.

 

Когда использовать этот метод?

  • Ваше приложение доступно только на iOS.
  • Для предварительного тестирования A/B.
  • Можете себе позволить платную рекламную кампанию, но не программное обеспечение для тестирования, такое как Split Metrics.

 

Тест A/B непосредственно на посадочной странице

 

Если у вас есть отдельная страница вашего приложения, можете использовать ее для A/B  тестирования разных графических объектов. Например, с помощью сервиса Optimize или Google Optimize (тесты на значки, скриншоты, описания, заголовок и даже на цены).

 

Плюсы

+Подходит для soft launch.

+Как правило, дешево и легко. Если у вас уже есть сайт, который получает приличный трафик, установите инструмент A/B тестирования и запустите тесты.

 

Минусы

Не так точно, как на странице магазина приложений. Другой контекст.

 

Когда использовать этот метод?

  • Приложение доступно только на iOS.
  • Хотите выполнить предварительное тестирование.
  • У вас уже есть страница с достаточным трафиком.

 

Через перекрестное продвижение

 

С помощью сервисов Apptimize или Optimizely вы сможете создать оффервол. Грубо говоря, это просто список иконок приложений, вставленных в рекламную страницу. Это перекрестное продвижение. Суть в том, что тесты будут проводиться на аудитории другого вашего приложения.

 

Плюсы

+Может быть дешево. Как только вы получите настройку на стене вашего сайта с разными значками, все текущие пользователи вашей игры будут вашими A/B тестерами бесплатно!

 

Минусы

Не так точно, как на странице магазина приложений.

Может потребовать много времени. Чтобы сделать оффервол вместе с A/B тестами.

Нужно хотя бы одно другое приложение с большой и активной пользовательской базой.

 

Когда использовать этот метод?

  • Если у вас большая база похожих приложений.

 

Запустите A/B опрос

 

Поделитесь данными с закрытой группой людей и попросите их проголосовать. Например, в Facebook.

Еще есть платные сервисы (наподобие Pickfu), где сравниваются два варианта.

 

Плюсы

+Дешево и легко. Даже с платным опросом можно получить результаты довольно дешево.

+Обратная связь. Попросите дать отзыв о том, что нравится и не нравится.

+Позволяет проводить предварительные тестирования.

 

Минусы

-Неточность. Опрошенные пользователи могут не быть целевой аудиторией.

 

Когда использовать этот метод?

  • Приложение доступно только на iOS
  • Хотите получить обратную связь

 

Один из последних советов: тестируйте один параметр за раз.

Например, скажем, ваше приложение еще не запущено, и вы все еще решаете, какие цвета использовать в вашей иконке и скриншотах. Запустите опрос, используя несколько разных цветовых палитр, соберите обратную связь по каждой из них, а затем используйте эти данные для улучшения дизайна.

Делали ли вы A/B тестирование для своего приложения? Поделитесь опытом в комментариях ниже. Хороших вам конверсий!

 

7 способов провести A/B тестирование приложения
5 (100%) 1 vote

Евгений Алексеев

Руководитель отдела ASO компании PushApp. Строгий, но справедливый.

Яндекс.Метрика