Контрольная «Описание бизнес кейса Вам будут даны несколько кейсов для разных...»,
АБ тестирование, Тервер, Продуктовая аналитика, менеджмент

Описание бизнес кейса Вам будут даны несколько кейсов для разных бизнесов с описанием бизнес задачи, которую необходимо решить: 1) Ваш продукт - это школа английского языка Лендинг для языковой школы. Проанализируйте конкурентов на рынке (SkyEng, Lingvoleo и прочие) и сформулируйте гипотезу по улучшению первого экрана лендинг. 2) Подведите результаты эксперимента в экселе по следующим данным: ab_stats.csv - Google Диск: Стат значимо ли отличается ARPPU в двух группах ? Какие рекомендации дадите менеджеру? Итоговая аттестация Описание бизнес кейса 3) Мы хотим провести А/Б-тест для трех источников трафика. Нынешняя конверсия равна 5%, мы ожидаем прирост в 0,2%. Уровень доверия 97% и уровень мощности 87%. Всего на наш продукт заходит 40 000 пользователей в месяц. 3.1) За сколько дней мы сможем протестировать гипотезу? И что вы можете посоветовать по результатам подсчета? 3.2) Допустим в задаче нет проблемы с количеством посетителей на сайт, тогда подведите результаты тестирования, если у нас следующие результаты по количеству конверсии: 1) 25 000 2) 30 000 3) 32 000 Итоговая аттестация Описание бизнес кейса 4) Вы решили сравнивать метрику CPA в двух группах. Размер выборки - 2350 элементов в каждой группе. Для проверки нормальности распределения на выборке в 2350 наблюдений применили , критерий Шапиро-Уилка и получили p-value, равный 0.00002, alpha = 5%. Какой бы вывод мы могли сделать в данном случае? В этом случае какой статистический критерий для проверки первоначальной гипотезы тут лучше всего подойдёт и почему ? Итоговая аттестация Описание бизнес кейса 5) Мы провели АБ-тест на увеличение average timespent per user. По итогам тестирования мы получили следующие данные. Является ли результат статистически значимым с уровнем доверия 80%? Какую версию мы выкатим на продакшн? A) Средняя - 360, отклонение - 40, количество - 9802 B) Средняя - 352, отклонение - 58, количество - 9789 Итоговая аттестация Описание бизнес кейса 6) Создайте техническую архитектуру проекта по аб тестированию продукта он-лайн кинотеатра с учетом кросс-девайс аналитики по следующей гипотезе: Если договориться с банком о 99% кэшбэке на подписку первого месяца, то это повысит конверсию в подписку на 30%, благодаря упрощенному принятию решения со стороны пользователя. На схеме необходимо отобразить: 1) Управленческий процесс по договоренностям с внешними партнерами 2) Архитектуру данных с указанием систем, из которых будем скачивать данные 3) Внутрикомандное взаимодействие