Рубрика «Эксперименты». Как мы сделали платформу A/B тестов для стриминга START

A/B или сплит-тесты помогают проверить, как изменения в работе или дизайне сервиса влияют на пользователя и влияют ли вообще. Например, цвет кнопки: при тесте часть пользователей будет видеть, например, красную кнопку вместо привычной зеленой. Для тестирования отбираются небольшие группы пользователей с заданными характеристиками. Это помогает просчитать, приживутся ли изменения. Ведь чем сложнее и старше продукт, тем аккуратнее стоит быть с новшествами, чтобы не потерять аудиторию и деньги.

Evrone разработал такой сервис для онлайн-кинотеатра START. Он связан с сервисом, который собирает необходимые данные о пользователях и имеет удобный интерфейс, где аналитики могут сами задавать параметры, делать группы, начинать и заканчивать эксперименты в заданное время. Вот несколько коротких фактов о проекте:

Сервис умеет отслеживать пересечения экспериментов, когда они нацелены на одну группу пользователей или проверяют одни и те же параметры. Это важно учитывать при анализе результатов.

Есть функция увеличения выборки в рамках одного эксперимента. Это нужно для успешных гипотез, которые показали позитивные результаты на малых группах. Так можно распространить позитивный опыт на всех пользователей сервиса.

Изначально планировалась простая статическая админка, когда страница обновляется после каждого изменения. Но из-за огромного количества параметров экспериментов пришлось разработать более сложную динамическую версию. Она сделана на React.

Бэкенд проекта написан на Python, использован веб-фреймворк FastAPI. Для работы с базой и управления данными выбрали стандартный набор из SQLAlchemy и PostgreSQL.

Подробнее о том, как реализованы все возможности, и как сервис работает изнутри, можно прочитать в кейсе у нас на сайте.