A/B-тесты, аудит и кастомизация: как данные помогают улучшать продукт
Правильная интерпретация данных может помочь не просто усовершенствовать продукт, а сделать это в соответствии с ожиданиями и потребностями пользователей.
Илья Колчин, руководитель отдела анализа данных «Учи.ру», рассказал, как Data Science используется в их компании и работает на благо продукта.
Многие компании применяют подход data-driven для принятия решений, влияющих на бизнес. Для нас такой подход — часть корпоративной культуры и всех рабочих процессов.
Мы накапливаем много данных — более пяти миллионов человек пользуется нашей онлайн-платформой, из которых около 3,6 млн — школьники, которые регулярно решают задания по 12 предметам, участвуют в олимпиадах и играют в обучающие игры.
Около десяти наших продуктовых команд еженедельно запускают новые олимпиады и курсы, делают задания более понятными и интересными, а процесс обучения — продуктивным. В этом помогают данные. На примере трех кейсов мы хотим показать, как data-driven работает на качество продукта.
Data science контролирует достоверность А/В-тестов
А/В-тестирование — это мощный инструмент для оценки улучшений в продукте. С его помощью можно достоверно измерить эффект от атомарных изменений продукта и принять решение о внедрении для всех пользователей. К тому же А/В-тесты дают компании объективную дополнительную информацию о предпочтениях пользователей.
Мы запускаем по несколько А/В-тестов в неделю, десятки из них идут параллельно. При запуске важно заранее определить дату подведения итогов, чтобы избежать так называемой проблемы подглядывания. Она заключается в том, что между тестируемыми группами периодически возникает статистически значимая разница, даже если группы не отличаются.
Появляется соблазн завершить тест досрочно или, наоборот, подождать подольше, если эффекта не видно. Оба варианта приводят к резкому росту ложноположительных результатов (разницы нет, но мы ее увидели), поэтому мы принимаем решение об успешности теста только один раз — в заранее выбранную дату.
При этом, если заложить на А/В-тест слишком мало времени, то, скорее всего, он будет признан неудачным, если слишком много — потеряем время.
Достаточное для А/В-теста время зависит от ожидаемого прироста метрики и целого ряда факторов:
- запускаем тест на первый класс или на всех школьников,
- на всех пользователей или только на новых,
- на учеников или на учителей,
- в какое именно время учебного года.
Причем в зависимости от аудитории теста срок его проведения может отличаться в разы.
Для оценки времени проведения мы разработали калькулятор А/В-тестов, который работает на основе большого количества уже накопленных данных и учитывает специфику каждого теста. С его помощью каждый менеджер может мгновенно получить оценку необходимого на А/В-тест времени с учетом всех факторов.
Data science ускоряет аудит продукта
В интерактивных уроках наших курсов нет разделения на теорию и практику — дети учатся в процессе выполнения заданий. Поэтому они должны быть спроектированы так, чтобы понятно объяснить тему и одновременно тренировать навыки решения.
Задания обычно проходят тестирование в школах, где методисты могут пронаблюдать, насколько ученикам понятны условия задачи, формат ожидаемого ответа, интерфейс. Но некоторые проблемы на малых выборках могут остаться незамеченными.
Здесь приходит на помощь изучение данных о детальных действиях учеников внутри заданий: куда кликнули, какие числа ввели, какой ответ выбрали.
Так, например, с помощью анализа данных мы выявили, что в заданиях с элементом «барабан» дети ошибаются часто. Дети нажимают на стрелки и меняют варианты ответов, пока не найдут нужный. Смена вариантов анимирована — барабан прокручивается вверх или вниз.
Мы изучили, какие события в этом задании происходили чаще всего:
- что делали дети на странице этого задания,
- какие действия совершали,
- как долго и насколько интенсивно это происходило.
Исходя из этих данных мы сделали выводы о ходе решения и возможных проблемах.
Ученик может кликать по всему полю задания, но для нас были важны клики по активным элементам, особенно по треугольникам направления. Мы обнаружили, что часто дети стремились снова кликнуть по стрелке до того, как завершалась анимация прокрутки. Причем клики по неактивной кнопке были в 90% решений задачи. Такие действия были бесполезны — сколько бы ребенок ни нажимал на кнопку, число не менялось.
Анимация «барабана» длилась 800 миллисекунд, но некоторые дети успевали сделать новый клик уже через 100-200 мс. Очевидно, что пользователей раздражала медленная прокрутка. И, хоть это не было существенным препятствием для решения задачи, мы ускорили «барабан».
Это решение распространилось на все подобные задания. Сейчас в них почти нет «лишних» кликов, дети решают их быстрее и эффективнее. Каждое подобное изменение по отдельности — мелочь, но вместе они помогают детям взаимодействовать с заданиями, а в конечном итоге — лучше понимать предмет.
Data science кастомизирует продукт
Персонализация продукта — один из главных трендов последних лет, осуществить который позволяют большие данные.
На основе действий конкретного ученика, истории решения заданий и данных о действиях других пользователей мы можем выстроить индивидуальную образовательную траекторию.
Каждый ребенок обучается по-разному. Кому-то нужно больше времени для освоения одной темы, но меньше — другой. Одаренный второклассник может понимать предмет на уровне четвертого класса.
Алгоритмы машинного обучения могут учитывать подобные особенности каждого пользователя и выстраивать процесс обучения индивидуально. В перспективе это повысит результаты обучения ребенка и позитивно повлияет на его образовательную мотивацию.
Как получить максимум
- Перед тем как выпустить новый продукт или переделать старый, проведите A/B-тестирование. Данные о поведении ваших пользователей дадут вам точный ответ на вопрос об успехе новинки.
- Разберитесь с A/B-тестами и разработайте их методологию. В этом вам точно помогут накопленные данные.
- Изучите данные о том, как пользуются вашим продуктом. Посмотрите на них под разными углами. Скорее всего, вы найдете много проблем, избавившись от которых вы во много раз улучшите пользовательский опыт.
- Персонализируйте продукт. Наверняка у вас уже накоплено довольно данных, чтобы сделать выводы о пользователях и предложить им нечто особенное. В этом вам поможет машинное обучение.