Дайджест №124

Сегодня в выпуске:

• Рекомендацией не рождаются, ею становятся
• Результаты чемпионата по теннису в спартакиаде айтишников
• Нескучные будни

Рекомендацией не рождаются, ею становятся

Авторы: Артем Блинов (Data Scientist), Антон Шишкин (Ведущий архитектор проекта)

Ни для кого не секрет, что у нас с начала года работают рекомендации в ДБО. Их расчет был основан на расчете расстояния рекомендации до клиента: чем ближе, тем больше вероятность того, что она появится у клиента. Признаки, на основе которых рассчитывалось расстояние, мы выбирали на основе экспертной оценки владельцев рекомендуемых продуктов. Для запуска этого было достаточно. Получилось много рекомендаций на много клиентов. Казалось бы, чем больше рекомендаций, тем больше «выхлоп» от них. Но рекомендация должна быть полезной именно этому клиенту и именно в это время, иначе рекомендация мало чем отличается от массовой рекламы. Реклама приедается и клиенты уже крайне слабо реагируют на нее. Это подтвердили и данные с прода. Наша цель - сделать полезный сервис для клиента. Поэтому мы решили реализовать рекомендации на основе накопленных знаний о реальном использовании продуктов, сервисов, услуг.

2 недели назад у нас начали работать новые продуктовые рекомендации для юрлиц. Они рассчитываются при помощи алгоритмов машинного обучения, что позволяет сделать их более точными, персонифицированными, повысив доверие пользователя к выдаче. Идея заключается в том, что похожие клиенты будут действовать сходным образом. Для этого нами используются накопленные данные по клиентам для того, чтобы обучиться определять вероятность того, как будет действовать клиент исходя из того какими признаками он обладает на текущий момент. Мы используем самые разные данные которые могут характеризовать компанию: от места регистрации до числа сотрудников и активности движения денежных средств. На сформированной матрице признаков обучен алгоритм градиентного бустинга на деревьях, а именно одна из его самых эффективных реализаций XGBoost. Алгоритм строит много слабых классификаторов, которые представляют из себя простые решающие деревья. Хитрость заключается в том, что из таких слабых классификаторов, каждый из которых выдает результат чуть лучше случайного, можно составить сильный классификатор с большой точностью. Теоретическое обоснование такого подхода приводит Robert E. Schapire в работе The Strength of Weak Learnability. Сложность заключается в эффективном построении такого ансамбля деревьев, т.к. итоговое решение включает в себя сотни простых деревьев решений. Используемая библиотека XGBoost предоставляет инструментарий для тонкой настройки генерации, что позволяет обучить модель решать задачу классификации с высокой точностью, доходящей до 96%.

Поскольку методы машинного обучения полагаются на статистику по прошлому, мы планируем периодически выбирать случайных пользователей, которые не попадают в область вероятностей приобретения продукта, описываемую моделью, чтобы рекомендовать им конкретные продукты и следить за их поведением, расширяя возможности предсказания. Набирая все больше зависимостей в дальнейшем мы сможем автоматизировать процесс обучения и сделать работу сервиса рекомендаций более независимой.

Обученная модель запущена в отдельном микросервисе, запросы на расчет к которому совершает система рекомендаций.

Сейчас мы рекомендуем намного «кучнее», чем раньше. Например, если ранее за 2 недели мы совершали 8566 показов рекомендации по депозиту online, то сейчас 654. При этом только 0,2% показов ранее приводили к переходу на рекомендацию, тогда как сейчас 0,6%. И это не предел, наша задача сделать еще более полезный для клиента функционал.

Результаты чемпионата по теннису в спартакиаде айтишников

В субботу мы стартанули в спартакиаде айтишников и хочется отметить, что стартанули достойно, ведь в личном зачёте из 55 участников мы заняли:

• 3 место - Кашин Алексей,
• 9 место - Шульга Максим,
• 26 место - Клопотов Игорь,
• 31 место - Лялин Игорь,
• 37 место - Ходанович Александр.

Поздравляем, ребята!

Более того, уже готовы фото с этой мощной битвы: https://cloud.mail.ru/public/2Vob/2t32fUVpY

и

https://vk.com/album-19617695_264962001

Нескучные будни

На прошлой неделе дружной командой из трёх человек мы завершили несложные, но очень веселые работы по одной из задач. В честь этого знаменательного события Саша Жильцова и Сережа Акулич решили порадовать нашего коллегу Стаса Голованова из SimbirSoft. И выслали ему настоящее бумажное письмо…

Кажется, начало недели у Стаса очень даже задалось =)