ZM Workshop

Что будет в этой части:

• Какова цель отдела аналитики;
• Как маленьким командам внедрить глубокую аналитику, что конкретно надо делать;
• Что делать с собранными данными;
• Как тимлиды работают с данными;
• Какие данные нужно собирать;
• Примеры ошибок в анализе данных;
• Какой минимальный объём данных нужен для выстраивания отдела аналитики.

Пост подготовлен мной специально для тех, кому удобнее воспринимать текстовую информацию.

Highroller — помогаю iGaming-аффилейтам зарабатывать больше:

https://t.me/highroller_channel

ZM team — международный аффилейт-холдинг:

https://t.me/zmrecruiting

Как давно начали развивать отдел аналитики?

Ольга:

Как давно ZM начали развивать отдел аналитики?

Владимир, руководитель отдела аналитики ZM:

Отдел аналитики начал развиваться примерно полгода назад. За это время мы форсированно начали выстраивать базу аналитической инфраструктуры, делать базовую аналитику трафика. И я думаю, в этом вы мы сильно преуспели за полгода.

Какая цель развития собственного отдела аналитики?

Ольга @WTFisCPA:

Главный вопрос: зачем?

Владимир, руководитель отдела аналитики ZM:

На самом деле это важное стратегическое решение. В последнее время рынок гемблинг-трафика сильно вырос, выросли косты на трафик, выросли косты на процессы, сложность процессов увеличилась, и всё это требует высокой эффективности в каждом уголке компании. Аналитика именно это и даёт, поэтому было принято решение развивать это направление. И вот мы успешно с этим справляемся.

Как внедрить аналитику в медиабаинг?

Ольга @WTFisCPA:

Как внедрить аналитику в медиабаинг, чтобы перейти от рандомных заливов к прогнозируемой прибыльной системе?

Владимир, руководитель отдела аналитики ZM:

Аналитика в медиабаинге — это довольно большая система, и в первую очередь это система сбора данных. Дотянитесь до каждого уголка, где у вас есть данные: это CRM, админки, Google Analytics, Binom, личный кабинет Facebook — собирайте данные, складывайте в одно место: в любые Excel, файлики, базы данных. Это всё очень понадобится и будет полезным.

При дальнейшем анализе мы пошли именно по такому пути. У нас довольно большая инфраструктура сбора данных в одно место для того, чтобы появилась возможность сквозной аналитики от самого начала, самых истоков появления трафика у нас до оседания пользователей в продуктах наших рекламодателей.

Как маленьким командам выстроить отдел аналитики? Возможно ли это?

Ольга @WTFisCPA:

Всё-таки нас смотрят ребята разные, медиабайеры из менее крупных команд в том числе. Давай для них подсветим. С чего начать командам, чтобы начать внедрять аналитику? Вот прям по шагам, вот что нужно на старте сделать?

Владимир, руководитель отдела аналитики ZM:

Собираем данные со всех мест, в которых это возможно. Буквально. Если у вас и возможность выгрузить файлик в Excel, выгружаем. Чем за больший период, вы сохраните у себя данных, тем больше возможностей появится, допустим, через год взглянуть на ретроспективу ваших заливов.

Наймите Python-разработчика. Если у вас появились свободные руки или свободный бюджет для найма небольшого хотя бы Python-разработчика — нанимайте.

Что делать с собранными данными?

Ольга @WTFisCPA:

Данные собрали. Что дальше с этими данными можно делать?

Владимир, руководитель отдела аналитики ZM:

Это хороший вопрос. У нас в ZM три главных направления:

1. Мы проводим глубинные исследования по метрикам заливов.
2. Сравниваем связки, чтобы найти самые эффективные комбинации.
3. Работаем с моделями машинного обучения, моделями прогнозирования и так далее.

Ольга @WTFisCPA:

Как вы это делаете?

Владимир, руководитель отдела аналитики ZM:

Если чуть побольше развернуть первый пункт про глубинные исследования, то сегментация — самый, наверное, прозрачный пример.

Вот у нас в ZM есть большое преимущество. На самом деле, в плане аналитики у нас есть колоссальный объём данных, который мы накопили за всё время работы, и там мы решаем задачу сегментации.

По факту весь массив данных — большое количество связок, заливов, продуктов — необходимо просегментировать, чтобы узнать, с каких источников какие сегменты приходят, насколько они эффективно окупаются, какие у них показатели и так далее.

Мы стремимся к системе сегментации с большим количеством параметров, чтобы мы понимали: вот в этом заливе на Германию у нас больше всего присутствует сегмент, в котором:

• пол мужской;
• средняя возрастная категория;
• FTD класса 2 (наша внутренняя маркировка);
• сумма повторных депозитов класса 3 и так далее.

Это даёт нам понимание, какую когорту мы залили.

Если мы пройдёмся по всем-всем-всем историческим данным — это даст настолько ценные знания, что буквально просто анализируя вот это, мы можем манипулировать связками, манипулировать заливом и повышать эффективность. Просто вот проанализировав то, что у нас сейчас есть.

Ольга @WTFisCPA:

Что это даёт командам? Все вот эти подходы, весь этот анализ данных.

Владимир, руководитель отдела аналитики ZM:

Мы разрабатываем аналитические инструменты, то есть классические отчёты дашборды в BI, и мы разработали, я надеюсь, удобные инструменты для наших команд медиабаинга. Сейчас мы вам покажем на стриме флоу анализа тимлидами медиабаинга.

То есть тимлид буквально начинает свой день с того, что заходит в аналитику. У него в этом аналитическом инструменте есть фильтры по периодам, по продуктам, по рекламодателям — все, которые его интересуют для того, чтобы настроить необходимую когорту. Сверху тимлид видит блок с KPI, на который он обращает внимание и пытается ответить себе на вопрос:

Есть ли какие-то критические изменения, которых он не ожидал или ожидал, и нужно ли прямо сейчас предпринимать какие-то шаги?

На изображении мы видим две метрики: Partner Deposit OAS и Partner Deposit ROAS, которые связаны с окупаемостью. Естественно, медиабаинг следит за этими показателями. Ниже мы видим блок конверсий: воронку из регистраций в депозиты, выплаты комиссии за эти депозиты, и Roas Positive Players.

Roas Positive Players — это наша метрика, которая означает, что для рекламодателя непосредственно это количество игроков стало плюсовым, и мы видим в итоге финальную конверсию.

Тимлид смотрит на воронку, понимает, нужно ли ему ещё что-то делать или, может, проводить анализ дальше.

Тут он видит на ретроспективе в большой временной промежуток — полтора-два года — данные по своим когортам.

Что мы тут наблюдаем на самом деле? Если грамотно интерпретировать аналитику, то мы видим: последние когорты там ниже, чем центральные. Это абсолютно нормально. Тут мы должны наблюдать нормальное распределение. Он наблюдает, есть ли у него пики, есть ли у него провалы, нужно ли принимать какие-то манипуляции с этим всем делом? Если нет, спускается дальше.

Здесь payouts и метрики окупаемости. Также грамотная интерпретация говорит нам, что график тут не стагнирует вниз. Это его естественное положение, потому что когорты со временем будут накапливаться. И в центре мы всегда будем видеть больше пиков, чем по краям.

Допустим, нас интересует какая-то конкретная когорта по дате регистрации, например, два месяца назад, либо какой-то конкретный рекламодатель, и мы спускаемся ещё ниже, переходим на следующий дашборд.

Здесь у нас большая широкая таблица уже для детального анализа. Тут у нас есть возможность все вот эти разрезы, которые вы сейчас видите по датам, дополнительно сегментировать по нескольким параметрам. Допустим, по всем байрам, по всем ГЕО, по всем рекламодателям и так далее. То есть вы увидите очень широкую таблицу с большим количеством параметров.

На самом деле, если выше возник бы какой-то вопрос по какой-то когорте, тут вы бы нашли более детальный сегмент, нашли причину и ответили на свой вопрос, предприняли какие-то действия.

Проход по всему этому дашборду, я вас уверяю, не должен занять много времени. Наоборот: сократить утренний анализ работы медиабаинга.

Ольга @WTFisCPA:

А какая глобальная цель вот этого инструмента?

Владимир, руководитель отдела аналитики ZM:

Вообще, аналитика призвана увеличивать эффективность любых подразделений. Собственно говоря, и сейчас наша задача — увеличивать эффективность подразделений команд медиабаинга и помогать им принимать решения быстрее и точнее. Если они принимают решения быстрее, точнее, мы сокращаем затраты, увеличиваем их эффективность, — наша цель достигнута. В общем, наша цель — сугубо помогать.

Действительно ли такой инструмент удобен удобен тимлидам и хэдам команд?

Ольга @WTFisCPA:

Влад, насколько такой инструмент удобен для заливов. Он действительно повышает эффективность работы или только грузит тимлида дополнительным анализом дополнительных метрик?

Влад, Head of Deus by ZM:

Важно понимать, для чего это сделано. Сейчас весь баинг сконцентрирован на низкой стоимости закупки трафика, и это приводит к тому, что ты не можешь прогнозировать, а каким именно образом трафик окупается для рекламодателя. Таким образом, чтобы стабилизировать и масштабировать закупки трафика, ты можешь смотреть, как именно окупается это на стороне рекламодателя. В общем, важно найти баланс между маржинальностью своей закупки и окупаемостью на стороне рекламодателя.

Из чего складывается метрика окупаемости? Только из повторных депозитов и высоких чеков или всё же нет?

Ольга @WTFisCPA:

Раз мы уже затронули тему окупаемости, давайте тогда на этой метрике подробнее остановимся. Из чего складывается метрика окупаемости? Действительно ли это нечто большее, чем просто повторные депы и высокие чеки?

Владимир, руководитель отдела аналитики ZM:

На самом деле, это самый интересный вопрос, которым я задавался с приходом в ZM.

Для меня и для ZM окупаемость — это очень комплексная метрика, и точно она не характеризуется фразой «Трафик окупится через 6 месяцев, 7 месяцев, 5 месяцев». Абсолютно нет. Комплексный показатель, в котором мы учитываем такие метрики, как:

• средняя сумма FTD;
• сумма депозитов и выводов отдельно;
• сумма FTD;
• отдельно сумма повторных депозитов;
• NGR;
• GGR;
• скорость прироста NGR.

Со временем некий график у нас получается. Обязательно анализируем метрики здоровой игровой активности — это большое количество ставок, средней ставки и так далее; временные промежутки между ключевыми действиями пользователя. Соответственно, промежутки от регистрации до депозита, до игровой активности, до вывода и так далее, и его конверсии. И, конечно, мы используем в рамках определения окупаемости результаты работы наших моделей машинного обучения, которых мы сейчас активно разрабатываем. Они тоже участвуют в экспертной оценке этой комплексной сущности под названием «окупаемость».

Как построены переговоры с продуктами для передачи данных?

Как выглядит процесс

Ольга @WTFisCPA:

Я понимаю, что для детальной окупаемости все эти метрики сначала нужно собрать. У меня тогда вопрос к тебе. Ты рассказывал, что уже активно налаживается автоматическая передача данных по API. И вот расскажи, как идёт этот процесс, всплыли ли какие-то подводные камни, охотно ли рекламодатели делятся этими данными или всё-таки есть у них уже какие-то опасения, что мы может быть хотим чего-то много вообще и как с этим работать?

Ярослав, ССО ZM team:

На самом деле, топ 3 вопроса ко мне с момента, как мы начали об этом рассказывать там на конференциях во время выступлений топ 3 вопроса.

«А как это у вас получилось, чтобы все рекламодатели давали по API всю информацию?» Нет такого, что это какой-то сложный процесс либо запрещённая история, потому как в 95% случаях мы просто собираем ту же информацию, которая есть в кабинете рекламодателя.

Сложность возникает скорее потому, что так никто не делал. Это довольно новый запрос. Понятное дело, что существуют трекеры, которые по API собирают информацию, они были и до этого. Просто они были больше применены к другим трафик сорсам, чаще всего к поисковым типа SEO и PPC.

Есть трекеры, которые по API собирает данные, но там история больше не про CPA, а про RevShare/Hybrid. Там касательно трафика сильно меньше объёмов и меньше метрик, на которые ориентируются. Наверное, то наличие и количество метрик, которые собираем мы по API, скорее всего в рынке в принципе никто никогда не запрашивал, не собирал.

Всё зависит не от продукта, а от платформы. Какие-то платформы под это были заточены изначально и для них Довольно легко на самом деле поднять по готовой API-документации передачу данных, её отстрелить и так далее. Для ряда платформ, к сожалению, это вызывает трудности. Но на сегодняшний день, как мы работаем, у нас, помимо Владимира в команде аналитики есть ещё ребята, вот, и они активно вступают в диалоги с технической точки зрения, касаемо того, как передавать данные. То есть у нас были те платформы, с которыми это прошло вообще за пару дней, есть те, с кем до сих пор ведутся переговоры.

Конкретного какого-то отказа от какой-то из платформы от передачи данных не было ни разу. И здесь нужно понимать, что мы даём пользы даже больше продуктам, чем себе, как бы это ни звучало, потому как в большей степени мы забираем на себя работу с стопами трафика, анализом трафика с тем, чтобы изменения на стороне баинга производились ещё до того, как об этом просигнализирует affiliate-менеджер со стороны продукта.

Проблема фидбэка по трафику в настоящий момент

К сожалению, флоу сегодняшний — это два раза в месяц, в каких-то лучших случаях один раз в неделю репорт о трафике, который присылается тебе задним числом. Он для байера чаще всего абсолютно неинформативный, потому как на больших объёмах аккаунт в бане. То есть тебе говорят, что трафик был плохой, и ты такой класс, а что мне делать с этой информацией? И тебе приходится постфактум пытаться вносить изменения, на что тратится время, ресурсы и обе стороны меньше зарабатывают.

Есть понимание, что нужно минимизировать человеческий фактор. Когда это понимание есть, то приходится на себя забирать чужие боли, на своей стороне их адаптировать и в таком случае расти обеим сторонам больше. Поэтому мне кажется, что с точки зрения платформ и продуктов помощь в виде передачи по API данных — это объективно несложный процесс. Это меньшее, что можно сделать. Мы уже собираем прикольный фидбэк. В основном все в приятном шоке, что медиабай об этом задумался.

Почему возникло недоверие со стороны рекламодателей

Скажу честно, были разговоры из разряда: «Вы нас что, подозреваете в чём-то? Вы нас хотите перепроверить?» Но абсолютно здесь такой цели не было. У нас изначально цель — это в принципе понять, как мыслит рекламодатель. И это нужно понять не только нам — менеджерам и руководителям, а в целом всем медиабайерам. Это позволяет вносить изменения в режиме реального времени, чтобы целиться не только на свои показатели по типу R2D, но и быть нацеленным на что-то посередине и опираться на это при масштабировании своих своих компаний.

Многие рекламодатели уже научились мыслить, как аффилейт

Да, мы мыслим как рекламодатель, и это 100% новая веха. Просто давайте будем честны: в прошлом году очень многие рекламодатели научились мыслить как аффилейт. Это очень многие рекламодатели супердетально разобрались в том, как именно мы работаем, на что мы опираемся, какие цифры смотрим. Пора бы и нам начать очень хорошо понимать, что происходит по ту сторону луны.

Ольга @WTFisCPA:

Такой подход позволяет «быстро реагировать», понимать, как мыслит рекламодатель. Но ведь это явно не всё. Что ещё даёт этот подход?

Владимир, руководитель отдела аналитики ZM:

Да, на самом деле, если раньше полемика вокруг окупаемости строилась, этот трафик окупается, этот нет, то подход с аналитикой позволяет нам:

• выделить крайне много сегментов для анализа;
• проанализировать, чем же они отличаются друг от друга;
• какой профит они приносят и нам, и рекламодателю;
• на каком этапе одни сегменты переходят в другие.

Это очень много информации, из которой можно буквально добывать инсайды и понимать, как добыть тот или иной сегмент. На этот вопрос мы и пытаемся ответить.

Как работают модели прогнозирования метрик?

Ольга @WTFisCPA:

Прогнозирование метрик вообще звучит крайне интересно. Как работают эти модели прогнозирования и какие метрики они позволяют прогнозировать?

Владимир, руководитель отдела аналитики ZM:

Мы сейчас работаем над несколькими моделями, они все в стадии разработки и заслуга этого на самом деле — большой объём данных, потому что только с определённого объёма можно начать вообще подходить к моделям. Если вы небольшой баинг, который собрали данные за год — нельзя будет создать и обучить модель.

Я не смогу вам ответить на вопрос, сколько конкретно данных нужно, поскольку этот объём сначала отправляется аналитикам, они его чистят, анализируют, проводят предварительные работы, потом приходят и говорят «да, они достаточно большие, чистые, чтобы с ними работать».

Аналитики в целом преследуют одну цель — помочь эксперту увеличить точность его экспертизы. То есть, если вы видите место, где эксперт принимает решение на основе своей экспертизы, интуиции и так далее, — это прекрасное место для внедрения AI-моделей.

Возможности моделей, которые мы разрабатываем в данный момент:

Первое. Предсказывает вероятность оттока пользователей — метрику Churn Rate. Давайте представим очень большой объём данных, и модель с помощью них может увидеть похожие паттерны перед финальным оттоком пользователя с платформы. Также она может заранее находить антипаттерны в пользователях, которые ещё не ушли, и сигнализировать, что с ними что-то не так.

Второе. Определяет потенциального VIP-пользователя. Точно по такой же схеме у VIP-пользователей есть очень много сегментов, но мы можем найти общие паттерны одного пользователя и определить его как ВИПа ещё до того, как он стал этим ВИПом.

И, конечно же, последние модели, которые мы разрабатываем, помогают предсказать поведение сегментов трафика на стороне рекламодателя. Точно такая же история. Мы целимся на временной промежуток например, в 6 месяцев, и определяем вероятность, с которой игрок окупится через 6 месяцев. Соответственно, сейчас мы стремимся к временному промежутку одного пролива — примерно 2-3 недели. За 2-3 недели мы предсказываем точность окупаемости через 6 месяцев. Сразу скажу: мы будем работать над этим ещё достаточное количество времени.

При улучшении модели мы сокращаем этот срок и увеличиваем точность, вероятность попадания модели в истину, собственно говоря. И потом проходит время. Мы собираем ретроспективные данные: были предсказания модели правдивыми или нет. Улучшаем модель, обучаем её. Это такая постепенная долгая работа. Я уверен, мы выведем это в наш внутренний продакшн процессов.

Как будет выглядеть взаимодействие тимлидов и модели?

Ольга @WTFisCPA:

Как будет выглядеть взаимодействие у тимлидов и модели?

Владимир, руководитель отдела аналитики ZM:

Мы предполагали, что все модели, которые мы разрабатываем, — это по факту какое-то ядро программного кода, который может отдавать данные куда угодно. И мы планировали отдавать их в отчётность. Вот буквально в отчёты в дашборд, который мы видели ранее на скриншотах — там будет новая колонка. Это результат работы модели вероятности.

Мы выведем какие-то референсные значения, что там 70% вероятности, это среднее, выше подсвечиваем зелёным, ниже подсвечиваем красные все. Тимлид медиабаинга заходит плюс информация, можно принимать решение.

Но также хочу отметить, что аналитика, помимо непосредственно аналитики, занимается ещё вопросами автоматизации. Сейчас у нас есть проект, в котором мы реализовываем систему алёртов по нужным референсным значениям. Условно, тимлид медиабаинга проснётся утром — а у него три уведомления от Telegram, что потоки, которые он отметил, имеют такие-то и такие-то значения — нужно обратить внимание.

Алёрты — несложная работа, но ценная. Мы доставляем данные вовремя для того, чтобы ответственное лицо быстрее приняло решение.

Примеры ошибок в аналитике данных

Ольга @WTFisCPA:

Ты как-то оговорился, что с данными нужно уметь работать, что просто сбор данных может не дать никаких результатов, если неправильно их обрабатывать. Мог бы ты нам подсветить, что ты имел в виду здесь и, может быть, прямо на примерах показать ошибки, которые совершают люди при работе с данными?

Владимир, руководитель отдела аналитики ZM:

На моей практике было много случаев, когда данные интерпретировались неверно, принимались неверные решения, и потом всё это запутывалось невероятно сильно. И потом разобраться в этом было крайне сложно. В основном это связано с визуализацией. То есть, если аналитики визуализировали данные некорректно, не добавили метрик, то ответственное лицо, смотрящее на эти метрики, может принять неправильное решение. Минус деньги, минус эффективность.

Давайте посмотрим изображение. Здесь показан рост конверсии без учёта качества. Что мы видим на этом графике? Количество конверсий увеличивается. Всё прекрасно, нам нравится, мы чувствуем позитив. Всё замечательно. Но можем ли мы принимать хоть какое-то решение на основании этого графика? Нет.

Вот это изображение чуть более корректное. Помимо графика конверсий, мы видим график отклонённых конверсий — и график деклайнов растёт. А ROI падает.

Это большая причина задуматься, точно покопать ещё глубже и не принимать каких-то поспешных выводов. То есть нельзя просто отображать одну метрику и пытаться принять решение на основании только её без комплексного отображения других метрик.

Следующий пример.

Первый столбец — агрегированный ROI по всем сегментам. Он где-то 0.9, выглядит хорошо, всё нормально. Но если мы разделим на сегменты, то увидим другую картину. Сегмент А ниже среднего, сегмент В — выше. У нас могут появиться вопросы, мы можем задаться какими-то гипотезами, их потом проверить.

Оба сегмента нужно проанализировать.

Если бы мы просто видели среднюю картину по офферу, то видели бы условно нормальный ROI и пошли бы спать. Но исходя из более детальной аналитики по каждому офферу, которую видим на изображении, тут явно есть что копать — как по высоким столбцам, так и по низким, а аналитика очень любит копать.

Нам нужно найти причину и следствие. Как так получилось, почему? И чем больше мы отвечаем на эти вопросы, тем больше экспертных знаний мы получаем.

Здесь мы видим, что график идёт вниз. Это вызывает у нас не очень хорошее чувство, тем более мы видим, что там написано количество регистраций, но обращаю внимание — это график за три дня. Можно ли принимать решение на таком коротком промежутке времени?

Можем ли мы тут сказать, что регистрации действительно падают от 100 до 80, и это статистически значимо? Не совсем. А что нужно сделать?

Мы увеличиваем временной диапазон отображения, видим синюю линию. Довольно волатильный график. Можем ли мы просто по синему графику определить тренд? Визуально это сложно. Видим, что пики увеличиваются, провалы увеличиваются.

Здесь нужно применить практику среднего скользящего. Эта практика сглаживает высоковолатильные графики и помогает определять тренды. Мы считаем зелёный график, среднее скользящее за последние 7 дней. Видим ли мы тут явный тренд на снижение? Нет, мы видим небольшой рост, небольшой провал. Но вот после среднего скользящего можно сказать, что в рамках стандартного распределения этой метрики всё окей, никаких поспешных выводов принимать не нужно.

Если неправильно интерпретировать данные, то после неверно принятого решения, спустя время, разобраться в причинно-следственной связи будет крайне сложно.

Та же ситуация. Мы отображаем график по конверсии трёх офферов — A, B и C; по третьему офферу конверсии ещё даже не успели «доехать», у нас на временном промежутке всего успело накопиться пару дней.

Нужно рядом с этим графиком не вывести ещё один.

Это среднее распределение задержек конверсий, которые в среднем формируются либо на этом продукте. При наличии этих двух графиков рядом мы сможем предположить, что сейчас прошло два дня в целом от нуля до двух с половиной дней у нас накапливается какой-то объём конверсий по второму графику (оффер В). Дальше есть дотекание. Мы примерно можем что-то предположить, хотя бы это поможет визуально вместе определить ситуацию, которая сформировалась, и принять какое-то решение.

Насколько срочно баингу нужно внедрять детальную работу с аналитикой?

Ольга @WTFisCPA:

Насколько срочно баингу нужно внедрять такую детальную работу с аналитикой уже сегодня?

Владимир, руководитель отдела аналитики ZM:

Я бы не сказал, что прям сейчас всем нужно бежать и внедрять детальную аналитику, но я бы точно всем рекомендовал начать собирать данные — в любом формате, в любом месте. Рано или поздно вы придёте к тому, что пора нанимать аналитика. Либо у вас будет человек, который горит этим делом. У него будет база для работ, и он будет рад, что есть данные хотя бы там за год, за два года и так далее. После этого вы сможете провести такую глубокую ретроспективу всего своего временного промежутка, ответить на вопросы, подтвердить или даже подвергнуть сомнению утверждение, которое вы уже знали.

Какой минимальный объём данных необходим для корректных выводов?

Ольга @WTFisCPA:

Какой минимальный период сбора данных и их объём необходим для корректных выводов при анализе и для старта обучения моделей прогнозирования метрик? Ты так уже затронул, но тут просят дать хотя бы примерный ориентир ещё раз.

Владимир, руководитель отдела аналитики ZM:

Для моделей машинного обучения нужно и разнообразие, и объём на большом промежутке данных, я бы сказал, тысяча-десятки тысяч связок и разнообразных комбинаций на промежутке от года до 2 лет. Начало вы можете построить вот на минимальном наборе данных, попробовать загрузить их в очистку, обучить на них модель — и вы увидите какой-то процент точности.

Если данных мало, вы увидите, что нет разнообразных данных, процент точности будет 50%. Это неудовлетворительно, просто пальцем небо. Нужно накапливать данные дальше.

Если мы говорим про классический анализ, достаточно добиваться статистической значимости. Это показатель, который рассчитывается по формуле. Вот буквально вы можете сейчас забить туда что-то и посмотреть примерную статистическую значимость. Сами аналитики могут её посчитать и гарантировать, что на 90% тут есть та значимость, можно опираться на эти данные.

На маленьких объёмах трафика глубокая аналитика нецелесообразна?

Ольга @WTFisCPA:

На каких объёмах трафика такая детальная аналитика качества становится критически важным фактором? Есть кейсы, когда настолько глубинный подход нецелесообразен?

Владимир, руководитель отдела аналитики ZM:

Мне кажется, даже минимальная команда из трёх человек может внедрять минимальную аналитику. Даже если вы один байер — ведите свою статистику, начните анализировать, сравнивать подходы. Анализируйте, что вы делаете, какие результаты это приносит, и старайтесь делать выводы. Я бы прям рекомендовал это делать сплошь и рядом, хотя бы в Excel-табличке. Не знаю, что многие ведут, но вот пора углубляться в профессионализм этой сферы.

Ольга @WTFisCPA:

Что за метрика такая Deposit OAS?

Владимир, руководитель отдела аналитики ZM:

Это классический ROAS, одна из метрик окупаемости, но которая считается не через депозиты минус выводы, а только через депозиты. Есть ряд причин, по которым депозитная активность и активность выводов может иметь какую-то дельту непостоянную. В общем, это метрика вместе с метрикой ROI, вместе с метрикой ROAS позволяет провести более комплексный анализ.

Как анализировать данные при заливе на приложения?

Ольга @WTFisCPA:

Прилки же могут баниться. То есть аудитория нестабильная. Сегодня есть, завтра нет. А повторить в точности залив с Facebook не всегда возможно, тогда как помогает сегментация?

Влад, Head of Deus by ZM:

У вас уже есть сценарии и подходы, где вы знаете, какое качество трафика получите. Соответственно, забанилось приложение или отлетел в бан рекламный кабинет — вы можете повторить тот же сценарий и ориентироваться на ту же окупаемость. То есть переменная в виде мобильных приложений исключается.

Точно так же разные адсеты дают уникальное качество трафика. При аналитике в новых запущенных потоках трафика ты точно так же ориентируешься, что окупается, а что не окупается.

В общем, просто точно так же повторяете свои маркетинговые стратегии и приходите к +/- той же маржинальности и окупаемости со стороны рекламодателя.

Нет проблем с тем, чтобы в точности повторить залив с Facebook на прилы. Достаточно использовать сервис, где при бане приложения трафик автоматически, без стопа, перенаправляется на другое.

Владимир, руководитель отдела аналитики ZM:

Даже если будут баниться приложения, то при наличии сегментации вы в любых других заливах сможете найти сегменты. При попытке повторить этот залив вы можете либо найти, либо наоборот не обнаружить эти сегменты. И уже это даст вам пищу для размышлений.