Урок 7 «Анализируем метрики» |AI для образования
🧑🏫 Автор урока: Виктория Чернякова (@viktoria_method), методолог и продакт образовательных проектов.
📌 В этом уроке вы узнаете, как анализировать опросы, анкеты и метрики с помощью Data Analyst от ChatGPT, а также быстро генерировать идеи по улучшению продукта.
Содержание конспекта
Введение в метрики
📌 Метрики – это качественные и количественные показатели, которые используются для оценки эффективности, качества и результативности образовательного процесса, учебных программ, методов обучения и других аспектов образовательной деятельности.
Метрики есть почти во всех направлениях – они помогают отслеживать прогресс, выявлять проблемные области и принимать обоснованные решения для улучшения образовательных результатов.
📌 Это далеко не исчерпывающий, а основной список метрик, благодаря которому мы можем управлять нашим продуктом и делать его эффективнее и успешнее.
Работа с браузерной версией ChatGPT
Работать с документами можно в @GPT4Telegrambot через Claude 3, однако он не умеет создавать ответы в формате таблиц, что может быть необходимо.
Самый удобный вариант – браузерная версия и плагин Data Analyst, доступный по подписке «Plus»: https://chat.openai.com/#pricing.
Анализ CSI и NPS
📌 CSI (Customer Satisfaction Index) – это метрика, которая измеряет уровень удовлетворенности клиентов продуктом, услугой или общим опытом взаимодействия. Обычно CSI вычисляется на основе опросов клиентов, где они оценивают различные аспекты своего опыта по шкале (например, от 1 до 5 или от 1 до 10).
Полученные оценки усредняются и выражаются в процентах или баллах. CSI помогает компаниям понять, насколько довольны клиенты, и выявить области для улучшения.
Чтобы посчитать и проанализировать CSI с помощью ChatGPT, необходимо:
- Скачать таблицу с оценками студентов.
- Открыть плагин Data Analyst в разделе gpts.
- Загрузить таблицу в диалог с чатом и дождаться, пока чат с ней ознакомится.
- Сформулировать свой запрос.
📌 Обычно оценка собирается в конце каждого модуля / блока или месяца, в зависимости от формата программы.
Посчитай индекс CSI (средние оценки удовлетворенности студентов) по следующим показателям: [что вы хотите оценить из того, что есть в таблице, например, уроки, работа с куратором, домашние задания].
Выпиши самые частые [комментарии/ возражения/ благодарности] студентов, поставивших оценки [диапозон оценок, например, ниже 7].
📌 NPS (Net Promoter Score) – чистый индекс лояльности клиентов, это метрика, которая измеряет готовность клиентов рекомендовать продукт, услугу или компанию другим людям.
Клиентам задается вопрос: «Насколько вероятно вы порекомендуете нас друзьям или коллегам?» с просьбой оценить вероятность по шкале от 0 до 10.
На основе полученных оценок клиенты делятся на:
NPS вычисляется как разница между процентом промоутеров и процентом критиков. Эта метрика помогает оценить лояльность клиентов и потенциал роста за счет рекомендаций.
Чтобы посчитать и проанализировать CSI с помощью ChatGPT, необходимо:
- Скачать таблицу с оценками студентов и финальными анкетами.
- Открыть плагин Data Analyst в разделе gpts.
- Загрузить таблицу в диалог с чатом и дождаться, пока чат с ней ознакомится.
- Сформулировать свой запрос.
📌 Обычно NPS считается на основе финальной анкеты, которую студенты заполняют в конце обучения.
Посчитай индекс NPS (лояльности студентов) на основе финальной анкеты.
Выпиши самые частые [комментарии/ возражения/ благодарности] [нейтралов/критиков/ промоутеров].
Анализ доходимости
📌 Доходимость (COR) – это метрика, которая показывает, какой % студентов дошел до конца обучения и рассчитывается как отношение студентов, зашедших / посетивших последний урок к общему числу студентов.
Чтобы посчитать и проанализировать CSI с помощью ChatGPT, необходимо:
- Скачать таблицу с данными по посещаемости и активности студентов.
- Открыть плагин Data Analyst в разделе gpts.
- Загрузить таблицу в диалог с чатом и дождаться, пока чат с ней ознакомится.
- Сформулировать свой запрос.
Оцени динамику активности студентов. Посчитай % доходности по каждому [модулю/ блоку/ месяцу] и курсу в целом.
Анализ конверсии в кейс
📌 Конверсия в кейс – это метрика, которая показывает, какой % студентов от общего числа достиг поставленной цели или решил запрос во время обучения.
Чтобы посчитать и проанализировать CSI с помощью ChatGPT, необходимо:
- Скачать таблицу с вводными и финальными анкетами студентов.
- Открыть плагин Data Analyst в разделе gpts.
- Загрузить таблицу в диалог с чатом и дождаться, пока чат с ней ознакомится.
- Сформулировать свой запрос.
📌 Обычно конверсия в кейс считается на основе вводной и финальной анкет путем сопоставления поставленной цели и результатов обучения.
Сравни вводные и финальные анкеты из таблицы и напиши, какое число и % студентов от общего числа [количество студентов] [достигли поставленной цели/ решили свое проблему в процессе обучения]
Выпиши комментарии студентов, которые НЕ достигли цели – почему так получилось.
Выпиши комментарии студентов, которые достигли цели – что помогло им в этом?
Анализ других показателей
По аналогии вы можете посчитать и другие, важные для вас показатели. Например, среднее время на изучение модуля.
📌 Важно: ChatGPT может ошибаться и путаться в таблице. Иногда решить проблему помогает упоминание конкретных столбцов из таблицы, которые нужно проанализировать. Но даже в этом случае вам нужно проводить кросс-проверку.
Словарь урока
📌 Метрики – это качественные и количественные показатели, которые используются для оценки эффективности, качества и результативности образовательного процесса, учебных программ, методов обучения и других аспектов образовательной деятельности.
📌 CSI (Customer Satisfaction Index) – это метрика, которая измеряет уровень удовлетворенности клиентов продуктом, услугой или общим опытом взаимодействия. Обычно CSI вычисляется на основе опросов клиентов, где они оценивают различные аспекты своего опыта по шкале (например, от 1 до 5 или от 1 до 10).
📌 NPS (Net Promoter Score) – чистый индекс лояльности клиентов, это метрика, которая измеряет готовность клиентов рекомендовать продукт, услугу или компанию другим людям.
📌 Доходимость (COR) – это метрика, которая показывает, какой % студентов дошел до конца обучения и рассчитывается как отношение студентов, зашедших / посетивших последний урок к общему числу студентов.
📌 Конверсия в кейс – это метрика, которая показывает, какой % студентов от общего числа достиг поставленной цели или решил запрос во время обучения.
Задание
По возможности возьмите одну из имеющихся у вас выгрузок или анкет и попробуйте провести расчет 2-3 метрик.
Дополнительные материалы
- Плагин Data Analyst от ChatGPT
- Дополнительная статья про образовательные и продуктовые метрики: https://skillbox.ru/media/education/11-obrazovatelnykh-metrik-chtoby-otsenit-kachestvo-i-effektivnost-onlaynkursa/
Промпты из урока
Посчитай индекс CSI (средние оценки удовлетворенности студентов) по следующим показателям: [что вы хотите оценить из того, что есть в таблице, например, уроки, работа с куратором, домашние задания].
Выпиши самые частые [комментарии/ возражения/ благодарности] студентов, поставивших оценки [диапозон оценок, например, ниже 7].
Посчитай индекс NPS (лояльности студентов) на основе финальной анкеты.
Выпиши самые частые [комментарии/ возражения/ благодарности] [нейтралов/критиков/ промоутеров].
Оцени динамику активности студентов. Посчитай % доходности по каждому [модулю/ блоку/ месяцу] и курсу в целом.
Сравни вводные и финальные анкеты из таблицы и напиши, какое число и % студентов от общего числа [количество студентов] [достигли поставленной цели/ решили свое проблему в процессе обучения]
Выпиши комментарии студентов, которые НЕ достигли цели – почему так получилось.
Выпиши комментарии студентов, которые достигли цели – что помогло им в этом?