Аналитика данных в обучении: использование ChatGPT и Claude-2
О чем поговорим сегодня?
Короткой строкой: аналитика данных с ИИ
Оба инструмента (ChatGPT, Claude-2) предоставляют базовые функции анализа данных. С их помощью можно анализировать данные, строить модели, гипотезы и даже делать выводы. Но будьте осторожней: за моделями нужно внимательно следить, иначе могут нафантазировать много чего интересного.
Об авторе
Жолт Олах — старший технолог по обучению в компании Amazon, цель которого — дать людям возможность делать меньше работы и приносить больше результатов благодаря правильному сочетанию технологий, данных и обучения. Ранее Жолт занимал должность менеджера по цифровому обучению и опыту в Amazon Web Services (AWS).
Оригинал статьи: https://elearningindustry.com/data-analytics-using-chatgpt-and-claude-2
Аналитика обучения и искусственный интеллект
В моей предыдущей статье мы рассмотрели некоторые ловушки, которых следует избегать при сборе и анализе данных об обучении, чтобы предоставить заинтересованным сторонам полезные сведения.
В данной статье мы рассмотрим аналитику данных и искусственный интеллект. Мы разовьем эти понятия, попробуем применить их на практике. Мы проанализируем данные с помощью искусственного интеллекта. В частности, мы рассмотрим chatGPT 4.0 с интерпретатором кода и Claude-2.
Привет, я — chatGPT, продвинутая языковая модель, разработанная OpenAI. До сентября 2021 года я проходил обучение на разнообразных интернет-текстах. Моя основная функция — понимать и генерировать человекоподобный текст на основе полученных подсказок. По сути, я — разговорный ИИ, который может помочь в решении различных задач, включая, в частности, ответы на вопросы, обучение по широкому кругу предметов, помощь в написании текстов и мозговом штурме, и даже моделирование персонажей для видеоигр.
А вот что сказал о себе Claude-2:
Привет! Меня зовут Claude, я искусственный интеллект компании Anthropic созданный для того, чтобы быть полезным, безобидным и честным. Я не общаюсь многоуровневыми речевыми конструкциями, поскольку являюсь ИИ-ассистентом, ориентированным на естественное общение. Но я с удовольствием побеседую с вами об искусственном интеллекте и о том, как я могу быть полезен людям, занимающимися обучением и развитием. Моя цель — быть дружелюбным и внимательным собеседником, который поможет в решении задачи, ответит на вопросы и обсудит темы с соблюдением всех этических норм. У меня нет личных мотивов или планов, кроме как быть полезным. Я все еще учусь, но надеюсь, что мы сможем вести конструктивный диалог!
ChatGPT с интерпретатором кода в настоящее время доступен только для платных пользователей, в то время как Claude-2 является бесплатным. В настоящее время ChatGPT также ограничивает количество запросов, которые можно сделать в течение часа. Помимо этих различий, я попросил Claude-2 описать различия между двумя приложениями искусственного интеллекта. Вот что он ответил:
Есть несколько ключевых различий между мной и ChatGPT:
Я обучался в компании Anthropic на наборе данных, ориентированном на безопасный, полезный, честный диалог. ChatGPT обучался на более широком наборе данных из интернета.
Я создан для того, чтобы вести более естественный диалог. Я признаю, когда я чего-то не знаю, а не пытаюсь генерировать правдоподобные, но неверные ответы.
В процессе обучения я стараюсь избегать вредных, неэтичных или опасных ответов. Я стремлюсь избегать потенциального вреда.
Моя архитектура использует технику самосогласованности, чтобы избежать непредсказуемых выдумок в ответах. Подход ChatGPT иногда может приводить к непоследовательным или неверным ответам.
У меня есть возможность безопасно учиться на новых разговорах, чтобы продолжать совершенствоваться. Обучение в ChatGPT происходит на статических данных из исходного набора.
Предполагаемые сценарии использования
Я предназначен для качественного и естественного диалога. ChatGPT оптимизирован для работы с генеративным текстом.
Главное, что я стремлюсь к правдивым, безопасным, высокоинтеллектуальным разговорам. В ChatGPT приоритет отдается возможностям генерации текста, пусть даже иногда некорректного или непоследовательного. У нас разные цели проектирования. Но мы оба демонстрируем быстрый прогресс в области разговорного ИИ!
Вы, вероятно, заметили, что Claude-2 постоянно повторяет, насколько он дружелюбен, безопасен и честен. Он признается, если чего-то не знает, а не выдумывает ответ. Это происходит потому, что в данной модели для обеспечения безопасного и полезного диалога используется так называемый конститутивный ИИ. Он был обучен избегать потенциального вреда от опасных и неэтичных разговоров.
Аналитика с использованием искусственного интеллекта: как использовать ChatGPT и Claude-2
Предположим, что у вас есть .csv файл с данными, которые вы хотите проанализировать. Для этого эксперимента я создал несколько тестовых наборов данных. Мне было важно знать ответы, чтобы проверить анализ искусственного интеллекта. Если вам понадобятся когда-нибудь специальные фиктивные данные, mockaroo — отличный инструмент.
Загрузка файла
Первым шагом в обоих инструментах является загрузка файла .csv. Просто загрузив файл, оба приложения искусственного интеллекта могут понять суть данных. Например, вот что сказал мне Claude-2, прежде чем я начал анализировать данные:
Вот некоторые сведения о данных:
Имеются 600 строк данных, каждая из которых представляет отдельного человека.
id: уникальный идентификатор каждого человека;
email: адрес электронной почты;
талант: оценка таланта в диапазоне от 0 до 1;
pre_assessment: балл по предварительной оценке, диапазон неясен;
post_assessment: балл по результатам оценки, диапазон неясен;
30_day_performance: показатели через 30 дней, диапазон от 0 до 100;
60_day_performance: Показатели через 60 дней, диапазон от 0 до 100;
90_day_performance: Показатели через 90 дней, диапазон от 0 до 100;
В колонках, связанных с оценками и результатами работы, можно проследить, как люди проходят путь от первоначальной предварительной оценки, оценки после обучения до показателей эффективности через 30, 60 и 90 дней. Эти данные могут быть полезны для анализа результативности обучения.
Показатель таланта, вероятно, связан с некоторыми врожденными способностями или склонностями. Эти данные можно использовать для анализа того, коррелирует ли талант с оценками или результатами работы.
Имена, электронная почта и баллы широко распределены, что говорит о том, что это реальные выборочные данные, а не синтетический набор данных.
Довольно надежные предположения! ChatGPT получил аналогичные результаты. После загрузки данных можно попросить ChatGPT или Claude-2 провести дальнейший анализ.
Базовый анализ результатов предварительной и последующей оценки
Сначала рассмотрим результаты предварительной и последующей оценки. Какие вопросы вы можете задать?
- Минимум, максимум, среднее, медиана, стандартное отклонение и т. д.
- Пропущенные значения, разброс и т. д.
- Форма распределения данных.
- Есть ли разница в среднем значении, минимуме, максимуме и т. д. между двумя наборами данных?
- Если разница есть, является ли она статистически значимой?
Обратите внимание, что если разница есть, это еще не означает, что она статистически значима.
Что касается взаимосвязи между оценкой до и после, то можно сравнить распределения (а также их среднее и стандартное отклонение). Разница может свидетельствовать о том, насколько успешным был опыт обучения. Однако только на основании разницы в средних значения, нельзя с достоверностью сказать, что это статистически значимо. Технически вам не нужно знать, как определяется значимость. Можно просто спросить искусственный интеллект. Однако при попытке разобрать аналитику обучения с помощью ИИ важно обладать фундаментальными навыками работы с данными, чтобы судить о том, выдумывает ли ИИ или нет.
Является ли разница между оценками до и после статистически значимой?
Оба ИИ точно знают, какой анализ нужно провести и как ответить на этот вопрос. В ChatGPT использовался ANOVA, а в Claude-2 — парный t-тест. В данном случае оба варианта корректны (ANOVA может использоваться для двух или нескольких средних, а t-тест — только для двух выборок). Они не только запустили модели, но и предоставили код на Python и интерпретацию результатов.
Анализа данных о производительности с использованием искусственного интеллекта
Далее рассмотрим то, что действительно важно: данные о результатах работы. Если участники обучились (между предварительным и последующим тестированием), то это замечательно, но если они не применили полученные знания для выполнения работы, то это так называемое обрывочное обучение (scrap learning) (обучение, знания и навыки которого не применяются на работе).
Анализ данных о результатах работы за 30, 60 и 90 дней. Существует ли корреляция между оценками за обучение и результатами работы?
Опять же, аналитику нам выполняет «разговорный» ИИ. Нам не нужно использовать точный математический или статистический язык. Вы можете спросить то, что хотели бы узнать на простом «человеческом» языке. После того как мы спросили, обе языковые модели объяснили результаты:
… при этом выводится коэффициент корреляции Пирсона и p-значение для каждого показателя:
Поскольку все p являются значимыми, это указывает на наличие статистически значимой положительной корреляции между приростом успеваемости (разница до/после обучения) и результативностью в каждый период времени.
Однако коэффициенты корреляции относительно малы по величине и составляют от 0.17 до 0.29. Таким образом, хотя корреляции и являются статистически значимыми, взаимосвязь между ними слабая.
Таким образом, более значительные результаты обучения (до и после) связаны с более высокой успеваемостью, но очень слабо. Вероятно, существуют и другие важные факторы, влияющие на успеваемость.
Что теперь?
Корреляция означает просто связь между переменными. Корреляция может быть отрицательной, положительной или равной 0. Обычно корреляция находится в пределах от -1 до +1. Мы узнали, что хотя корреляция и существует, она слабая («коэффициенты корреляции относительно малы по величине»). Возможно, это не та информация, на которую мы рассчитывали, но данные говорят именно об этом.
Теперь, вероятно, вы заметили, что между 30- и 60-дневными показателями наблюдается более сильная корреляция (0,27 и 0,29), чем между 90-дневными (0,17). Это может быть объяснено различными факторами. Поскольку связь существует, мы можем попросить ChatGPT и Claude-2 провести дальнейший анализ, предложить модель данных, построить ее и визуализировать результаты.
И ChatGPT, и Claude-2 предложили поэкспериментировать с линейной регрессионной моделью, которую они построили. Однако ChatGPT также может визуализировать данные вместе с моделью. Я попросил ChatGPT сегментировать данные, и он построил для меня график с сегментами. Я попросил его построить график соотношения данных обучения и данных производительности, и он построил график. В общем, ChatGPT смог выполнить полный цикл работы с данными: импорт, очистку и сортировку, анализ, визуализацию и даже рассказ о данных. Это объясняется тем, что ChatGPT работает с интерпретатором кода, что, по сути, означает, что он перекладывает вычислительную работу на библиотеки Python.
Claude-2, похоже, смог создать несколько графиков, но они не отображались в чате. Может быть, я не разобрался, как это работает. Однако Claude-2 проделал хорошую работу, предоставив код и объяснив результаты.
Заключение
В целом, и ChatGPT, и Claude-2 отлично справились с анализом данных, включая моделирование данных, статистический анализ, обобщение выводов и даже рекомендации. Однако необходимо задавать правильные вопросы и перепроверять их ответы! То, что эти приложения генеративного ИИ кажутся умными, еще не означает, что они верны.
Например, в одном из наборов данных, который я создал, я смоделировал данные, объединенные из разных источников (что часто случается в реальной жизни), и поэтому кодирование переменных не совпало по столбцам. Для одной из переменных -1 означало «нет», а 1 — «да». ChatGPT все сделал верно, но предположил, что 0 означает «нет», и поэтому заявил, что у всех в наборе данных есть ячейки со значением «да». Я понял это, объяснил, что -1 означает «нет» и ChatGPT пересчитал свой ответ. В Claude-2 произошла аналогичная заминка с первыми итерациями анализа. Когда я попросил его перепроверить число, он обнаружил свою ошибку и извинился. Урок усвоен: доверяй, но проверяй.
Бонус: советы и лучшие практики по аналитике обучения от ChatGPT (с моими комментариями)
1. Определите четкие цели обучения
Четко сформулируйте цели обучения для каждой учебной программы или инициативы. Это поможет согласовать сбор и анализ данных с планируемыми результатами.
Комментарии автора: одних целей обучения недостаточно. Обучение должно быть адаптивным, основанным на текущих знаниях, навыках, мотивации, целях и т. д. Благие намерения не делают курс эффективным.
2. Используйте различные источники данных
Собирайте данные из различных источников, чтобы получить полное представление о результатах обучения. Это могут быть оценки до и после обучения, опросы обратной связи, показатели эффективности, отчеты о наблюдениях, а также качественные отзывы обучающихся и руководителей.
Комментарии автора: хороший совет. Заранее разработайте стратегию измерения и оценки, включая стратегию сбора данных.
3. Определите базовые показатели
Определите базовые показатели до начала учебного вмешательства, чтобы впоследствии оценить изменения или улучшения. Это могут быть ключевые показатели эффективности (KPI), связанные с выполнением работы, производительностью, удовлетворенностью клиентов или любые другие соответствующие показатели.
Комментарии автора: базовый уровень всегда является хорошей отправной точкой. A/B-тестирование и контрольные группы также могут помочь в обосновании оценки. Однако будьте осторожны: корреляция не всегда является причинно-следственной связью.
4. Использование системы управления обучением (LMS)
Внедрение LMS или аналогичной технологической платформы позволяет упростить сбор данных, отслеживать прогресс обучающихся и автоматически собирать необходимую информацию. Платформы LMS часто предлагают встроенные возможности отчетности и аналитики.
Комментарии автора: автоматизируйте то, что можете. И создавайте курс только в том случае, если он вам нужен. К сожалению, LMS часто является не самой удобной для интеграции средой и, как правило, работает только с контентом курса внутри системы. Обычно мы строим конвейер для получения данных из LMS. LRS обладает гораздо большей гибкостью.
5. Сочетание количественных и качественных данных
В то время как количественные данные позволяют получить измеримые показатели, качественные данные позволяют получить ценные сведения. Собирайте обратную связь с помощью опросов, фокус-групп или интервью, чтобы понять восприятие, проблемы и общую удовлетворенность обучающихся опытом обучения.
Комментарии автора: верно! Однако будьте практичны. Не все курсы или программы нуждаются в полномасштабной оценке. А если вы не планируете ничего делать с полученными данными, то это вообще пустая трата времени.
6. Проводите посттренинговые оценки
В дополнение к оценке до начала обучения проведите оценку после окончания обучения, чтобы оценить, как сохраняются знания и как они применяются в реальных сценариях. Это поможет определить, насколько обучение способствовало повышению эффективности работы.
Комментарии автора: сочетание предварительной и последующей оценки является распространенным способом определения результатов обучения. Четко и последовательно выясните, как вы будете определять успех (необработанная средняя разница, нормализованный прирост в обучении, нормализованное изменение в сопоставленных данных, размер эффекта и т. д.). И помните, что если вы видите изменения, то они а) могут быть статистически не значимыми и б) могут быть вызваны не курсом/программой.
7. Эффективное представление результатов
Представляйте данные в наглядном и понятном формате. Используйте диаграммы, графики и краткие резюме, чтобы выделить основные результаты и продемонстрировать влияние обучения. Ориентируйтесь на различные заинтересованные стороны, подчеркивая те аспекты, которые наиболее важны для каждой аудитории.
Комментарии автора: это очень важно! Рассказывать о данных — это не значит представлять как можно больше данных. Кроме того, будьте готовы к предубеждению, связанному с подтверждением. Люди легко принимают данные, которые подтверждают их ожидания, но могут быстро отвергнуть все, что их негативно удивляет.