1.3.4 Оценка эффективности курса

Что и как будет оцениваться в завершении курса, должно быть продумано в самом начале.

Проектная аналитика — оценка работы организаторов.

Это оценка того, насколько слаженно и профессионально сработала команда на этапе разработки, продвижения курса, набора клиентов и реализации курса.

Можно оценивать работу каждого члена команды или по каждому направлению, задаче, аспекту работы.

Если Вы разрабатываете курс самостоятельно, все равно стоит оценить свои достижения и “косяки”, чтобы поставить задачи для профессионального роста.

Учебная аналитика — оценка достижения цели и задач обучения.

Разработано много разных моделей оценки эффективности обучения.

В нашем курсе мы не будем их изучать подробно. При желании Вы можете углубиться, а можете перейти к следующему шагу.

Модели оценки эффективности обучения

Существуют разные модели оценки результатов обучения.

Одни из самых популярных:

Выбор модели зависит от направления, содержания и планируемых результатов обучения.

Организация проверки

В зависимости от того, когда и с какой целью она проводится, оценка может быть

1) Текущая (формирующая)

Проводится в процессе занятия/курса. Она даёт возможность оперативно внести изменения в обучение.

2) Итоговая (констатирующая)

Проводится в конце занятия/курса и фиксирует результат обучения и работы организаторов. Она позволяет узнать итоговый результат всех усилий организаторов и ведущих курса.

Показатели, метрики и способы оценки

Для оценки используют показатели и метрики.

Показатель — характеристика, описывающая какой-то один аспект деятельности организаторов или участников.
Метрика — количественно измеряемый параметр.
Метрика отражает наличие или степень выраженности показателя успешности проекта/обучения.

Важно помнить, что одни и те же метрики могут относиться к разным показателям.

Например, успешность итогового теста участников одновременно характеризует и усвоенность учебного материала участниками и эффективность работы ведущего.

Показателями эффективной организации занятий могут быть:

мотивированность участников на занятии (учебная);
внеучебная активность участников по теме курса (учебная);
удовлетворенность участников курса (проектая);
квалифицированность ведущего (проектная);
оперативность решения задач членами команды (проектная).

Метриками мотивированности участников на занятии, как показателя эффективности организации занятий, могут быть:

статистика выполненных домашних заданий/упражнений;
число дополнительных вопросов на занятии;
запросы на дополнительные консультации и т.п. </aside>

Характеристики метрик

Метрики могут быть:

Объективными — если могут быть непредвзято зафиксированы разными людьми (например, посещаемость занятий).
Субъективными — отражать личное мнение конкретного человека (оценка полезности, интересности занятия, оценка комфортности темпа работы).
Количественными — иметь числовое измерение.
Качественными — выражаться только через словесное описание.
Конкретными — предполагать оценку отдельного элемента курса (иллюстрации, задания, занятия, компетентности ведущего по конкретному вопросу).
Обобщенными — предполагать оценку ряда сходных элементов курса (всех раздаточных материалов, всех занятий, в целом профессионализма ведущего и т.п.).

Примеры проектных метрик

Подтверждение бюджета.
Соблюдение дедлайнов.
Успешное выполнение обязанностей каждым членом команды (детализируется по функциями или заданиям).
Отсутствие значимых технических и организационных «косяков».
Удовлетворенность членов команды совместной работой.

Косвенно об эффективности работы команды будут свидетельствовать и такие метрики, как:

Набранность группы.
COR (Coefficient Of Retention) — процент дошедших до конца курса участников курса.
NPS (Net Promoter Score) — готовность участников рекомендовать курс другим.

Задание

Отметьте, какие проектные метрики Вы определите для своего проекта:

Подтверждение бюджета на разработку курса.
Соблюдение дедлайнов.
Успешное выполнение обязанностей каждым членом команды (детализируется по функциями или заданиям).
Отсутствие значимых технических и организационных «косяков».
Удовлетворенность членов команды совместной работой.

Примеры учебных метрик

Разные метрики требуют разных способов оценки. Это может быть:

Анонимный или персонифицированный опрос клиентов.
Подсчет (анализ) статистики по отдельным занятиям.
Тест, викторина и т.п.
Экспертная оценка ведущим или сторонним наблюдателем работ участников.
и др.

Эти способы требуют разного времени, материальных и технических ресурсов, а также сил для проведения. Это важно учесть на этапе планирования времени и бюджета курса.

О том, как можно проводить эти и другие формы в мессенджере вы узнаете на последующих занятиях.

Чек-лист

Отметьте продвижение в разработке своего проекта.

◻️ Определена актуальная тема, которую вы можете экспертно реализовать.

◻️ Сформулированы цели и задачи курса.

◻️ Определены планируемые результаты обучения.

◻️ Выбраны проектные метрики.

◻️ Выбраны учебные метрики.

Не огорчайтесь, если вы еще не смогли окончательно определиться с темой. Можно параллельно разрабатывать несколько вариантов курса.