Алгоритм разработки тестовых заданий
Как разрабатывать тестовые задания, которые проверяют реальный уровень подготовки и умения применять знания, полученные в обучении
Как создавать качественные тестовые задания, которые будут показывать реальные знания учеников и умение применять полученную информацию после обучения, а не просто узнавание и случайно выбранные правильные ответы?
Тестирование, как один из способов проверки знаний удобен при организации онлайн образования, стандартизации оценки знаний для удаленных офисов и формирования единых требований компании.
При этом тестирование в последнее время незаслуженно воспринимается, как формальный метод проверки знаний после обучения и не заслуживает большого доверия. Это связано с рядом причин, первая - это качество самих тестов, которые проверяют поверхностный уровень знаний. Второе - это сложность создания качественных и валидных тестов, которые могут показать уровень усвоения материала, выявить способность применить полученную информацию, тк требуют достаточного уровня подготовки преподавателя или методиста и времени на создание заданий разного уровня.
Хороший тест проверяет не только то, как запомнил ли человек определения. Такой тест даёт слабую картину: участник может узнать правильный термин в списке, но растеряться, когда нужно применить этот принцип в рабочей ситуации
Качественное тестирование отвечает на другой вопрос: может ли человек использовать знания после обучения в реальной задаче. Для этого в тесте должны быть задания разного когнитивного уровня: на узнавание, воспроизведение, понимание, применение, анализ, выбор решения и перенос в практику.
В этой статье разберем, как создавать такое тестирование на основе уже имеющегося образовательного материала
В образовательной оценке важны три элемента: что мы хотим узнать о знаниях и умениях человека, какие задания дадут нам наблюдаемые доказательства этого, и как мы будем интерпретировать результат. Такой подход описан в модели assessment triangle: cognition, observation, interpretation. То есть тест начинается не с вопроса «какие вопросы задать», а с вопроса «какие доказательства освоения навыка мы хотим увидеть».
В доказательном проектировании оценки, evidence-centered design, тест строится как аргумент: если человек выполняет конкретное задание, мы можем обоснованно сделать вывод, что он владеет определенным знанием, процедурой или способом мышления.
В таксономии Блума оценивание связывают с разными уровнями познавательной сложности: помнить, понимать, применять, анализировать, оценивать, создавать. Это помогает не застревать на заданиях «выберите правильное определение» и проектировать оценку под разные уровни освоения материала.
Для профессионального обучения полезна и пирамида Миллера: знает, знает как, показывает как, делает. Нижний уровень можно проверить обычным тестом. Но если цель обучения — изменение поведения на работе, нужны кейсы, сценарии, симуляции, практические задания и наблюдение за применением.
Главный риск плохого теста — он проверяет не тот результат. В исследованиях по валидности тестов это описывается как construct underrepresentation, когда тест охватывает слишком узкую часть навыка, а также когда на результат влияют посторонние факторы: запутанная формулировка, угадывание, подсказки в вариантах ответа, лишняя сложность языка.
Главный принцип создания качественного теста - сначала карта результата, потом вопросы. Действуя наоборот, вы рискуете упустить важные разделы обучения, которые не будут задействованы в тестировании
Нельзя начинать разработку теста с фразы: «Давайте придумаем 20 вопросов по материалам». Так обычно появляются тесты, где 80 процентов заданий проверяют память, а не профессиональное действие.
Правильный порядок будет следующий:
1. Определить, что участник должен делать после обучения
2. Разложить это действие на знания, правила, решения, ошибки и рабочие ситуации
3. Создать спецификацию теста
4. Распределить задания по уровням сложности
5. Написать вопросы
6. Проверить вопросы на валидность, ясность и связь с реальными задачами.
Большинство специалистов по обучению упускают в работе создание таблицы спецификации, а она помогает связать цели обучения, содержание курса, типы заданий и вес каждого блока. Это один из основных способов повысить валидность оценки, потому что тест перестаёт быть случайным набором вопросов и становится картой проверки результата.
Рекомендуемое соотношение типов заданий
Универсального научного процента для всех курсов не существует. Пропорция зависит от цели обучения. Но для корпоративного и профессионального обучения, где важно не только помнить информацию, а применять её в работе, можно использовать такую базовую модель
Для большинства обучающих программ хорошая рабочая пропорция такая:
20–30 процентов — память и понимание
В эту категорию попадают термины, определения, базовые правила, последовательности действий
40–50 процентов — применение Это задачи, сценарии, выбор действия, работа с ошибками, мини-кейсы
20–30 процентов — анализ и перенос в практику Это сложные кейсы, открытые ответы, разбор ситуации, аргументация решения
Если обучение посвящено нормативным требованиям, безопасности или медицинским протоколам, долю точного знания правил можно увеличить. Но даже там нельзя ограничиваться вопросами на узнавание: человек должен показать, что отличает безопасное действие от опасного в конкретной ситуации.
Если обучение посвящено продажам, управлению, коммуникации, наставничеству, сервису, работе с клиентами или принятию решений, доля кейсов и практических сценариев должна быть выше: до 60–70 процентов теста
Какие типы вопросов нужны в полноценном тесте?
Это самый простой тип задания. Он проверяет, узнаёт ли участник правильный термин, правило или факт
Пример слабого вопроса: Что такое обратная связь?
А. Любой комментарий руководителя
Б. Информация о действиях человека и их результате
В. Оценка личности сотрудника
Г. Разговор после ошибки
Такой вопрос может быть полезен, но его недостаточно. Он показывает только то, что человек видел термин и может выбрать знакомую формулировку
Стоит предусмотреть, чтобы доля таких вопросов была не больше 10–15 %
2. Вопросы на знание определений
Они проверяют, может ли участник воспроизвести точный смысл понятия и его ключевые характеристики
Пример:Какой признак отличает развивающую обратную связь от оценочного комментария?
А. Она всегда позитивная
Б. Она описывает конкретное действие и следующий шаг
В. Она даётся только письменно
Г. Она не содержит примеров
Здесь участник уже не просто узнаёт слова, а различает смысл и алгоритм действия
Часто этих 2 х позициях строится проверка знаний, но мы предлагаем пойти дальше и научится создавать качественно другие форматы вопросов, которые будут более информативными при проверке знаний.
Они проверяют причинно-следственную связь: почему правило работает, что изменится, если его нарушить, где граница применения
Пример: Почему в обратной связи важно сначала назвать конкретное наблюдаемое действие, а не общее впечатление?
А. Так разговор становится короче
Б. Так сотрудник понимает, какое поведение нужно повторить или изменить
В. Так руководитель звучит строже
Г. Так можно избежать обсуждения результата
Такие вопросы помогают увидеть, понимает ли участник логику работы, правильный ход работы
Вопросы такого типа - это ядро профессионального теста. Участнику дают рабочую ситуацию и просят выбрать действие
Пример: Сотрудник опоздал с отчётом на два дня. Руководитель хочет дать обратную связь так, чтобы сотрудник понял последствия и следующий шаг. Какой вариант лучше?
А. «Ты опять всё затянул, так нельзя»
Б. «Отчёт пришёл во вторник вместо пятницы, из-за этого команда не успела подготовить расчёт для клиента. В следующий раз присылай черновик за день до дедлайна, чтобы мы успели проверить»
В. «Я недоволен твоей работой»
Г. «Постарайся больше не задерживать»
Такой вопрос проверяет не память, а выбор поведения, логику мышления и более информативен для оценки кандидата
Здесь участник должен разобраться в неоднозначной ситуации. В таких заданиях важно не только выбрать ответ, но и понять, какие данные существенные, где ошибка, какой риск возникает.
Пример: Менеджер провёл встречу с клиентом. Клиент сказал: «Нам дорого, мы подумаем». Менеджер ответил: «Хорошо, я напишу вам через неделю». Какая главная ошибка менеджера?
А. Не предложил скидку
Б. Не выяснил, что именно клиент считает дорогим и с чем сравнивает цену
В. Не отправил презентацию сразу
Г. Не завершил встречу быстрее
Такой формат проверяет профессиональное мышление, как сдающий может учитывать полученные знания в моделируемой ситуации
6. Вопросы на перенос в практику
Это задания, где участник должен применить материал к своей реальной работе. Они могут быть открытыми
Пример: Опишите одну ситуацию из вашей работы, где вы примените модель обратной связи в ближайшие 7 дней. Укажите: кому дадите обратную связь, по какому действию, какой результат хотите изменить, какую первую фразу скажете
Такие задания сложнее автоматически проверять, но именно они показывают готовность к применению. Их можно оценивать по рубрике: конкретность ситуации, связь с моделью, наличие действия, измеримый результат
Важно не только собрать тест, но и корректно подать его ученику, применять не однотипные формы заданий, давать возможность не только “выбирать правильный ответ”, но сопоставлять, выстраивать последовательность, написать свой развернутый ответ или приложить файл со своим решением.
Платформа онлайн тестирования СОКРАТ позволяет создавать задания разного типа, гибко настраивать вес ответов, а также подключить штрафные баллы за неправильно выбранные ответы. Все это делает сам процесс тестирования интерактивным и вовлекающим, расширяя возможности проверки знаний.
Удобная и интуитивно понятная настройка теста не требует сложных технических знаний и вы сразу видите, как тестовое задание будет отображаться у сдающего
Как собрать тест из готовых материалов обучения?
Что делать, если материалов обучения много и/или есть стандартизированные инструкции, а нужно создать проверочные задания и не упустить важные детали?
Ниже собрали алгоритм работы, который позволит собрать качественные проверочные материала
Шаг 1. Выпишите результаты обучения, которые планируете проверять
Не «участник знает основы обратной связи», а конкретно:
После обучения участник умеет дать обратную связь по рабочей ситуации так, чтобы сотрудник понял действие, последствие и следующий шаг.
Плохая формулировка результата будет слишком общей, не показывающей конкретные навыки: «Понимает клиентский сервис»
Хорошая формулировка результата: «Выбирает корректный ответ клиенту в ситуации жалобы, сохраняет тон общения, уточняет проблему и предлагает следующий шаг»
Шаг 2. Разделите материал на 4 уровня
Здесь мы будем опираться на Таксономию Блума
Первый уровень - факты. Выпишите, что нужно помнить точно: термины, правила, этапы, ограничения
Второй уровень - понимание. Сдающий должен понимать, почему это важно, какие причинно-следственные связи есть, что будет при ошибке
Третий уровень - применение. Какие типовые рабочие ситуации должен решать сдающий после обучения
Четвертый уровень - перенос. Как участник применит это в своём контексте: с клиентом, сотрудником, коллегой, руководителем, системой, документом, процессом
Шаг 3. Сделайте таблицу спецификации теста
Пример для теста на 20 вопросов:
В таком тесте 7 вопросов проверяют память и понимание, а 13 вопросов проверяют применение и анализ
Шаг 4. На каждый учебный тезис создайте не один, а три вопроса
Допустим, в обучении был тезис: «Обратная связь должна описывать наблюдаемое действие, а не личность человека»
Слабая проверка: Что должна описывать обратная связь?
Практическая проверка: отрудник резко ответил клиенту в чате. Выберите формулировку обратной связи, которая описывает действие, последствие и следующий шаг.
Так один и тот же материал проверяется на трёх уровнях: помнит, понимает, применяет
Шаг 5. Уберите ловушки и «угадайки»
Исследования по разработке multiple-choice questions показывают, что качество задания зависит не только от темы, но и от конструкции вопроса: ясная основа вопроса, правдоподобные дистракторы (варианты ответов в вопросе), отсутствие грамматических подсказок, отсутствие лишней сложности и неоднозначности
Плохой тест зачастую измеряет не знание, а способность угадывать. Например, если правильный ответ самый длинный, самый официальный или единственный грамматически подходит к вопросу, участник может выбрать его без понимания темы
Шаг 6. Проверяйте каждый вопрос по пяти критериям
Первый критерий — связь с результатом обучения. Можно ли по ответу понять, что человек приблизился к нужному рабочему действию?
Второй критерий — реалистичность. Похожа ли ситуация на то, что человек встретит в работе?
Третий критерий — один главный правильный ответ. Нет ли двух ответов, которые можно защитить логикой?
Четвёртый критерий — правдоподобные неправильные варианты. Ошибочные варианты должны отражать реальные ошибки участников, а не быть очевидной ерундой
Пятый критерий — понятный язык. Вопрос должен проверять обучение, а не способность расшифровать запутанную формулировку
Как проверить, что тест получился качественным?
- Качественный тест покрывает все важные темы и результаты обучения. Если в курсе было 5 ключевых навыков, тест не должен проверять только первый и третий, а каждый из навыков зафиксирован
- В тесте есть задания выше уровня «проверка памяти». Если 80 процентов вопросов начинаются с «что такое», тест проверяет конспект, а не применение
- В тесте есть рабочие ситуации из реальной практики. Участник должен хотя бы несколько раз выбрать действие в контексте, похожем на реальную работу.
- Ошибочные варианты похожи на реальные ошибки. Например, в обучении продажам неправильные ответы должны отражать типичные ошибки менеджеров: преждевременная скидка, уход от возражения, презентация без диагностики, отсутствие следующего шага.
Подготовка качественных проверочных материалов занимает значительное время на подготовку: сбор материала, формулировку релевантных вопросов, что часто заставляет отказаться от тестирования как удобного и масштабируемого инструмента проверки знаний. На платформе Сократ работу по созданию теста берет на себя обученный IA агент, который на основе имеющихся у вас учебных материалов поможет подготовить вопросы для тестирования в соответствии с вашими задачами. IA не заменят работу преподавателя и методиста, но он берет на себя значительную часть, освобождая время и ускоряя работу специалистов
В следующей статье рассмотрим правила интерпретации результатов тестирования, как определить вес вопроса и как соотнести набранные баллы/ процент выполнения с градацией оценки
При этом проценты сами по себе мало что значат. Важно смотреть не только общий балл, но и профиль ошибок: человек не знает термины, путает алгоритм, не видит риски, выбирает неверное действие в кейсе или не может перенести материал в свою реальную работу
Подписывайтесь на наши сообщества в удобной социальной сети, и будьте в курсе новых статей, полезных обзоров и практических материалов
Телеграм: https://t.me/socrat_education
По вопросам тестового подключения платформы Сократ и партнерского сотрудничества, напишите нам в Телеграм
Если у вас есть вопросы или хотите, чтобы мы раскрыли подробнее какие то темы, протестировать работу платформы Сократ, напишите нам