Когда тест кажется трудным? Или про тест-конкурс "АйТи-сленг"

Уважаемые коллеги и читатели! В июне мы проводим в нашем виртуальном клубе КИТТ (Клубе Испытателей Тестовых Технологий) еще один тест-конкурс с призами. Тематика и условное название конкурса - "АйТи-сленг". Для участия надо проходить регистрацию на сайте:

https://kitt-club.ru

Первые три дня показали, что тест "АйТи-сленг" является весьма трудным. Точней - так он воспринимается участниками. Средний балл на шкале ППО (процент правильных ответов) оказался пока равным 48%, а стандартное отклонение - 21%. Таким образом, тест хорошо различает профи и любителей. Причем это показатели по всем трем попыткам, которых уже мы собрали более 150 от 70 участников (хотя тест-конкурс только начался).

Некоторые новички в области тестирования знаний (да и способностей тоже) думают, что 50% - это нормальная трудность теста. Под девизом "фифти-фифти" - это же оптимально! Но ... вмешиваются социально-психологические факторы, которые я здесь сейчас и опишу коротко.

Дело в том, что средний ППО 50% субъективно воспринимается как низкий самими участниками! А на базе заданий типа "свободный ответ" объективно очень трудно создать с первой попытки тест с высоким средним баллом ППО. Напоминаю, что формат заданий в тесте "АйТи-сленг" у нас необычный: требуется ввести краткий свободный ответ, а не выбирать из предложенных готовых ответов. Как правило, при таком формате правильным оказывается не один, а несколько вариантов ответа. Наша система HT-LINE это предусматривает, но авторы НЕ могут сразу предусмотреть все разумные варианты. Нужно собрать статистику. Поэтому в данном случае пилотные испытания теста просто НЕОБХОДИМЫ (!). Мы будем дополнять варианты правильных ответов прямо "по ходу тест-конкурса", так что баллы участников будут пересчитываться.

ВАЖНО: система дает ТОС (текущую обратную связь) после каждого ответа. Поэтому всех участников просим сообщать нам свои предложения по дополнительным вариантам ответов (если присуждение ошибки кажется несправедливым). И это наши участники уже делают. Кстати, как мы уже знаем, наличие ТОС и многих попыток делают конкурс значительно более увлекательным (!).

НО... о чем нам еще говорит ситуация, возникающая, когда средний балл ППО оказывается ниже 70%? -В этом случае возникает особая социально-психологическая ситуация вокруг теста: люди начинают ЖАЛОВАТЬСЯ, что тест трудный (хотя в среднем дают почти 50% правильных ответов). Это давно изученная социально-психологическая закономерность (!). Особенно много жалоб возникает, когда участники общаются друг с другом (например, общаются между собой студенты, которые учатся в одном вузе на одном курсе) и они заражают друг друга репликами типа "Ну, жесть!" и так далее.

Поэтому при разработке тестов знаний мы рекомендуем разработчикам создавать тесты с расчетом на средний ППО в районе 70-75%, а если получилось 50%, то разработчики должны быть морально готовы отражать атаки с репликами такого вида: "Да все у Вас неправильно! Ваш тест - это издевательство! Ваш тест - это бред!".

И в заключении. Почему тест-конкурсы типа "АйТи-сленг" обязательно требуют регистрации, почему мы не даем этот тест для свободного доступа? - Потому что Важно дать несколько попыток (более одной), а это значит, что нужно АВТОМАТИЧЕСКИ КОНТРОЛИРОВАТЬ число запусков теста для одного участника. А это требует для него создания ЛК (личного кабинета). А это значит, что участник должен сообщить нам свои регистрационные параметры (хотя бы адрес э-почты, хотя имя при этом может быть условным ником-псевдонимом).

Почему мы даем несколько попыток? - Потому что данный тест был бы утомительным, если бы в сеансе было сразу 50 экранов (каждое слово надо разгадывать на отдельном экране). В этом случае многие не смогли бы завершить сеанс тестирования. А по 15 заданий при таком формате - это не так трудно, и многие завершают до конца хотя бы первую (одну) попытку. Но... чтобы собрать необходимую для нас приличную статистику ответов, а также получить закономерные дифференцирующие результаты для участников (ведь это конкурс все-таки у нас), нужно, чтобы участник выполнил более 15 заданий. Напоминаем, что при равенстве баллов в лучшей попытке (а в случае 15 заданий это встречается очень часто), преимущество в конкурсе получает тот участник, у которого выше сумма по трем попыткам.