Две сигмы Блума: отделяя научную фантастику от научного факта
О чем поговорим сегодня
Короткой строкой
Эффект двух сигм в образовании связан с резким повышением успеваемости на два стандартных отклонения благодаря репетиторам. Две сигмы – это значительное улучшение успеваемости. Однако, едва ли это возможно. Блум ввел всех в заблуждение, неправильно интерпретируя результаты своих студентов.
Об авторе
Пол фон Хиппель — профессор и заместитель декана по научной работе в Школе общественных связей Техасского университета в Остине.
Ссылка на оригинал статьи: https://www.educationnext.org/two-sigma-tutoring-separating-science-fiction-from-science-fact/
Осенью 1945 года, когда моему отцу не исполнилось и восьми лет, учительница сказала моей бабушке, что он не успевает во втором классе.
Мой отец не помнит причин, а может быть, бабушка никогда не говорила ему об этом, но учительница посчитала, что он не готов к работе во втором классе.
«Если он не успевает во втором классе, — предложила моя бабушка, — почему бы не попробовать его в третьем?» И она нашла репетитора, учителя-пенсионера из другой школы.
В течение семи недель мой отец по часу в день занимался с репетитором, который после каждого занятия давал ему домашнее задание. Задача репетитора состояла в том, чтобы мой отец освоил учебную программу не только для второго класса, но и для третьего, чтобы в январе 1946 года, на год раньше, он смог перейти в третий класс и не нуждался в дополнительной помощи.
Но репетитор перестарался. Мой отец не только не встретил в третьем классе ничего, чему бы его не научили, но и успешно справился с четвёртым и пятым классами.
Примерно в 1960 году, делая покупки в магазине Filene’s Basement в центре Бостона, моя бабушка столкнулась со старой соседкой — мамой, которая переехала, когда моя бабушка искала репетитора, чтобы помочь своему сыну перейти из второго класса. Похваставшись своей семьёй, соседка спросила, всё ли в порядке с моим отцом.
«С ним всё в порядке!» — с триумфом сказала моя бабушка. «Он учится в Оксфорде, на стипендию Родса».
Подобные истории создают впечатление, что репетиторы могут творить чудеса. На протяжении столетий после того, как Аристотель обучал Александра Македонского, некоторые люди, включая Альберта Эйнштейна, Феликса Мендельсона, Агату Кристи и практически всех британских монархов до Карла III, получали образование частично или полностью с помощью частных репетиторов и членов семьи. Хотя ни один ученый не жалеет о распространении массового школьного образования, многие считают, что обучение, получаемое учениками от учителя в большом классе, никогда не сравнится с индивидуальным обучением, которое дает репетитор, ориентированный исключительно на их индивидуальные потребности.
В эссе 1984 года Бенджамин Блум, психолог из Чикагского университета, утверждал, что репетиторы предлагают «лучшие условия обучения, которые мы можем себе представить». Репетиторы, утверждал Блум, могут повысить успеваемость учеников на два полных стандартных отклонения — или, говоря статистическим языком, на две «сигмы». По мнению Блума, этот необычный эффект доказывает, что большинство студентов способны учиться гораздо лучше, чем обычно, но большая часть их потенциала остается нереализованной, потому что непрактично назначать индивидуального репетитора каждому студенту. По мнению Блума, главная задача образования заключается в разработке более экономичных мер, которые могли бы приблизиться к преимуществам репетиторства.
Статья Блума «Проблема 2 сигм» быстро стала классической. Уже через два года после ее публикации другие ученые цитировали ее еженедельно — по 50 раз в год, и ее влияние с течением десятилетий только росло. За последние 10 лет статья была процитирована более 2000 раз.
Влияние эссе Блума о двух сигмах вышло далеко за пределы научной литературы. С развитием компьютерной и телекоммуникационной революций провидцы неоднократно отмечали потенциал технологий для ответа на вызов Блума.
Начиная с 1980-х годов исследователи и технологи разрабатывали и в конечном итоге вывели на рынок «когнитивные компьютерные репетиторы», которые, как заявил в 2001 году Альберт Корбетт из Университета Карнеги-Меллон, «решают проблему двух сигм». В 2010-х годах усовершенствования в области двусторонних видеоконференций позволили студентам общаться с репетиторами в нерабочее время и в удаленных местах, приблизившись к мечте о всеобщем доступе, хотя репетиторов по-прежнему не хватало.
Затем, в конце 2022 года, поразительные усовершенствования в области искусственного интеллекта предложили студентам возможность общаться с программным обеспечением на гибком, неформальном языке, не требуя человеческого репетитора на другом конце телефонной или видеосвязи.
Сал Хан, основатель Академии Хана, поделился этим на конференции TedX в мае 2023 года под названием «Решение двух сигм», где он рекламировал запуск своего программного обеспечения для репетиторства Khanmigo, управляемого искусственным интеллектом.
После пандемии энтузиазм к репетиторству резко возрос. Спустя более двух лет после возобновления работы школ средние баллы по чтению все еще на 0,1 стандартного отклонения ниже, а по математике — в среднем на 0,2 стандартного отклонения ниже, чем если бы школы никогда не закрывались. Устойчивость пандемических потерь в обучении может создать впечатление, что это непреодолимая проблема, однако потери составляют лишь небольшую часть того эффекта двух сигм, который, по словам Блума, может дать репетиторство. Может ли небольшое количество занятий с репетитором подтянуть детей или даже помочь им вырваться вперед?
Реалистичен ли эффект двух сигм?
Но насколько реально ожидать, что любой вид репетиторства — с участием человека или искусственного интеллекта — улучшит успеваемость учащихся на два стандартных отклонения?
Две сигмы – это значительный эффект. Как объяснил Блум, повышение на две сигмы улучшит успеваемость ученика с 50-го до 98-го процентиля в распределении достижений. Если преподаватель сможет повысить, например, баллы SAT на такую величину, он может превратить среднестатистического студента в потенциального стипендиата Родса.
Две сигмы – это более чем двукратное различие в средних баллах тестов между детьми, которые достаточно бедны и получают бесплатные школьные обеды, и детьми, которые платят за них полную стоимость. Если репетиторы смогут настолько улучшить результаты тестов у детей из бедных семей, они смогут не только сократить разрыв в успеваемости, но и обратить его вспять – помочь детям из бедных семей не сильно отставать от своих более обеспеченных сверстников и вырваться далеко вперед.
Кроме того, «две сигмы» – это огромный объем знаний, особенно для старших школьников. Это более чем годовой курс обучения в начальной школе и около пяти лет обучения в средней и старшей школе.
Все это звучит замечательно, но если вам это кажется немного надуманным, то вы не одиноки. В 2020 году Мэтью Крафт из Университета Брауна предположил, что заявление Блума «помогло закрепить ожидания исследователей в области образования о невероятно больших масштабах эффекта». Обзор Kraft показал, что большинство образовательных интервенций дают эффект в 0,1 стандартного отклонения или меньше. Репетиторство может быть намного эффективнее, но редко достигает двух стандартных отклонений.
В метаанализе, проведенном Питером Коэном, Джеймсом Куликом и Чен-Лином Куликом в 1982 году, опубликованном за два года до статьи Блума, но цитировавшемся лишь вдвое реже, сообщалось, что средний эффект от репетиторства составлял около 0,33 стандартных отклонений, или 13 процентильных пунктов. что средний эффект репетиторства составлял около 0,33 стандартных отклонений или 13 процентильных пунктов. Из 65 исследований с репетиторством, рассмотренных авторами, только в одном (рандомизированном диссертационном исследовании 1972 года с участием 32 студентов) сообщалось об эффекте двух сигм. Совсем недавно, в 2020 году, был проведен метаанализ рандомизированных исследований, проведенный Андре Никоу, Филипом Ореопулосом и Винсентом Куаном, который показал, что средний эффект репетиторства составил 0,37 стандартных отклонений или 14 процентильных пунктов — «впечатляюще», как написали авторы, но далеко от двух сигм. Из 96 исследований в области репетиторства, которые рассмотрели авторы, ни одно не дало эффекта двух сигм.
Итак, откуда Блум взял идею о том, что характерным преимуществом репетиторства являются два стандартных отклонения? Было ли что-то стоящее за утверждением Блума о двух сигмах в 1984 году? Почему мы все еще повторяем это 40 лет спустя?
Какие ваши доказательства, господин Блум?
На первом рисунке Блума, который воспроизвел в выступлении Хан на TEDx, было изображено предполагаемое распределение результатов тестирования среди студентов, получавших репетиторство, в сравнении со студентами, которые получали обычное групповое обучение, и со студентами, которые получали вариант того, что Блум назвал «углубленным обучением (mastery learning)», который сочетает в себе обучение для всей группы с индивидуальной обратной связью. Однако график был лишь иллюстративным — он был нарисован от руки в стилизованной форме, чтобы показать, как мог бы выглядеть эффект двух сигм. Он не соответствовал реальным данным.
В статье Блума сравнивались эффекты различных образовательных вмешательств. Репетиторство оказалось одной из самых действенных интервенций с эффектом в 2,00 стандартных отклонения. Ниже репетиторства находились, например, поощрение (1.20), углубленное обучение (mastery learning) (1.00) и множество других интервенций, которые кажутся поразительно значимыми по современным стандартам.
Откуда Блум взял эти большие и удивительно округленные оценки? Он утверждал, что адаптировал их из статьи, обобщающей результаты раннего метаанализа, опубликованного месяцем ранее профессором Университета Иллинойса в Чикаго Хербом Уолбергом. Однако таблицы Уолберга и Блума не совсем совпадают. Хотя некоторые оценки Блума совпадали с оценками Уолберга, по крайней мере, при округлении, большинство эффектов из таблицы Блума не отображались в таблице Уолберга, а большинство эффектов из таблицы Уолберга не отображались в таблице Блума. И два профессора явно не сошлись во мнениях относительно эффекта репетиторства.
Уолберг не ставил репетиторство на первое место в своем списке и оценил его эффект в 0,40 стандартного отклонения — близко к среднему значению, о котором сообщалось в метаанализах. Блум повторил оценку Уолберга, равную 0,40 стандартного отклонения, но он описал ее более узко, как эффект «коррекционного обучения сверстников и людей разного возраста». Оценка Уолберга была не столь ограниченной; он описал ее просто как эффект репетиторства.
Блум полагался на работы двух своих студентов
Почему Блум оценил эффект обучения Уолберга в 0,40 и откуда у него взялась его собственная оценка в 2,00? Похоже, Блум доверял диссертационным исследованиям двух своих аспирантов, Джоанны Анания и Артура Дж. Берка. И Анания, и Берк сообщили об эффекте «двух сигм» при сравнении репетиторства с занятиями в классе для всей группы, а также о существенном эффекте, хотя и не столь значительном, от повышения квалификации.
Поскольку Анания и Берк предоставили большинство эмпирических доказательств, подтверждающих утверждение Блума об обучении по принципу «двух сигм», немного удивительно, что Блум не упомянул их как соавторов. Блум цитировал диссертации своих студентов, но если бы Анания и Берк были соавторами классической работы, такой как «Проблема 2 сигм», они могли бы получить работу, которая обеспечила бы ресурсы для проведения дальнейших исследований в области репетиторства и повышения квалификации.
Вместо этого Анания опубликовала журнальную версию своей диссертации, которая на сегодняшний день цитировалась всего 77 раз. Она преподавала в трех университетах Чикаго, где специализировалась на чтении, детской литературе и грамотности взрослых. В ее некрологе за 2012 год не упоминается о ее работе в области репетиторства. Берк никогда не публиковал свои диссертационные исследования или что-либо еще о репетиторстве. Годы спустя он опубликовал полдюжины отчетов для Северо-Западной региональной лаборатории о временном отстранении от работы, отчислении и окончании учебы, но не о репетиторстве.
После 1984 года Блум также мало занимался репетиторством. Его следующим и последним крупным проектом стала отредактированная книга под названием «Развитие таланта у молодежи». Опубликованная в 1985 году, книга опиралась на интервью с опытными взрослыми, чтобы реконструировать, как они развивали свои таланты в музыке, скульптуре, спорте, математике или естественных науках. Блум, который написал только введение, кратко изложил свое утверждение о двух сигмах в одном абзаце, в котором не упоминались ни Анания, ни Берк. Блум вышел на пенсию в 1991 году и умер в 1999 году.
Это немного странно, не так ли? Если эти три человека — двое из них только начинают свою исследовательскую карьеру — действительно нашли способ повысить результаты тестов студентов на два стандартных отклонения, почему они не сделали больше для этого? Почему они не провели больше исследований? Почему они не основали репетиторскую компанию?
Эффект двух сигм был вызван не только репетиторством
Действительно ли Анания и Берк обнаружили эффект двух стандартных отклонений от репетиторства? Должен признаться, когда я распечатывал их диссертации, я был настроен скептически. Результаты немногочисленных исследований 40-летней давности зарекомендовали себя хорошо, но студенческие работы, половина из которых не была опубликована и результаты которых так и не были воспроизведены, казались особенно бесперспективными.
Однако, к моему удивлению, в диссертациях Анании и Берка мне многое понравилось. Оба студента провели небольшие, но хорошо продуманные эксперименты, чтобы проверить эффект продуманного образовательного вмешательства. Они случайным образом распределили учеников 4-го, 5-го и 8-го классов для получения общего образования, повышения квалификации или репетиторства. Ученики 4-го и 5-го классов изучали теорию вероятностей, а 8-го класса — картографию. В ходе посттестирования, проведенного в конце трехнедельного эксперимента, группа с преподавателями действительно превзошла группу со всем классом в среднем на два стандартных отклонения.
Но тесты, которые проходили студенты, были очень специфичными. И репетиторские интервенции включали в себя гораздо больше, чем просто репетиторство.
Студенты проходили узконаправленный тест. Берк и Анания выбрали темы, связанные с вероятностями и картографией, по определенной причине — потому что эти темы были незнакомы студентам, участвовавшим в исследовании. Нет ничего плохого в том, чтобы выбрать незнакомую тему; эксперименты в области науки об обучении обычно приводят к этому. Добиться большего эффекта легче, когда студенты начинают с нуля.
В метаанализе Коэна, Кулика и Кулика, проведенном в 1982 году, сообщалось, что эффект от репетиторства составил в среднем 0,84 стандартных отклонения при измерении в узких тестах, разработанных авторами исследования, по сравнению с всего 0,27 стандартными отклонениями при измерении в более широких стандартизированных тестах. В 2020 году Мэтт Крафт сообщил, что эффект от образовательных мероприятий в целом, а не только от репетиторства, примерно в два раза выше, если они оцениваются на основе узконаправленных тестов, а не общеобразовательных.
Несмотря на то, что вмешательство Анании и Берка дало эффект «двух сигм» при тестировании материала, рассмотренного в их трехнедельном эксперименте, сомнительно, что они смогли бы добиться аналогичного эффекта при проведении широкого теста, такого как SAT, который измеряет годы накопленных навыков и знаний. Или при проведении государственных тестов по математике и чтению — это то, о чем так много родителей и учителей беспокоились после пандемии COVID-19. Уж точно не через три недели.
Обучаемые студенты проходили дополнительные тестирования и получали обратную связь. Программа Берка и Анании «Две сигмы» включала в себя не только репетиторство, но и другие возможности. Возможно, самым важным было то, что обучаемые студенты получали дополнительное тестирование и обратную связь. После каждого занятия все учащиеся проходили тест, но любой обучаемый, набравший менее 80 процентов баллов (в исследовании Анании) или 90 процентов (в исследовании Берка), получал обратную связь и разъяснения по понятиям, которые они пропустили. Затем обучаемые студенты проходили второй тест с новыми вопросами — тест, который учащиеся всего класса никогда не проходили. Если обучаемые студенты по-прежнему набирали менее 80 или 90 процентов баллов, они получали больше обратной связи и проводили еще один тест.
Блум признал, что эксперименты его студентов включали дополнительные тесты и обратную связь, но он утверждал, что «необходимость в корректирующей работе в рамках репетиторства очень мала». Это утверждение было неверно. Очевидно, что обучаемые студенты получили существенную пользу от обратной связи и повторного тестирования (см. рисунок 2). Например, на первой неделе эксперимента Анании обучаемые студенты набрали при повторном тестировании на 11 процентных пунктов больше баллов, чем при первоначальном тестировании. На второй неделе обучаемые студенты набрали при повторном тестировании на 20 процентных пунктов больше баллов, чем при первоначальном тестировании, а на третьей неделе они набрали при повторном тестировании на 30 процентных пунктов больше баллов, чем при первоначальном тестировании.
Такое повышение успеваемости и преимущества для долгосрочного обучения связаны с эффектом тестирования, который, хотя и широко признается в современной когнитивной психологии, в 1980-х годах получил меньшую оценку. Студенты учатся на тестах и повторных тестах, особенно если получают корректирующую обратную связь, которая фокусируется на процессах и концепциях, а не просто говорит им, правы они или нет. Учителя Берка и Анании прошли обучение по обеспечению эффективной обратной связи. На самом деле Берк писал: «Возможно, самой важной частью обучения учителей было научиться эффективно управлять обратной связью и корректировками». Обратная связь и повторное тестирование также предоставили студентам-репетиторам больше учебного времени, чем студентам, проходящим обучение в полном классе, — примерно на час больше в неделю, по словам Берка.
В какой степени дополнительное тестирование и обратная связь объясняют эффект двух сигм? Примерно наполовину. Вы можете сказать это наверняка, потому что помимо групп студентов, которые занимались репетиторством, и всего класса была еще третья группа студентов, которые занимались углубленным обучением (mastery learning), которое не включало репетиторство, но включало обратную связь и тестирование после обучения всего класса. В ходе посттестового тестирования, проведенного в конце трехнедельного эксперимента, учащиеся, занимавшиеся углубленным обучением, набрали примерно на 1,1 стандартное отклонение больше баллов, чем учащиеся, которые обучались в полном классе. Это лишь немного превышает значения от 0,73 до 0,96 стандартных отклонений, о которых сообщалось в ходе метаанализа, в ходе которого оценивалось влияние тестирования и обратной связи на узконаправленные тесты.
Если обратная связь и повторное тестирование составили 1,1 из двух показателей Блума, то остается 0,9, которые мы можем списать на репетиторство. Это не так уж далеко от 0,84 сигмы, о которых говорится в метаанализе Коэна, Кулика и Kulik, посвященном влиянию репетиторства на узкие тесты.
Репетиторы прошли дополнительное обучение. Дополнительное тестирование и обратная связь, возможно, были самыми важными дополнительными мероприятиями в рамках репетиторской интервенции Анании и Берка. Однако это были не единственные дополнительные мероприятия.
Наставники Анании и Берка также прошли обучение и коучинг, которые не получили другие учителя, участвовавшие в их экспериментах. Берк упомянул о подготовке преподавателей для обеспечения эффективной обратной связи, но преподаватели были обучены и другим навыкам. Например, они были обучены «развивать навыки подачи учебных материалов, часто подводить итоги, применять пошаговый подход и приводить достаточное количество примеров для каждой новой концепции. Чтобы стимулировать активное участие каждого студента, преподаватели были обучены задавать наводящие вопросы, добиваться дополнительных ответов от студентов и просить студентов привести альтернативные примеры или ответы». Это примеры активного, основанного на опросе обучения и практики поиска информации.
И, наконец, «преподавателям было рекомендовано быть щедрыми на похвалу и поощрение всякий раз, когда ученик добивался успехов. Цель этого тренинга состояла в том, чтобы помочь преподавателям превратить процесс обучения в полезный опыт для каждого студента»
Хотя предыдущие исследования в области репетиторства не выявили большего эффекта от обучения наставников, обучение, которое получили эти наставники, возможно, было исключительным. Анания и Берк могли бы выделить эффект от обучения, если бы они предложили его некоторым преподавателям из всего класса или группы повышения квалификации. К сожалению, они этого не сделали, поэтому мы не можем с уверенностью сказать, в какой степени их репетиторский эффект был обусловлен подготовкой тьюторов.
Репетиторство было комплексным. Многие государственные и частные организации предлагают репетиторство в дополнение к основному обучению. Ученики посещают занятия вместе со всеми остальными, а затем занимаются с репетитором. Однако в экспериментах Берка и Анании репетиторы не просто дополняли занятия в классе, они полностью заменяли их. Обучаемые студенты получали все инструкции от своих репетиторов и вообще не посещали занятия. Это важно, потому что, согласно метаанализу, проведенному Коэном, Куликом и другими, репетиторство примерно на 50% эффективнее, если оно заменяет занятия в классе.
Конечно, здорово, что ученики Берка и Анании получили такую эффективную форму обучения. Но это также означает, что это было не то обучение, которое обычно получают учащиеся в рамках внеклассной деятельности.
Все то, что блестит
Возможно, в 1945 году у моего отца был наставник по «двум сигмам». Ее наставник не мог предвидеть, что эксперименты Анании и Берка произойдут через 40 лет, но ее подход имел некоторые общие черты с их подходами. Она часто встречалась со своим учеником. Она была целеустремленной и стремилась к тому, чтобы мой отец освоил учебную программу для 2-го и 3-го классов, а не просто уложился во время. Она не привязывала себя к темпу обучения в классе, а продвигалась вперед так быстро, как, по ее мнению, мог справиться мой отец. И она регулярно проверяла его понимание — не с помощью тестов, а с помощью коротких домашних заданий, которые она проверяла и исправляла, чтобы объяснить его ошибки.
Но не все репетиторство таково, и кое-что из того, что сегодня считается репетиторством, намного хуже того, что получал мой отец в 1945 году.
Осенью 2020 года я узнал, что во время пандемии у моих пятиклассников ухудшились оценки по математике. Я знал, что они плохо изучали математику, но тот факт, что их навыки ухудшились, был для меня некоторым шоком.
Чтобы подготовить их к тому, что будет дальше, я рассказал им историю о репетиторе моего отца во 2-м классе.
«Дедушка занимался с ними каждый день в течение семи недель?» — спросили они меня. «Это кажется чрезмерным».
«Вы так думаете?» — спросил я.
«Точно 47 часов?» — спросил я.
Они потянулись за калькулятором.
Раз в неделю я отвозил их в коммерческий репетиторский центр в соседнем торговом центре. Это было прекрасное время для работы в репетиторском бизнесе, но этот центр не слишком успешно использовал предоставленные возможности. Мой ребенок сидел с четырьмя другими детьми, заполняя рабочие листы, в то время как одинокая учительница сидела рядом — она была готова задавать вопросы, но в основном делала домашнее задание для колледжа и обменивалась текстовыми сообщениями со своими друзьями. Однажды мой ребенок сказал мне, что они целый час просто умножали разные числа на восемь. Они не получали никаких домашних заданий. С точки зрения когнитивной науки, я был уверен, что отработка одного микронавыка в течение часа раз в неделю не является оптимальной. Казалось, что вся система была разработана не для того, чтобы дети успевали, а для того, чтобы родители возвращались и платили за занятия.
К сожалению, репетиторство по завышенным ценам и поверхностно распространенное явление. В ходе оценки услуг частного репетиторства, приобретенных четырьмя крупными школьными округами для учащихся из неблагополучных семей в 2008–2012 годах, Кэролин Хайнрих и ее коллеги обнаружили, что, несмотря на то, что округа платили от 1100 до 2000 долларов за каждого подходящего ученика (на 40 процентов больше в текущих долларах), учащиеся получали всего полчаса в неделю с репетитором, в среднем. Поскольку округа платили за каждого ученика, а не за репетитора, большинство репетиторов работали с несколькими детьми одновременно, обеспечивая мало индивидуализированное обучение даже для детей с особыми потребностями или ограниченным уровнем владения английским языком. Учащиеся встречались с репетиторами в нерабочее время, а вовлеченность и посещаемость учащихся были неоднородными.
Только в одном округе — Чикаго — было выявлено положительное влияние репетиторства, которое составило в среднем всего 0,06 стандартных отклонений или 2 процентильных пункта.
Моя бабушка никогда бы этого не потерпела.
После публикации этих результатов некоторые из наиболее неблагополучных средних школ Чикаго начали сотрудничать с новым поставщиком услуг — Saga Education. По сравнению с услугами репетиторов, которые были оценены Хайнрих и ее коллегами, подход Saga был гораздо более структурированным и интенсивным. Преподаватели проходили обучение в течение 100 часов перед началом учебного года. Они работали только с двумя учениками одновременно. Репетиторство проводилось по расписанию, как обычные занятия, так что студенты встречались со своим тьютором по 45 минут в день, и то, как тьютор проводил это время, было строго регламентировано. Каждое занятие начиналось с разминки, продолжалось индивидуальным репетиторством с учетом потребностей каждого ученика и заканчивалось короткой викториной.
Стоимость обучения в Saga — от 3500 до 4300 долларов на одного студента в год — была выше, чем у программ, которые оценивали Хайнрих и ее коллеги, но результаты были намного лучше. Согласно оценке, проведенной Джонатаном Гурьяном и его коллегами в 2021 году, Saga tutoring повысила баллы по математике на 0,16–0,37 стандартных отклонений. Авторы пришли к выводу, что эффект был «значительным» — это были не две «сигмы», но он удвоил или даже утроил ежегодные успехи учащихся в математике.
Реально ли достичь эффекта двух сигм?
Идея о том, что репетиторство может постоянно повышать успеваемость на два стандартных отклонения, является преувеличенной и слишком упрощенной. Преимущества репетиторства зависят от нескольких факторов, включая индивидуализацию обучения, обратную связь, активность учащихся в отработке полученных навыков и тип теста, используемого для оценки эффекта от репетиторства. Исследования показывают, что результаты обучения могут варьироваться от двух полных стандартных отклонений до нуля или даже хуже. Около трети стандартного отклонения кажется типичным результатом интенсивной и хорошо продуманной программы, оцениваемой с помощью широких тестов.
Эффекты двух сигм, полученные в 1980-х Ананией и Берком, были реальными и значительными, но они были получены в ходе узкого и специализированного теста, а не только в результате обучения. Вместо этого Анания и Берк сочетали мощный коктейль вмешательств, который включал не только репетиторство, но и обучение эффективным методам обучения, дополнительное время и частые проверки, обратную связь и повторное тестирование.
Таким образом, утверждение Блума о двух сигмах имело под собой некоторую фактическую основу, но также содержало элементы вымысла.
Однако, как и в случае с научной фантастикой, утверждение привело к значительному реальному прогрессу в области исследований и технологий, хотя и не полностью соответствовало ожиданиям. Современные программы когнитивного обучения, такие как ASSISTments или MATHia, частично вдохновлены вызовом Блума, хотя в программном обеспечении для обучения больше внимания уделяется обратной связи и повторному тестированию, необходимым для повышения квалификации. Видеообучение делает репетиторов-людей более доступными, а новые чат-боты могут сделать обучение с помощью ИИ более индивидуальным, увлекательным и отзывчивым. Однако чат-боты намного доступнее и дешевле, чем репетиторы-люди. Например, Ханмиго стоит 9 долларов в месяц или 99 долларов в год.
Мой собственный опыт подсказывает, что большие языковые модели, лежащие в основе обучения ИИ, сами по себе быстро теряются при попытке преподать общие математические концепции, такие как теорема Пифагора. Но сочетание возможностей чат-ботов говорить на естественном языке с надежной формальной базой знаний, такой как когнитивный тьютор или математический движок с открытым исходным кодом, открывает большие перспективы.
Однако есть вопрос о том, насколько хорошо студенты будут взаимодействовать с чат-ботом. Поскольку чат-боты не похожи на людей, студенты могут не воспринимать их всерьез и не чувствовать себя такими ответственными перед ними, как мой отец перед своим репетитором или матерью. Тем не менее, студенты вовлекаются и даже открываются чат-ботам, возможно, потому, что знают, что их никто не осудит. Самые популярные чат-боты среди молодежи — это те, которые имитируют психотерапию. Насколько отличается репетиторство на самом деле?
Однако кажется опрометчивым обещать, что ИИ даст эффект «двух сигм», когда обучение людей редко приводит к таким значительным результатам, и данные о влиянии обучения чат-ботов еще не опубликованы. Чрезмерные обещания могут привести к разочарованию, а достижение невыполнимых целей может породить сомнительные образовательные практики. Уже существуют как человеческие сервисы, так и сервисы с искусственным интеллектом, которые будут выполнять домашние задания за студентов, а также более благонамеренные, но все же «чрезмерно услужливые» преподаватели, которые помогают студентам выполнять задания без полного понимания того, что они делают. Такие преподаватели могут повысить оценки учащихся в краткосрочной перспективе, но в долгосрочной перспективе они обманывают учащихся, лишая их преимуществ обучения для самих себя.
На начальном этапе было бы разумно просто стремиться к эффектам, которые приблизительно соответствуют преимуществам хорошо продуманного обучения людей. Получение выгоды в размере одной трети стандартного отклонения было бы огромным достижением, если бы это можно было сделать с низкими затратами, в больших масштабах и при широком тестировании — и все это без привлечения армии преподавателей-людей, некоторые из которых, возможно, не слишком заинтересованы в работе. Эффект в одну треть стандартного отклонения, вероятно, не будет достигнут простым внедрением чат-ботов в классе, но может быть достигнут, если мы умело интегрируем новые чат-боты с ресурсами и стратегиями науки об обучении. Как только будут получены и подтверждены результаты, составляющие треть стандартного отклонения, мы сможем улучшить их с помощью непрерывного, постепенного А/Б-тестирования, постепенно превращая научную фантастику в научный факт.