Эволюция правил КВРМ
2020–2023, в контексте зачёта ответов
Примечание от редактора. Текст ниже — это расшифровка видео, которое записал Александр Печеный, будучи кандидатом в группу по правилам МАИИ. Оно было опубликовано 3 сентября 2023 года.
При оформлении текста я убирал в основном слова-паразиты, смысловые повторы и иные не очень важные детали, уместные в видео, но не подходящие для печатного текста. Мысли и формулировки Александра я старался по максимуму не трогать.
Оглавление
- Вступление
- «Команда проникла в логику вопроса»: почему не надо писать это в апелляциях
- Что такое «условия вопроса». Пример разбора вопроса на условия
- Разбор правильности ответа по Кодексу спортивного ЧГК
- Изменения в правилах МАИИ (изначальная версия) по сравнению с Кодексом. Понятие существенных условий
- Тестируем подходы из Кодекса и изначальной версии Правил на одном из недавних зачётов ИЖ
- Правила МАИИ после правок ОС
- Что я предлагаю изменить
Вступление
Таймкод: 00:00
Я решил записать это видео, так как считаю, что будет лучше, если в обсуждении правил будет участвовать как можно больше людей. Сейчас многие участники движения вообще не в контексте, ведь наверняка мало кто в деталях читал Кодекс или правила. Вообще читать длинные юридические тексты довольно сложно и не очень приятно. Надеюсь, это видео поможет прояснить какие-то детали.
Вторая цель видео — агитационная, потому что близятся выборы по правилам МАИИ, я туда баллотируюсь и призываю вас, дорогие зрители: если кто-то из вас является членом МАИИ и вам близко то видение, которое я предлагаю в конце видео, предлагаю за меня проголосовать.
«Команда проникла в логику вопроса»: почему не надо писать это в апелляциях
Таймкод: 00:59
Начать я бы хотел с фразы, которая уже десятилетиями встречается во множестве апелляций — «Команда проникла в логику вопроса». Встречается она в апелляциях совершенно зря, потому что АЖ вообще без разницы, проникла ли команда в логику вопроса.
Давайте посмотрим, как разбирает ответ команды редактор, сидя в ИЖ, и как разбирает ответ команды АЖ. Редактор задает такие вопросы.
- по смыслу это примерно то, что я хотел.
- отсечь ответ от авторского или от того, что написано в зачёте, нельзя.
- этот ответ не может зачесть АЖ.
Если все все эти три пункта верны, то редактор может засчитать ответ команды. Можно, наверное, представить, что если бы такой ответ у редактора всплыл на тестах, то он либо добавил бы в вопрос какую-то отсечку, либо просто включил бы его в поле «Зачёт».
Как разбирают ответ члены АЖ? Они задают себе такой вопрос: верно ли, что ответ подходит под все условия вопроса не хуже, чем авторский или любой из зачтенных? Если это так, ответ засчитывается. Нет разницы, соответствует ли ответ логике вопроса или не соответствует или команда случайно выбрала любое слово, написала его и так случайно оказалось, что оно подходит под все условия вопроса не хуже, чем авторский ответ. Тогда команда получает плюсик.
Что такое «условия вопроса»? Пример разбора вопроса на условия
Таймкод: 02:44
Что вообще такое «условия вопроса»? Давайте посмотрим, из чего состоит вопрос.
Компоненты вопроса
- ответ,
- набор условий,
- форма вопроса в широком и узком смыслах,
- контекст.
Ответ — это то, что непосредственно написано в поле «Ответ», либо реалия, которую требуется назвать, что не тождественно тому, что написано в этом поле.
Набор условий — по сути это некие утверждения, которые будут верными, если в них подставить авторский ответ на месте плейсхолдера (таким плейсхолдером может служить слово «ОН», замена, «этот человек» или что-то такое).
Плейсхолдером, от английского слова со значением «заполнитель», называют текстовые подсказки или краткие описания, которые помогают пользователю при заполнении формы — например, для регистрации на сайте или оплаты товара в интернет-магазине.
Форма в широком смысле — это часть вопроса, которая описывает, что именно команды должны ответить: назовите его, фамилию или что-то такое. Есть и форма в узком смысле — это некие дополнительные требования к формулировке ответа: например, назовите двумя словами, на одну букву, на разные буквы и так далее.
Контекст, согласно Кодексу, — это только то, чего в вопросе непосредственно нет, но что может быть важно для оценки правильности ответа. Мне кажется более удобным расширительное толкование, а именно: это всё, что не является условием вопроса, но что важно для оценки правильности ответа.
Давайте попробуем разобрать вопрос на эти части на примере реального вопроса. Будем разбирать вопрос, на котором я, сидя в АЖ, зачёл фактически неверный ответ, что вызвало большие споры.
Вопрос
Ликёр Campari [кампари] был придуман в Пьемо́нте. Коктейль, при приготовлении которого Campari соединяют с соком из апельсинов, назван в ЕГО честь. Напишите ЕГО фамилию.
Ответ: Гариба́льди.
Комментарий: Пьемонт находится на севере Италии, а апельсины растут на юге, например, на Сицилии. Объединяющий эти два ингредиента коктейль назван в честь основного деятеля по объединению Италии, Джузеппе Гарибальди. Кстати, первой столицей объединённого государства был Турин, главный город Пьемонта.
Источник:
1. https://en.wikipedia.org/wiki/Campari
2. https://www.liquor.com/recipes/garibaldi/
XX ОВСЧ. 2 этап, вопрос №10.
Логика тут такая: Пьемонт находится на севере Италии, а апельсины растут на юге, и если это соединить, то получится объединение Италии. Исторический деятель, который объединил Италию, — это Гарибальди.
Давайте посмотрим, как этот вопрос можно разобрать на части.
1. Реалия в ответе:
- ЕГО фамилия.
2. Hабор условий:
- в ЕГО честь назван коктейль;
- в этот коктейль входит Campari;
- в этот коктейль входит сок из апельсинов;
- у НЕГО есть фамилия.
3. Форма:
- в широком смысле — «Напишите ЕГО фамилию»;
- в узком смысле каких-то дополнительных ограничений нет.
Есть в этом вопросе некий контекст, который говорит нам, что ликёр Campari был придуман в Пьемонте. Он нужен, чтобы намекнуть командам на север Италии и таким образом навести на правильный ответ.
Разбор правильности ответа по Кодексу спортивного ЧГК
Таймкод: 05:34
Давайте посмотрим, как ответы разбираются по Кодексу спортивного ЧГК. Согласно нему, ответы мы должны разделить на три кучки: правильные, неправильные и спорные.
Правильный ответ:
- есть в полях «Ответ» или «Зачёт»;
- соответствует условиям вопроса, форме и описательным критериям зачёта, например, «по смыслу» (это для таких вопросов, где точный ответ скорее невозможен или не предполагается, но можно, например, закончить шутку);
- более точный, чем авторский;
- развёрнутый, то есть авторский ответ плюс какая-то дополнительная информация, которая является верной;
- соответствует условиям вопроса не меньше, чем авторский ответ или какой-то из критериев зачёта (такие ответы обычно засчитывает АЖ).
Неправильный ответ:
- соответствует не всем условиям вопроса или критериям зачета;
- в нём есть несколько ответов, один из которых неправильный;
- в нём есть дополнительная информация, которую можно принять за неверный ответ;
- отличается от авторского орфографически, грамматически, при этом соблюдение орфографии или грамматики важно;
- не соответствует форме — тем самым дополнительным ограничениям а-ля «двумя словами»;
- является формальным, то есть либо пересказывает как-то вопрос, либо сообщает просто;
- какие-то совершенно тривиальные факты, чтобы сообщить которые никакой логики не нужно, мозг включать не нужно и так далее.
Спорный ответ
В контексте это словосочетание употребляется не в том значении, к которому мы привыкли: не тот ответ, который команда подала на синхроне или на очнике, а ответ, который нельзя однозначно отнести ни к правильным, ни к неправильным.
На самом деле это довольно узкая прослойка. Это ответы:
1. менее точные, чем авторский;
2. незначительно отличающиеся от авторского, а именно:
- содержащие грамматические или орфографические ошибки,
- данные на другом языке,
- если просят цитату, цитата дана в другом переводе,
- синонимы,
- волшебный пункт про ИЖ, который звучит так*: игровое жюри может признать несущественными и другие отличия ответа команды от авторского ответа. Рекомендуется, чтобы ИЖ пользовалось этим правом, только когда в нём есть редактор.
* — в оригинале цитата чуть длиннее, см. в п. 2.1.4.1. тут.
Как мы видим, в Кодексе это довольно узкая прослойка. Если читать документ буквально, то ИЖ по этому пункту не может засчитывать ответы, которые относятся к неправильным. То есть фактически неверные ИЖ засчитать не может. По сути, ИЖ может засчитать ответ, только если команда назвала ту реалию, которую хотел автор, но каким-то нестандартным способом.
Но что мы имеем на практике? Так как обычно мы называем спорными ответами любые ответы, в принципе достаточно логично, что редакторы хотят пользоваться тем, что они задумали вопрос именно таким, и в их видении есть некое множество правильных ответов и в него можно добавить ещё один. Но, к сожалению, бумажке, Кодексу, такая практика не соответствует.
Изменения в правилах МАИИ (изначальная версия) по сравнению с Кодексом.
Понятие существенных условий
Таймкод: 09:25
И вот в 2021 году общее собрание МАИИ принимает правила, авторы которых пытались эту проблему решить. Давайте посмотрим, какие в этих правилах есть инновации. Начнём мы с менее значительных: у нас поменялось на противоположную семантика скобок.
Скобки
В Кодексе было написано, что, если на бланке какое-то слово написано в скобках — это то же самое, если бы это слово было зачеркнуто.
Вообще говоря, это довольно нелогичная штука, потому что в жизни мы в скобках не пишем то, что хотели бы зачеркнуть. Там мы пишем какие-то дополнения или пояснения. Поэтому в правилах всё это изменилось до состояния наоборот, а именно: если скобки есть на бланке и это не важно для вопроса, то есть в ответе скобок быть не должно, то правила считают, что скобок на бланке нет, а вся информация внутри них написана на бланке обычным образом.
Форма
Вторая важная инновация — это игнорирование формы. То есть, согласно первой редакции правил, ответ засчитывается, если он указывает на ту же реалию, что и авторский ответ или то, что написано в поле «Зачёт». Эта реалия может быть названа совершенно по-другому: условно говоря, авторский ответ нужно назвать двумя словами на одну букву и это «китайский квартал», а команда сдает ответ одним словом Chinatown. Это различие для вопроса не важно, там нет какой-то рифмы, ритмики, и этот ответ можно засчитать.
Ну и наконец тот самый волшебный пункт, о котором мы говорили ранее: те случаи, когда ИЖ может зачесть ответ, который противоречит каким-то условиям вопроса. Тут было написано так: ИЖ засчитывает ответ в случае, если он указывает на другую реалию (то есть не на ту же, что и авторский ответ), но удовлетворяет всем существенным условиям вопроса и любому из авторских логических путей нахождения ответа. Это то самое «Команда проникла в логику вопроса».
Что же такое существенные условия? Это такие условия, соответствие ответа которым игроки потенциально могут проверить фактическими знаниями или логическими предположениями.
Тестируем подходы из Кодекса и изначальной версии Правил на одном из недавних зачётов ИЖ
Таймкод: 11:38
Давайте посмотрим, как эту концепцию можно применить в реальности на каком-нибудь недавнем вопросе. Например, таком.
Вопрос
Британский биолог Том Мастилл в детстве был увлечён животными и очень разочаровался, когда узнал, что ОН не похож на гигантский дельфинарий. Что такое ОН?
Ответ: Уэльс.
Зачёт: Wales.
Комментарий: будущий популяризатор науки Мастилл рассчитывал, что в Уэльсе водится множество китообразных, поскольку слова whales (киты) и Wales (Уэльс) в английском языке на слух практически неотличимы.
Источник: Mustill T. How to Speak Whale. p. 14.
Бесконечные Земли: том XXXIV, вопрос №19.
ИЖ также зачло ответ University of Wales. Попробуем разобрать этот вопрос на условия и понять, можно ли какие-то из них признать несущественными, чтобы этот ответ зачесть.
2. условия вопроса:
- Том Мастилл разочаровался, когда узнал, что ОН не похож на гигантский дельфинарий.
3. контекст опроса:
- британский биолог Том Мастилл в детстве был увлечён животными.
У меня, честно говоря, не получилось разбить условия более, чем на одно. Можно ли это условие признать несущественным? Кажется, что нельзя, потому что это явно такой факт, который команды могут проверить фактическими знаниями (не знаю уж насчёт логических предположений).
Но вопрос абсолютно точно написан по какому-то реальному источнику, команды вполне могут его читать или смотреть, то есть просто знать этот факт. Поэтому, конечно, проверить фактическими знаниями это можно. Выходит, что по этой редакции правил такой ответ засчитать нельзя.
При этом авторы правил как будто не планировали запрещать авторам или редакторам засчитывать те ответы, которые они хотят. Но ответ University of Wales засчитывать всё равно нельзя.
Правила МАИИ после правок ОС
Таймкод: 13:24
В том числе поэтому и потому, что как будто примерно всё можно проверить логическим предположениями, на общем собрании приняли правку и пункт про существенные условия откатили, оставив все остальные инновации. Пункт стал выглядеть так: ИЖ засчитывает ответы во всех иных случаях, предусмотренных Кодексом.
Получилось не очень желательная ситуация: во-первых, теперь правила зачёта ответа написаны не в одном документе, а в двух, причём довольно длинных. Во-вторых, если мы буквально читаем Кодекс, как мы до этого уже обсудили, ответ University of Wales ещё и по Кодексу засчитать нельзя, потому что реалия совершенно другая, это не вариант авторского ответа. Получается, засчитывать её нехорошо.
Хотелось бы привести реальность в гармонию с тем, что написано в бумажке. Итак, мы плавно переходим к тем изменениям, которые я предлагаю.
Что я предлагаю изменить
Таймкод: 14:29
Во-первых, я бы вернул из Кодекса пункт «Неправильный ответ» и ряд подпунктов, по которым ответ может быть признан неправильным. Почему? Потому что когда ты работаешь в АЖ, тебе очень удобно ткнуть в какой-то конкретный пункт, сказав, что ответ команды неправильный по пункту 2.1.3.F. В правилах такого нет, поэтому, если ты хочешь быть легалистом и конкретно указать конкретный пункт, тут надо писать, что ответ не может быть признан правильным согласно пунктам X и Y, поэтому он неправильный. А хочется просто сказать «по пункту 2.1.3.F ответ неправильный».
В пункт «Правильный ответ» я предлагаю в целом плюс-минус написать формулировку из Кодекса: что ИЖ может посчитать отличие ответа команды от авторского ответа или ответа, перечисленного в критериях зачета, применительно к вопросу несущественным и рекомендуется, чтобы ИЖ пользовалось этим правом, если в нём присутствуют представители редакторской группы. Кажется, что так у нас не будет никакого противоречия между практикой и реальностью, потому что у нас не будет истории про спорные ответы и этот пункт может применяться к любым ответам.
Плюс ещё кажется, что это просто какая-то ошибка: по текущим правилам развернутые ответы должна принимать техническая группа, а в моем видении мира техническая группа — это такие люди, которые вообще не должны особо разбираться. Они видят, что в бумажке написано «Ответ: X, зачёт Y», и они засчитывают только X и Y, ну и может быть, то, что в другом падеже написано, а всё остальное отправляют в ИЖ. Потому что это не их функция — думать над тем, правильный ответ или неправильный. Их функция — это аккуратно перенести то что, написано в бланке, в таблицу. Поэтому мне кажется, что это просто ошибка и тут должно быть ИЖ.
На первом этапе я бы предложил просто аккуратно перенести то, что написано в Кодексе, в правила обратно, а ссылку на Кодекс убрать. Таким образом у нас получится один документ, а не два, как сейчас.
Дальше хотелось бы этот пункт чуть-чуть раскрыть: указать, при каких именно условиях ответ команды, который противоречит фактам, может быть зачтён. Для этого я бы хотел набрать большую базу ответов, которые противоречат фактам, которые редакторы зачли; наверное, какое-то количество ответов, которые противоречат фактам, которые редакторы не зачли, и какие-то условные интервью провести: поговорить с редакторами, попросить их сформулировать, почему вот этот ответ они сочли достойным того, чтобы его зачесть, а вот этот не сочли. И попытаться как-то всё это дистиллировать, кристаллизовать в дополнительное пояснение о том, по каким причинам такие ответы нужно засчитывать.
А вообще, конечно, нужен большой справочник для АЖ с какими-то рекомендуемыми вариантами зачётов-незачётов, решениями по конкретным апелляциям, потому что тот, который был в Кодексе, прямо скажем, сильно устарел. Там ведь вопросы такие кондовые, которые сейчас не пишут уже.
Это то, чем я хотел бы заняться. Если вам кажется, что то, о чём я тут говорю, интересно и правильно, призываю за меня голосовать. А еще голосуйте за Руслана Хаиткулова и Арсения Глазовского. Мы с ними немножко этот момент обсуждали, у нас такая микрокоалиция.
Спасибо за внимание! Читайте правила и приходите на выборы.
Автор: Александр Печеный, Расшифровка: Youtube, Редактура: Наиль Фарукшин, Корректура: Дмитрий Великов.
P.S. Выборы прошли 10–11 сентября, в группу по правилам выбрали Александра Печеного, Арсения Глазовского, Руслана Хаиткулова, Дмитрия Плотникова, Дмитрия Великова и Романа Немучинского. Координатором члены группы выбрали Александра Печеного.