Маленькие глупости с большими последствиями
Предисловие. Старая басня о воробье, корове и коте
Жил-был воробей. Все лето воробей чирикал-чирикал, запасов не делал, в теплые страны не собирался. Тут пришла зима и стало воробью холодно-холодно. Замерз воробей и с ветки на землю упал, окоченелый. А мимо шла корова. Проходя под деревом, она, сама того не думая, взяла да и наложила кучу большую-пребольшую прямо на замерзшего воробья. Куча была теплой и воробей согрелся под ней. Он высунул голову из кучи и снова стал чирикать-чирикать, радуясь теплу. Но чириканье услышал кот. Он прибежал на звук, вытащил лапой воробья из кучи и съел его.
У басни есть три морали:
Не всяк тот враг, кто на тебя насрет.
Не всяк тот друг, кто тебя из дерьма вытащит.
Попал в дерьмо - не чирикай.
Не все так очевидно, как порой кажется. Об этом данная статья.
Пример первый. Крысы и телепатия
Поскольку мне часто приходится пересказывать эту историю во всевозможных дискуссиях, я решил разместить ее в блоге. Историю рассказываю так, как рассказывали ее мне, основываясь на реальных событиях, но без конкретных имен и названий.
Жил-был институт N, в котором помимо всего прочего изучали телепатию крыс. Но это не были современные фрики, которые ничего не смыслят в научном методе и не дружат с логикой и не шарлатаны, желающие легкой славы или денег. Это были вполне честные и разумные ученые, критически мыслящие, которые столкнулись с вполне интересным явлением не имеющими очевидного объяснения.
Эксперимент заключался в следующем. Бралась группа крыс (4*N особей). Крысы сажались в клетки парами (2*N пар). Парам давали некоторое время, чтобы они пожили вместе, привыкли друг к другу. Затем пары разносили в две отдельные клетки (4*N клеток), полностью изолированные друг от друга. Исключалась передача запахов, звуков, визуальный контакт. Одна клетка из каждой пары назначалась для наблюдений (2*N клеток). Вторая клетка из каждой пары назначалась для экспериментального вмешательства (2*N клеток).
Крысы (2*N), живущие в клетках для наблюдений получали неограниченное количество еды. Наблюдалось, сколько еды, по массе съедают эти крысы в единицу времени.
Крысы (2*N), живущие в клетках для вмешательства, делились на две группы. Первая группа (N крыс) получала много еды. Вторую группу (N крыс) - морили голодом.
Эти эксперименты воспроизводились много раз и каждый раз было одно и то же наблюдение. Если бывшего "партнера по клетке" крысы из группы наблюдения морили голодом, то она ела больше. Этот результат был статистически значим и легко повторялся, что наводило ученых на мысль о новом способе передачи информации, науке не известном. В данном случае как-то передавалось чувство голода. Неужели телепатия и правда существует? Как Вы думаете? Подумайте, а потом читайте отгадку.
Ученые из института N, потрясенные своим открытием написали письмо в другой, более известный институт с описанием своих экспериментов. В ответ на письмо в институт N отправили человека для расследования, чтобы тот пронаблюдал за экспериментами лично. Ученого со стороны приняли с большим удовольствием. Уверенные в безупречности исследования ученые из института N стали проводить опыты заново, под контролем скептика.
"Вот сейчас мы возьмем этих двух кпыс и поселим их в одну клетку"
"Постойте. А почему именно этих двух? Давайте устроим жребий!"
"Без проблем!"
"А теперь мы будем использовать вот эту группу клеток для наблюдений, а этих для вмешательства"
"Постойте. А почему именно эти клетки? Давайте и это определим случайным жребием!"
"Ну почему бы нет?"
"А теперь мы будем вот этих крыс морить голодом, а этих кормить нормально"
"Ну вы уже догадались о чем я попрошу?"
"Конечно! Мы разобьем крыс на группы жребием!"
После трех упомянутых процедур рандомизации, эксперимент показал отрицательный результат. Никакой разницы в количестве поглощаемой пищи между крысами, чьих партнеров морили или не морили голодом не было. Объяснение этой истории очень простое: в отсутствии рандомизации, ученые из института N, желавшие интересных результатов, без какого-либо осознанного злого умысла, помещали более худых и толстых крыс в клетки из разных групп. Именно этот артефакт привел к столь существенному искажению результатов, которые однозначно свидетельствовали в пользу существования телепатии.
Приезжий ученый вернулся в свой большой институт, а ученые из института N еще какое-то время пробовали воспроизвести свои результаты по новой методике, с использованием рандомизации. Наконец они прислали в большой институт письмо, в котором признали, что эксперименты не воспроизводится и телепатии у крыс найти не удается. "Испортили нам всю науку" - жаловались они в письме. Разумеется они были расстроены, но их способность воспринять критику, столь не свойственная современным представителям альтернативной "науки" заслуживает глубокого уважения.
Мораль этой басни такова: даже если ты уверен в собственной честности, даже если знаешь, что не хочешь исказить результаты исследования, только эксперимент, исключающий возможность субъективного фактора влиять на результат, может быть надежным.
Сидит чукча на дереве и пилит сук, на котором сидит. Мимо проходит человек и говорит: "Что же ты пилишь сук, на котором сидишь? Ты же упадешь!". Чукча лишь покрыл прохожего матом и продолжил пилить сук. Прохожий ушел, грустно мотая головой. Чукча допилил сук и грохнулся с дерева, больно ударяя голову. "Уууу! Шаман проклятый!" - завопил чукча.
Пример второй. Мыши и информационное поле
Снова буду рассказывать без конкретных имен, как анекдот.
Жил был ученый N, который исследовал мышей. Исследовал он, как мыши обучаются проходить лабиринт. И пробовал он сначала скрещивать самых умных мышей друг с другом и увидел, что потомки этих умных мышей еще умнее и еще лучше проходят лабиринт, что было прямо-таки прекрасным доказательством теории эволюции в действии.
Но кроме того, скрещивал он и самых глупых, безмозглых мышей, ожидая, что их потомки будут еще глупее и безобразней. Но результат был просто удивительным: потомки самых глупых и безмозглых мышей, хоть и были глупее потомков умных мышей, но и они "умнели" из поколения в поколение, а не глупели, как следовало бы ожидать. Ведь в популяции глупых мышей отбор был направлен в сторону не-умения проходить лабиринт! Получалось, что "умнели" ВСЕ мыши, не важно в какую сторону была направлена селекция.
И возникла на фоне этого и других экспериментов идея, что существует некоторое информационное поле, благодаря которому, обучая умных мышей ходить по лабиринту, мы автоматических обучаем ВСЕХ (да именно всех, существующих и еще не существующих) мышей ходить по лабиринту. И попали эти опыты в книгу некого фрика, как пример, подтверждающий эту гипотезу информационного поля (там у него другое название, но не суть).
Разумеется, эти опыты с мышами удивили ученых. А Вас? Кто уже догадался? Подумайте, а потом читайте отгадку.
И снова здравый смысл конечно же победил. Кто-то из ученых догадался приехать и провести очень простой контроль: как следует помыть лабиринт и избавить его от запахов. Дело в том, что во всех исследованиях использовался один и тот же лабиринт. Умные мыши, бегая по лабиринту, оставляли свои запахи. Запахов было больше там, где чаще бегали мыши, а чаще они бегали в правильном направлении. Поэтому даже самая тупая мышь со временем все лучше и лучше ориентировалась по запаху. А эволюционные факторы играли очень малую роль, ведь чтобы серьезно отобрать умных или глупых мышей, надо много поколений.
Не удивительно, что когда лабиринт помыли, ВСЕ мыши "поглупели", особенно самые "глупые".
Мораль басни такова: не ищите сложных объяснений, пока не исключил все простые. Простые объяснения есть почти всегда, просто не всем охота думать и напрягать мозги. Порой намного проще все "объяснить" волшебством или каким-нибудь "полем", но это лишь путь невежества от нежелания разобраться.
Магия. Приворот, отворот, предсказание судьбы. Гарантия 100%. Если не сбывается - возвращаем деньги.
Пример 3. Крысы - жертвы множественных проверок
Жил-был ученый, который решил исследовать действие вещества на крыс. Не будем вдаваться в подробности, ведь это лишь образовательный анекдот. Взял ученый шесть крыс и еще шесть крыс. Первых шесть крыс кормил веществом, других не кормил и потом зарезал бедняжек. Вскрытие показало, что некоторые изменения в кишечнике были почти у всех крыс, которых кормили веществом и не было у крыс, которых не кормили веществом. Результат был статистически значимый и поэтому ученым был сделан вывод о влиянии вещества на кишечник крыс.
Нормальное научное исследование не так ли?
Но проблема была глубже. Дело в том, что данный ученый, как он честно признается в отчетах, исследовал не только заявленное изменение в кишечнике, но еще несколько десятков вариабельных параметров крыс и конкретной гипотезы, какой именно параметр и как должен изменяться под действием вещества ученый до исследования не имел. Практически по всем параметрам крысы, которые ели вещество и не ели вещество были одинаковы, а в кишечнике нашлось отличие.
В эксперименте было много конкретных ошибок, но они менее интересны, кроме того требуют специальных знаний. Но одну ошибку ученого можно понять не обладая ничем, кроме логики. Заключается ошибка в том, что если взять 6 крыс и еще 6 крыс и измерить то огромное количество параметров, которое ученый измерил и сравнил (более пятидесяти), просто неизбежно, что хотя бы по одному из них первые 6 крыс будут статистически значимо отличаться от других 6 крыс.
Проиллюстрировать это легко. Представьте себе, что я скажу Вам, что я вытащу подряд два туза из колоды в 36 карт. Вытащу из разных мест перемешанной новой колоды. Удивит ли Вас, если мне это удастся? Наверно, ведь угадать такое случайно можно лишь 1 раз из 100, а это вполне маловероятно. Допустим, мне удалось. Можно предположить, что я использовал какой-то хитрый фокус?
А теперь представьте себе, что Вы не первый человек, которому я показываю этот фокус. А на самом деле этот фокус я показываю уже в сотый раз, причем до этого я еще ни разу не угадал двух тузов, а с Вами мне просто повезло. Действительно если повторить этот трюк 100 раз с сотней разных людей, один раз такой трюк получится почти наверняка и человек, не подозревающий об остальных 99 "испытуемых", на которых фокус провалился будет озадачен и восхищен. То же самое получилось в данном опыте с крысами, который получил неоправданную огласку.
В современной науке в таких ситуациях вносят "поправку на множественные проверки". Очень ценное достижение научного метода. Незнание о такой поправке неизбежно приведет к ложным результатам, как в случае с крысами, но мало кто знает о ней и мало кто ее использует. Я встречал ошибки такого рода во вполне серьезных научных изданиях. Не стоит говорить о том, что она повсеместно встречается в работах "альтернативных" ученых.
Другой пример про множественные проверки
Все знают иллюзиониста Ури Геллера. Поразивший многих людей трюк заключался в следующем: в прямой трансляции по телевизору, Ури Геллер предложил телезрителям достать свои старые, остановившиеся часы. Затем, пока он "колдовал", следовало трясти часы в руках и смотреть в телевизор. Зрителей предупредили, что Ури Геллер сможет починить часы лишь некоторых зрителей, но кто-то лично убедиться в том, что его часы запустятся и сможет лицезреть "чудо", о котором просили впоследствии сообщить. Тут же посыпались звонки, примерно такого содержания: "мои часы стояли 8 лет, но теперь заработали! Я в шоке!" Объяснение явлению простое: некоторый очень небольшой процент "не работающих часов" на самом деле испытывают легкую неисправность, которую можно починить простой встряской. Таких часов немного, но если часы потрясут миллион зрителей, обязательно найдется хотя бы десяток, у которых была ничтожная неисправность в механизме, вроде камушка между шестеренками или отошедшего контакта. Казалось бы просто магия, а в действительности - магия цифр. Очень многие "чудеса" имеют именно такое объяснение.
Но складывается впечатление, что люди еще не так далеко ушли от животных в своей эволюции и без помощи сложных теоретических инструментов, таких как наука, порой только и могут, что приходить к ложным выводам. Об этом свидетельствует растущее количество паранауки и параученых: астрологов, гомеопатов, целителей, уринотерапевтов, креационистов, изобретателей "вечных двигателей", уфологов, "волновых генетиков" и так далее. Антисциентисты, которые отворачиваются от научных методов, направленных на объективность, честность и чистоту познания проявляют глубочайшее невежество и нежелание разобраться в том, как все устроено на самом деле; довольствуются псевдо-объяснениями и иллюзиями понимания; не желают подвергнуть свои идеи и взгляды критической проверке. Мне кажется просто необходимым обучать в школах основам научного метода - благо есть множество красочных примеров того как надо и как не надо делать науку.