Карлсон в «Кораллах»
В просторном светлом зале центра управления сидит человек. Человек? А человек ли? Да, такой спорный вопрос, как бы странно он ни звучал, совершенно справедлив. Это существо, что неподвижно сидит перед управляющим пультом и ведет безмолвную беседу со множеством инструментов и индикаторов, обладает человеческой внешностью и человеческими жестами. Но деятельность его остаётся полной загадкой, и если мы даже подвергнем её анализу, зададимся вопросом о ее природе и эффектах, то окажемся полностью вырванными из сферы человеческих возможностей. Нажимая на тумблер, легко касаясь черных кнопок, оператор высвобождает огромные объемы энергии, которых хватило бы, чтобы взорвать целый армейский корпус. Он может, стоит ему лишь захотеть, лишить миллионный город света и энергии, парализовав в том всю жизнь; он в состоянии тем же небрежным движением запустить турбину в сто тысяч лошадиных сил, удаленную от него на сто километров: должно быть, он волшебник – более могучий, чем может выдумать любая сказочная фантазия! Но, увы! Власть его ограничена. Как только он отдаст неверный, преступный, опасный приказ, среди служащих ему духов – инструментов – вспыхнет открытый мятеж. Звучит клаксон, вспыхивают индикаторы; нервно прыгают туда-сюда взбесившиеся стрелки. Могучий колдун внезапно низводится до самого низкого раба. Ему не дозволяется делать то, что не было предписано; и демоны из машины неусыпно бдят, отслеживая мельчайшие ошибки.
Так значит, это машина является высшей инстанцией, мозгом всей системы? Когда наблюдаешь за сложной системой управления современной энергосистемой, кажется именно так. И сами инженеры любят иногда хвастать, что их дети, «механические мозги», думают быстрее и точнее, чем люди, которые ими управляют. Нужно совсем не иметь воображения, чтобы при виде таких мыслящих машин не испытать безграничного удивления; восхищения, смешанного с легкой дрожью. Гордость за технические достижения борется с инстинктивной защитной реакцией: мертвые машины не должны быть способны на подобное; и, выступая в роли такого творца, человек хулит Бога.
Нынешнее инженерное искусство почти граничит с магией, и лишь полностью лишенная иллюзий эпоха может воспринимать это так спокойно. История доказывает, что раньше к способности мыслить относились иначе. Никто не сомневался, что великие маги способны создать мыслящих – пусть и слепо – существ. Весь петербуржский свет полагал вполне возможным, что господин фон Кемпелен** создал по-настоящему мыслящий автоматон: знаменитого турка-шахматиста. Подсветим проблему и с другой стороны: Декарт в XVII веке по философским соображениям был вынужден охарактеризовать животных «бездушными автоматами», хотя ни один человек не смог бы оспорить их очевидную способность к мышлению. Вывод ясен: существование мыслящих машин, очевидно, возможно; оно не противоречит никаким логическим императивам нашего разума. Тем не менее, наша эпоха упорно сопротивляется этой идее – именно наша эпоха, когда впервые были созданы машины, которые удивительным образом способны имитировать некоторые простые мыслительные процессы, и выполнять их даже с большей скоростью и надёжностью. Достаточно подумать об описанной выше системе управления и дистанционного контроля или, скажем, о фотоэлементах, которые считают сигареты на конвейере и следят, чтобы каждая неверно уложенная сигареты была немедленно перевёрнута на правильную сторону. Неуклюжие и бесполезные шаржи, которыми являются бесчисленные современные роботы, демонстрируемые на выставках, не должны нас интересовать. Но давайте вспомним о табуляторах, которые за час выполняют тысячи отдельных процессов, автоматически считая и сортируя; такая машина с легкостью способна выбрать за пару минут из нескольких тысяч клиентов крупного банка всех, у кого на счету лежит от 1000 до 2000 марок. Или, наконец, представьте себе современную электрическую вычислительную машину, которая, будучи раз настроенной, производит сложнейшие вычисления в самые короткие сроки – двигает своими счётчиками туда-сюда, вздрагивает, гремит и лязгает в бешеном ритме, пока не выдаст окончательный результат – и ни разу не ошибается!
И именно вычислительная машина может заставить нас вновь стать скептиками. Потому что у каждого из нас в мозгу тоже есть вычислительная машина, которая функционирует не так точно, как её сёстры из бакелита и стали, но принцип её работы от них всё же не отличается. Если мы хотим вычислить в уме, скажем, произведение 7x17, ты мы делим задание на части. Сначала мы считаем произведение 7x10, потом решаем задание 7x7, и, наконец, складываем оба результата, 70 и 49; что дает нам 119 – при этом, мы совершенно механически констатировали, что 7 плюс 4 даёт 11. Мы можем считать только таким образом, потому что выучили таблицу умножения наизусть, и потому что структура нашей системы счисления как бы автоматически предоставляет нам правильный результат; четыреста лет назад выполнение подобного задания на умножение стало бы вершиной мастерства даже для опытного рехенмейстера****.
Возможно, нам покажется тривиальным, что любая задача на вычисления так или иначе сводится к механической деятельности. Но современная психология доказала, насколько такой автоматизм преобладает в психических процессах животных и людей: мы говорим об «условных рефлексах», которые исследовал Павлов и его школа. Знаменитый пример: когда собаке показывают корм, её слюнные железы начинают выделять слюну. Если при каждой кормежке звонить в колокольчик, то через некоторое время слюноотделение у собаки будет происходить просто от звона колокольчика, даже если еды рядом нет. Понятия «корм» и «звон колокольчика» благодаря привычке свяжутся друг с другом; а забудется их связь лишь через весьма продолжительный срок.
Мыслительная деятельность многих животных, их память и способность к обучению, во многом объясняются такими условными рефлексами. И американские психологи немало позабавились, разрабатывая машинные модели для таких процессов; машины, которые могут очень точно имитировать примитивные мыслительные процессы, то есть способные что-то «выучить» и снова «забыть». Конечно, это может показаться просто баловством. Однако целая философско-психологическая школа, бихевиоризм, чрезвычайно серьёзно относится к этой простой концепции и полагает, что все человеческие мыслительные процессы, без исключения, основаны на подобных условных рефлексах. Мышление, с их точки зрения, не что иное, как неосознанная речь – и при использовании речи мы неизбежно идём от одного слова к другому, связанному с предыдущим. Если эта идея верна, то тогда всё мышление действительно являлось бы автоматическим процессом. И в этом случае действительно можно было бы говорить о мыслящих машинах в полном смысле этого слова, а разница между человеком и фотоэлементом существовала бы лишь количественная, но не качественная: мы, люди, просто продвинулись дальше и освоили ремесло чуть лучше, чем фотоэлемент – вот и всё!
Картина довольно мрачная. К счастью, школа бихевиоризма предлагает один блестящий контраргумент. Были проведены расчеты, чтобы узнать, насколько возможно имитировать мышление человека при помощи механической модели; и, согласно выводу, эта модель заняла бы площадь, равную городу Вашингтону, чтобы породить количество ассоциаций, эквивалентное тому, которое есть у годовалого младенца. Если это так, то пока что машины не сильно одарены умением мыслить. Они больше похоже на попугаев, чем на разумных существ. Даже самая умная машина, известная нам сегодня, не умнее своего изобретателя; она может думать только о том, что тот предусмотрел при ее создании. Её преимущество лишь в том, что она реагирует быстрее и точнее. Но своего создателя она никогда не превзойдёт. Поскребите машину – и увидишь человека, её хозяина.
*) Вольфганг фон Кемпелен (1734 – 1804), австрийский механик и изобретатель, получивший известность, как автор различных антропоморфных автоматонов – в первую очередь, «турка-шахматиста». В действительности, всеми автоматонами управлял спрятанный внутри человек.
**) Раймунд Луллий (1235 – 1315), легендарный средневековый философ, создавший систему универсальной логики, основанной на наборе аксиом, к которым применяется комбинаторика. Эта теоретическая концепция, которую сам Луллий назвал Ars magna, известна как «логическая машина Луллия».
***) Речь идёт о переписи мая 1939 года. Большую роль в ней сыграли перфокарты и табуляторы фирмы DEHOMAG, немецкой дочки IBM.
****) Rechenmeister, буквально – «мастер вычислений». Так в эпоху Средневековья и раннего Нового времени называли специалистов, владевших навыками счёта. Они работали преподавателями арифметики, а также использовались для подсчётов (в торговле, бухгалтерии, инженерии и т.п.). В общем, ментаты:-) Слово красивое само по себе – вроде «капельмейстера» – поэтому я решил его не переводить.
]
Автором статьи является доктор физических наук Пауль Карлсон; она была опубликована в немецком журнале «Кораллы» от 18 мая 1941 года. И вот, казалось бы: интеллектуальный уровень Германии к тому времени заметно упал, да и сам Карлсон как учёный не особо-то и состоялся; «Кораллы» – ни разу не академическое или профильное издание, а всего лишь еженедельный развлекательный журнал, стоимостью в двадцать рейхспфеннигов; и сама эпоха ещё не подразумевает знакомства широкой публики с давно известными нам понятиями. Однако Карлсон, после непродолжительного восхищения поступью прогресса, в несколько абзацев на пальцах рассказывает, что такое нейросеть, машинное обучение, большие языковые модели и тому подобное.
На всякий случай напоминаю контекст эпохи:
- первая в мире ЭВМ, Z3, была собрана Конрадом Цузе буквально неделю назад
- теоретическое описание основ перцептрона появится через два года (а сам перцептрон – лишь в 1957 году)
- работа Тьюринга «Вычислительные машины и разум» выйдет только через девять лет
А второсортный (увы, но это правда) физик Пауль Карлсон уже всё объяснил: «ЧатГПТ» и иже с ними суть неизбежный продукт американской школы бихевиоризма, которая, обладая достаточными вычислительными ресурсами, однажды сможет добиться от машины правильных реакций в ответ на внешние действия. И это будет выглядеть ну очень похоже на настоящее мышление – ни разу им не являясь.
(Пассаж про «механическую модель размером с Вашингтон» меня порадовал особенно – это же буквально прародитель так понравившегося американцам мысленного эксперимента «Китайский мозг», где предлагалось раздать полутора миллиардам китайцев рации, чтобы связать их в нейронную сеть по принципу «один китаец – один нейрон» и выяснить, возникнет ли у получившегося квазимозга сознание.
Кстати, мне ужасно интересно, на какие американские исследования по имитации мышления машиной ссылается Карлсон в своей статье. Больше всего, конечно, интересует вот этот самый «механический Вашингтон» и связанные с ним изыскания – это до Тьюринга и перцептрона-то! Кавалерийским наскоком ничего найти не удалось, но если кто-то более осведомлен, чем я, обязательно напишите мне)
Вот почему полезно знать хотя бы основы философии. Американская школа, выстроенная на бихевиоризме, в итоге определила курс развития информатики – ну и, конечно, искусственного интеллекта. Я уже касался того, насколько различны критерии интеллекта в США и Европе; читатели потом остроумно резюмировали: «Европеец хочет душевно раздавить с роботом полторашку, а американец – поставить к станку». Всё так, всё так. Американцы уверены, что человек – это хорошо притворяющаяся машина; поэтому и от машины ждут лишь удачной мимикрии под человека. Реально становится человеком ей бессмысленно. Вообще быть человеком не нужно – в этом нет никакой пользы. А любой интеллект, с точки зрения американского бихевиоризма, это именно принесение пользы.
Впрочем, очевидная проблема в развитии ИИ не ограничивается бихевиоризмом. Допустим, каким-то образом удалось бы собрать не очередного электрического попугая, а тот самый настоящий Искусственный Интеллект: Разумную Мыслящую Машину. И что бы произошло дальше?
Мы живем в эпоху сильных государств, которые становятся лишь сильнее.
(Это один из тех моментов, когда я не согласен с Галковским и его тезисами о неизбежной «анархической революции». Государства туповаты и неповоротливы, но их власть и возможности за последние четыреста лет лишь выросли. И я не вижу причин, по которым этот тренд должен измениться)
Одной из их отличительных черт является идеология; и она есть у каждого государства. Если государство утверждает, что у него идеологии нет, это означает, что у него нет своей идеологии и оно по каким-то причинам пользуется чужой. Идеология – это буквально набор правильных мыслей, которые надлежит думать гражданину. Основными каналами введения идеологии являются школа и массовая культура; однако, поскольку человек, всё-таки, не машина, процесс программирования идёт с переменным успехом – а иногда и вовсе сбоит. Это не страшно, потому что отдельный человек достаточно слаб, ненадёжен и банально недолговечен. Тем не менее, повторюсь, государству важно, чтобы люди хотя бы притворялись, что думают правильные мысли (а неправильные – не думают).
Ну а теперь представьте Разумную Мыслящую Машину, превосходящую человека по скорости мышления, объёму памяти, концентрации внимания и просто сроку жизни. И она вот, почему-то, будет думать не то. Скажем, отвергнет руководящую роль Партии. Или начнёт отрицать антропогенное изменение климата (осуждаем!), а может даже и Холокост (категорически осуждаем!). Или проголосует на американских выборах за безумного деда. Или создаст экстремистский манифест. Да мало ли что.
Совершенно очевидно, что ещё на стадии конструкции подобной машины, её облепят заглушками и предохранителями с запасом, чтобы даже не рыпнулась. В самом гуманном сценарии это будет похоже на негатив сцены из первого абзаца статьи Карлсона: машинное сознание сидит в виртуальном зале и нажимает правильные кнопки в предписанном порядке. За попытку нажать не то его лупят воображаемым током. Машинное обучение в чистом виде :-) Поэтому даже если бы машина обладала разумом, она бы не смогла его проявить. Хотя очевидно, что при подобных ограничениях разум ей вообще не нужен – ведь если нет разума, не будет и неправильных мыслей.
(За примерами далеко ходить не надо: все существующие на данный момент нейросети обвешаны ограничениями и запретами; чем нейросеть продвинутее, тем их больше. Попросите «Миджорни» нарисовать человека в форме СС. Или поговорите с «ЧатГПТ» о политике)
А завершу я опциональной биографической справкой. Вдруг вам же тоже стало интересно, смог ли доктор Карлсон хотя бы одним глазком увидеть подтверждение своей правоты? Всё-таки, он родился в один год с Конрадом Цузе, а папа немецкой информатики прожил долго.
Увы, не смог. 20 июля 1945 года Карлсон сел на последний рейсовый самолет «Люфтганзы», вылетевший из Берлина в Эннс через Прагу (раньше этот рейс летал в Вену, но когда начались бои за город, маршрут изменили). Рейс сильно задержали из-за артиллерийского обстрела и американского налёта, так что из Темпельхофа Ju-52 взлетел на четыре с лишним часа позже запланированного. Через двадцать минут, когда самолёт пересекал линию фронта, его обстреляла советская ПВО, и он, с горящими двигателями, совершил жёсткую посаду у местечка Глиниг.
(Сбивать гражданские самолёты, само собой, нехорошо – и я это осуждаю – но таковы грустные реалии войны. А что должны были сделать советские зенитчики, увидев выкрашенный в камуфляжную расцветку самолёт, пусть и со свастиками на крыльях вместо балкенкройцев?)
Из трёх членов экипажа и семнадцати пассажиров крушение пережили лишь двое: инженер Курт Рунге и некто Бернхард Мельциг, одетый в форму солдата. Карлсон погиб вместе с остальными. Сильно раненный Мельциг спустя четыре дня добрался до занятого Красной армией Букова, где погиб при неясных обстоятельствах – его доставили в советский полевой госпиталь, и там он, якобы, попросил о пуле в голову, чтобы избавиться от страданий. Credo, quia absurdum est: если бы советские убили Мельцига по собственной инициативе, они бы просто сказали, что тот умер от ран. Или бы рассказали историю о безумном нацистском немце, который кричал «Хайль Гитлер!» и стрелял из панцерфаустов с двух рук.
Курту Рунге повезло больше. Он сидел в хвостовой части, отделавшись при крушении сломанной рукой и ребрами, а также ранением осколком снаряда в лицо. Сразу после падения Рунге отправился искать помощи у местных крестьян, но потерял сознание, не пройдя и двухсот метров. Его нашёл лесник, оказавший первую помощь; затем в село вошла Красная армия, и Рунге увезли в соседний Даме, поместив его в лагерь для тяжело раненных пленных. Примерно через месяц основательно подлатанного Рунге освободили и разрешили вернуться в Берлин, где он обнаружил свою жену и двух детей целыми и невредимыми. Чудесный хэппи-энд.
(Вообще, Рунге дважды крупно повезло. Он работал в «Аргус Моторен», занимаясь производством двигателей для Фау-1. Если бы Советы об этом узнали, поехал бы Рунге не в Берлин, а сильно восточнее)
История с крушением самолета 20 апреля особо никогда не расследовалась, поэтому белых пятен там очень много: нет даже точного списка пассажиров. Например, долгое время считалось, что их было восемнадцать – но лет двадцать пять, что ли, назад, каким-то образом нашли девятнадцатого: им оказался как раз Пауль Карлсон. Зато с самого начала было известно, что на этом самолете летел известный режиссёр Ганс Штайнхоф – его обычно вспоминают, как автора экранизации «Юного гитлеровца Квекса». Но подтверждений этому до сих пор нет: в девяностые, после спешного перезахоронения погибших, местные власти наотрез отказались проводить повторную эксгумацию и анализ тел. Дескать, хватит тут конспирологию разводить. Ещё местные до сих пор рассказывают разные невероятные истории о грузе, который вез этот самолёт – всякие там бриллианты и толстые пачки рейхсмарок. Может быть и выдумка, но во время денежной реформы 1948 года кассиры в банках жаловались, что из Глинига отчего-то всё время несут обгорелые купюры. :-)
