Черный ящик Пандоры

Mногие открытия и технологии можно использовать во благо человека или во вред. И не только в форме оружия: от бомбы до лазера. Но и более изыскано — например, чаек с полонием.

С изобретением компьютера сначала так и получалось: став помощником инженеров и врачей, компьютер также стал наводить ракеты на цели и управлять военным боем.

Однако на этом человечество не остановилось, предположив, что компьютер способен на большее, нежели чем просто стать очередным оружием в руках у злых дядь.

И появилась антиутопия злого супер-интеллекта: про бунт машин, всякого рода терминаторов, матриц и т.д. Все, так или иначе, про достижение и последующее осознание компьютерами своего интеллектуального превосходства над людьми с вытекающей из этого по компьютерному логичной целью уничтожения человечества за ненужностью для дальнейшего прогресса.

К счастью, за полвека существования этой антиутопии практических оснований утверждать, что компьютер может хоть что-то осознать и захотеть, так и не появилось. Поэтому антиутопией занимаются теперь, в основном, в Голливуде. А в целом, ни ученые, ни народ по этой теме больше не заморачиваются.

Правда остается еще опасность вреда от компьютерных вирусов. Но с ними как-то борются, и в целом глобальной проблемы пока не видно.

И вдруг оказалось, что зло от компьютеров может прийти совсем с неожиданной стороны.

В январе, как гром среди снеговой грозы, шарахнула сенсация — международная группа ученых опубликовала в журнале Science статью о проблемах теории функционала плотности (ТФП) — одного из важнейших численных методов современной квантовой химии.

Главный вывод статьи таков.

Последние 10 лет методы ТФП двигались в неправильном направлении, все больше наращивая ошибки вычислений, используемых в сотнях прикладных областей: от разработки новых материалов до создания новых лекарств.

Как такое вообще могло случиться? По чей вине или недосмотру?

И вот оказывается — нет недосмотра. И нет ничьей вины.

Виноват новый класс вирусов. Но не из тех, что вызывают у человека грипп или стирают информацию в компьютере. А из тех, что активируются в сознании людей, в результате использования компьютеров.

Об этом и рассказывает статья.

Биологические, компьютерные и пси-вирусы

Kомпьютерные вирусы — это вредоносные программы, создающие свои копии и заражающие другие компьютеры через внешнюю среду — при коммуникации компьютеров по сетям или через внешние носители информации. Эти вирусы нарушают правильную работу компьютеров, вызывая деградацию их вычислительных способностей вплоть до полного выхода из строя.

Биологические вирусы — тоже, своего рода вредоносные программы. Они отличаются от компьютерных тем, что могут воспроизводиться не внутри компьютеров, а внутри живых клеток. Там они создают свои копии и, подобно компьютерным вирусам, заражают других. С той лишь разницей, что другие, в данном случае, не компьютеры, а живые организмы. Методы передачи био-вирусов более разнообразны, чем у компьютерных. Но суть та же — заражение через внешнюю среду: воздушно-капельным, фекально-оральным, половым путём, переносчиками и т.д.

И хотя природа у био- и компьютерных вирусов совершенно разная, но результат и характер действия весьма схожи.

Результат — нанесение вреда объекту внедрения с последующим максимально широким распространением на другие объекты. Характер действия — изменение каких-либо функциональных возможностей объекта внедрения, приводящих к ухудшению его функционирования вплоть до полного выхода из строя (смерти).

Повсеместное внедрение в жизнь компьютеров и всевозможных гаджетов (в первую очередь, смартфонов) обнаружило новый класс вирусов.

Подобно компьютерным — это информационные, а не биохимические структуры, но подобно био-вирусам, — они поражают людей.

А вследствие своей информационной структуры, эти вирусы поражают не физические, а когнитивные и психические способности человека. Поэтому их можно условно назвать пси-вирусами.

Главное следствие воздействия пси-вирусов на человека можно, также условно, назвать деинтеллектуализация — т.е. снижение тех или иных интеллектуальных возможностей человека.

Это может быть узкое воздействие на конкретную интеллектуальную способность, — например, снижение способностей к устному счету. Или воздействие на целый комплекс интеллектуальных способностей, — например, ухудшение понятийного мышления.

Действие пси-вирусов в чем-то похоже на действие нейротропных био-вирусов. Например, на действие вируса герпеса, вызывающего, как недавно было объявлено, болезнь Альцгеймера. Ее результатом, как известно, является ослабление многих способностей человека: памяти, познавательной деятельности, речи, способности сохранять усвоенные ранее знания и практические навыки.

Пси-вирусы оказывают похожее действие. Вот пара простых примеров.

· Пси-вирус, поражающий вычислительные способности человека. Современные дети, растущие в окружении всевозможных компьютерных гаджетов, уступают по вычислительным способностям детям прошлых десятилетий и даже прошлых веков.

Скажите — пустяки. Ведь для счета есть компьютеры. Все так. Но ведь вычислительные способности входят в состав интеллектуальных способностей, формировавшихся не одно тысячелетие. И не исключено, что ослабление этих способностей может негативно сказаться и на других интеллектуальных способностях человека (например, на логическом мышлении).

· Пси-вирус, поражающий познавательные способности человека. Современные дети предпочитают не забивать голову знаниями, о которых можно прочесть в Интернете. А поскольку в сети можно найти информацию почти про все, то и запоминать нужно лишь ответы для экзаменов. Да и то, — лишь до их сдачи.

Опять скажите — пустяки. Ведь есть компьютеры, гаджеты и WiFi, — в чем же проблема?

А в том, что человек, хранящий в голове знания из ста книг, довольно сильно отличается от того, кто книг не читал, но зато носит на шее ключ от библиотеки в 10 тыс. томов.

Ведь первый из них уже обладает знаниями, которые могут становиться источником, питательной средой и, главное, —

мотиватором к получению новых знаний.

А у второго нет ничего кроме «ключа на шее». И этот ключ, хотя и открывает путь к необъятным знаниям сети, но сам по себе не порождает мотивации к поиску новых знаний.

Источник обоих вышеназванных пси-вирусов находится не в компьютерах. Эти вирусы изначально коренятся в сознании человека, находясь там в неактивированном состоянии. Компьютеры и информационные сети, по сути, лишь активируют программы действия этих пси-вирусов, в результате исполнения которых замедляется развитие и деградируют определенные интеллектуальные способности.

Дальше, как и любой информационный вирус, пси-вирус активизируется в социальных контактах «зараженного» (школа, друзья и т.д.). Процесс его распространения самоусиливается за счет эффекта «стадного поведения». Ну а поскольку изначально пси-вирус сидит почти в каждом, результат распространения такого «заражения» предопределен — оно охватывает практически все контакты.

Вышеописанный механизм «спящих в сознании» человека пси-вирусов, активируемых при коммуникации с компьютерами, многим покажется полным бредом.

Но что мешает предположить, что механизм информационных вирусов «спящих в сознании» человека (пси-вирусов) и активируемых извне коммуникацией с компьютером подобен механизму био-вирусов «спящих» в ДНК и активируемых внешними факторами?

Ведь согласно новейшим исследованиям уже известны следующие факты.

1. Как минимум 8% генов достались человеку не от его предков и даже вообще не от животных, а от вирусов.2. Вирусы, спящие в ДНК человека десятки миллионов лет, могут быть активированы.3. Активация может быть вызвана факторами внешней среды. Более того, — механизм такой активации уже исследуется в целях лечения неврологических заболеваний.

Так что, ничто не ново под луною. Ну а пока имеем то, что имеем.

Согласно последнему отчету Организации экономического сотрудничества и развития, снижение навыков грамотности и счета наблюдается именно в странах с наиболее компьютеризованным обучением в школах: Австралии, Дании, Нидерландах и Норвегии.

Пси-вирус черного ящика

Tеперь перейдем к особому типу пси-вирусов, которому, в частности, человечество обязано 10 летним развитием в ошибочном направлении самого распространенного из методов квантово-химических расчетов, используемого в сотнях прикладных областей.

История о том, как молодые российские ученые изменяют современную квантовую химию доказав, что вот уже 10 лет она движется в неверном направлении, — сенсационна и заслуживает первых полос самых крупных российских СМИ.

Но к сожалению, эта новость так и не стала сенсацией января, получив в Рунете лишь 4 публикации (в Тасс-наука, Научная Россия, Чердак и Индикатор ) и одно радио-интервью.

Суть этой истории такова.

Прежде чем создать новый материал или лекарство с целевыми свойствами, нужно построить их молекулярные модели. Современная квантовая-химия позволяет строить такие модели, вычисляя энергию их элементов. Точный расчет здесь невозможен, т.к. невозможно описать и просчитать движение всех электронов во всех атомах модели (потребуются миллионы лет).

Нужны методы приблизительного расчета.

Самым распространенным из таких методов является Теория функционала плотности (ТФП), не рассчитывающая каждый электрон, а определяющая энергию на основании распределения электронной плотности (среднего количества электронов в каждой точке пространства). ТФП позволяет делать сложные расчеты настолько просто, что это доступно даже непрофессионалу на обычной персоналке.

Некоторые из приближений ТФП базируются на теории, а некоторые получаются исключительно численными методами, грубо говоря, подгонкой параметров, достигаемой путем тренировки сложной функции на наборе тестовых молекул (100–200–300 молекул).

В реальности же молекул миллионы и более. Никто не знает, может ли эта выборка отобразить все многообразие молекул.

По сути, такая модель превращается в черный ящик, в котором происходит своя жизнь, но никто не знает — какая, поскольку подгонкой параметров занимается компьютер.

А исследователь лишь получает заказанный им «правильный» ответ.

В результате, многие современные функционалы, созданные после 2000 г, были созданы с сильным отходом от теории и значительной подгонкой к реальным результатам тестовых молекул. Они давали правильную энергию (то, что от них требовалось), но неправильно показывали электронную плотность.

Фактически, давали верный ответ из неверных соображений. 

Не буду здесь углубляться в обсуждение последствий нарастающей ошибки вычислений ТФП. Как уже отмечал, — это самый распространенный из методов квантово-химических расчетов, используемый в сотнях прикладных областей. Ну а станет ли кто теперь признаваться в ошибках при разработке, например, новых лекарств, — большой вопрос.

Разработка и вывод на рынок каждого из них обходится в миллиарды долларов. Так что ждать признаний в ошибках не приходится. Проще замолчать российское исследование. А то и заткнуть рот критикам, если будут задавать слишком много вопросов. Слишком большие деньги на кону.

А почему какие-то из новых лекарств не оказывают ожидаемого действия — кто ж теперь разберет.

Но нас, в общем-то, вовсе не это интересует, а то, как работает пси-вирус черного ящика.

Лень раньше нас родилась

Вряд ли эта поговорка имеет отношение к генетике.

Есть ли у человека ген, отвечающий за лень, ученые пока не знают. Не известно также и то, есть ли в ДНК спящие вирусы, чья активация усиливает в человеке склонность к лени.

Однако психологи четко знают следующее.

Лень — это всего лишь вопрос мотивации

(помните пример с ключом от библиотеки на шее?).

Лень появляется лишь тогда, когда мотивация человека сделать что-то полезное и нужное ниже, чем его мотивация не делать этого.

А теперь зададимся тремя простыми вопросами:

1. Зачем считать в уме, когда за вас это может сделать компьютер?2. Зачем запоминать что-то, если это можно найти в Интернете, когда потребуется?3. Зачем самому подбирать и перепроверять параметры вычислений, если компьютер делает это в миллион раз быстрее?

Очевидный ответ на все 3 вопроса — незачем. И, следовательно, нет никакой мотивации это делать. Т.е. можно просто лениться.

Так неужели все так просто? Просто лень? И эта лень стоит человечеству деинтеллектуализации личности, а то и регресса в науке?

Получается, что так. Но это еще далеко не самое худшее.

Черный ящик принятия решений компьютером, когда человек вообще не понимает логику этого решения, сегодня используется далеко не только при подгонке параметров в расчетных задачах.

Самое популярное сегодня во многих отраслях направление — глубокое машинное обучение нейронных сетей, в принципе не позволяет человеку понять ни мотивы, ни логику решений, принимаемых компьютером.

Решения, принятые черным ящиком, приходится принимать на веру, без объяснений и без малейшего шанса понять — почему так, а не иначе.

Поэтому, как пишет журнал Nature:

· приложения на базе глубокого машинного обучения нейронных сетей становятся все опасней из-за неспособности людей понять мотивы и логику вырабатываемых ими решений и рекомендаций.· уже существует масса областей, активно использующих глубокое машинное обучение, где вырабатываемые машиной решения могут нанести серьезный вред, а то и оказаться незаконными (в статье приводятся примеры от диагностики рака до финансового анализа и самоуправляемых авто).· речь не идет об отказе от метода глубокого машинного обучения, но из соображений безопасности во многих критических областях для этого метода срочно нужны альтернативные методы с прозрачной мотивацией и логикой принятия решений.

Если же вышеназванного не сделать, останется только, подобно цитируемому в статье Пьеру Балди, успокаивать себя и других соображениями о том, что и человеческие решения также принимаются мозгом совершенно не понятно как, и ничего, — живем.

Но увы! Тут-то и замыкается порочный круг.

Пси-вирус черного ящика все более склоняет человечество к перекладыванию ответственных задач на компьютеры.А черные ящики глубокого обучения все чаще получают свободу в принятии решений не только без участия, но даже и без понимания человека.

Я далек от мысли агитировать за исключение компьютера из школьного образования, ограничение на использование Интернета и тотальный запрет глубокого обучения.

Все это — замечательные изобретения, очень нужные людям и несущие массу пользы. Однако их потенциальный вред, как я пытался показать, уже слишком опасен.

- Необходимо найти способ минимизации вреда от последствий активации пси-вирусов.- И нужно срочно отказываться от принятия ответственных решений методом глубокого обучения в пользу методов с прозрачной мотивацией и логикой принятия решений.

Иначе все эти черные ящики могут превратится для человечества в один большой черный ящик Пандоры.