Черный ящик пандоры
Многие открытия и технологии можно использовать во благо человека или во вред. И не только в форме оружия: от бомбы до лазера. Но и более изыскано — например, чаек с полонием.
С изобретением компьютера сначала так и получалось: став помощником инженеров и врачей, компьютер также стал наводить ракеты на цели и управлять военным боем.
Однако на этом человечество не остановилось, предположив, что компьютер способен на большее, нежели чем просто стать очередным оружием в руках у злых дядь.
И появилась антиутопия злого супер-интеллекта: про бунт машин, всякого рода терминаторов, матриц и т.д. Все, так или иначе, про достижение и последующее осознание компьютерами своего интеллектуального превосходства над людьми с вытекающей из этого по компьютерному логичной целью уничтожения человечества за ненужностью для дальнейшего прогресса.
К счастью, за полвека существования этой антиутопии практических оснований утверждать, что компьютер может хоть что-то осознать и захотеть, так и не появилось. Поэтому антиутопией занимаются теперь, в основном, в Голливуде. А в целом, ни ученые, ни народ по этой теме больше не заморачиваются.
Правда остается еще опасность вреда от компьютерных вирусов. Но с ними как-то борются, и в целом глобальной проблемы пока не видно.
И вдруг оказалось, что зло от компьютеров может прийти совсем с неожиданной стороны.
В январе, как гром среди снеговой грозы, шарахнула сенсация — международная группа ученых опубликовала в журнале Science статью о проблемах теории функционала плотности (ТФП) — одного из важнейших численных методов современной квантовой химии.
Главный вывод статьи таков.
Последние 10 лет методы ТФП двигались в неправильном направлении, все больше наращивая ошибки вычислений, используемых в сотнях прикладных областей: от разработки новых материалов до создания новых лекарств.
Как такое вообще могло случиться? По чей вине или недосмотру?
И вот оказывается — нет недосмотра. И нет ничьей вины.
Виноват новый класс вирусов. Но не из тех, что вызывают у человека грипп или стирают информацию в компьютере. А из тех, что активируются в сознании людей, в результате использования компьютеров.
Об этом и рассказывает статья.
Биологические, компьютерные и пси-вирусы
Kомпьютерные вирусы — это вредоносные программы, создающие свои копии и заражающие другие компьютеры через внешнюю среду — при коммуникации компьютеров по сетям или через внешние носители информации. Эти вирусы нарушают правильную работу компьютеров, вызывая деградацию их вычислительных способностей вплоть до полного выхода из строя.
Биологические вирусы — тоже, своего рода вредоносные программы. Они отличаются от компьютерных тем, что могут воспроизводиться не внутри компьютеров, а внутри живых клеток. Там они создают свои копии и, подобно компьютерным вирусам, заражают других. С той лишь разницей, что другие, в данном случае, не компьютеры, а живые организмы. Методы передачи био-вирусов более разнообразны, чем у компьютерных. Но суть та же — заражение через внешнюю среду: воздушно-капельным, фекально-оральным, половым путём, переносчиками и т.д.
И хотя природа у био- и компьютерных вирусов совершенно разная, но результат и характер действия весьма схожи.
Результат — нанесение вреда объекту внедрения с последующим максимально широким распространением на другие объекты. Характер действия — изменение каких-либо функциональных возможностей объекта внедрения, приводящих к ухудшению его функционирования вплоть до полного выхода из строя (смерти).
Повсеместное внедрение в жизнь компьютеров и всевозможных гаджетов (в первую очередь, смартфонов) обнаружило новый класс вирусов.
Подобно компьютерным — это информационные, а не биохимические структуры, но подобно био-вирусам, — они поражают людей.
А вследствие своей информационной структуры, эти вирусы поражают не физические, а когнитивные и психические способности человека. Поэтому их можно условно назвать пси-вирусами.
Главное следствие воздействия пси-вирусов на человека можно, также условно, назвать деинтеллектуализация — т.е. снижение тех или иных интеллектуальных возможностей человека.
Это может быть узкое воздействие на конкретную интеллектуальную способность, — например, снижение способностей к устному счету. Или воздействие на целый комплекс интеллектуальных способностей, — например, ухудшение понятийного мышления.
Действие пси-вирусов в чем-то похоже на действие нейротропных био-вирусов. Например, на действие вируса герпеса, вызывающего, как недавно было объявлено, болезнь Альцгеймера. Ее результатом, как известно, является ослабление многих способностей человека: памяти, познавательной деятельности, речи, способности сохранять усвоенные ранее знания и практические навыки.
Пси-вирусы оказывают похожее действие. Вот пара простых примеров.
· Пси-вирус, поражающий вычислительные способности человека. Современные дети, растущие в окружении всевозможных компьютерных гаджетов, уступают по вычислительным способностям детям прошлых десятилетий и даже прошлых веков.
Скажите — пустяки. Ведь для счета есть компьютеры. Все так. Но ведь вычислительные способности входят в состав интеллектуальных способностей, формировавшихся не одно тысячелетие. И не исключено, что ослабление этих способностей может негативно сказаться и на других интеллектуальных способностях человека (например, на логическом мышлении).
· Пси-вирус, поражающий познавательные способности человека. Современные дети предпочитают не забивать голову знаниями, о которых можно прочесть в Интернете. А поскольку в сети можно найти информацию почти про все, то и запоминать нужно лишь ответы для экзаменов. Да и то, — лишь до их сдачи.
Опять скажите — пустяки. Ведь есть компьютеры, гаджеты и WiFi, — в чем же проблема?
А в том, что человек, хранящий в голове знания из ста книг, довольно сильно отличается от того, кто книг не читал, но зато носит на шее ключ от библиотеки в 10 тыс. томов.
Ведь первый из них уже обладает знаниями, которые могут становиться источником, питательной средой и, главное, —
мотиватором к получению новых знаний.
А у второго нет ничего кроме «ключа на шее». И этот ключ, хотя и открывает путь к необъятным знаниям сети, но сам по себе не порождает мотивации к поиску новых знаний.
Источник обоих вышеназванных пси-вирусов находится не в компьютерах. Эти вирусы изначально коренятся в сознании человека, находясь там в неактивированном состоянии. Компьютеры и информационные сети, по сути, лишь активируют программы действия этих пси-вирусов, в результате исполнения которых замедляется развитие и деградируют определенные интеллектуальные способности.
Дальше, как и любой информационный вирус, пси-вирус активизируется в социальных контактах «зараженного» (школа, друзья и т.д.). Процесс его распространения самоусиливается за счет эффекта «стадного поведения». Ну а поскольку изначально пси-вирус сидит почти в каждом, результат распространения такого «заражения» предопределен — оно охватывает практически все контакты.
Вышеописанный механизм «спящих в сознании» человека пси-вирусов, активируемых при коммуникации с компьютерами, многим покажется полным бредом.
Но что мешает предположить, что механизм информационных вирусов «спящих в сознании» человека (пси-вирусов) и активируемых извне коммуникацией с компьютером подобен механизму био-вирусов «спящих» в ДНК и активируемых внешними факторами?
Ведь согласно новейшим исследованиям уже известны следующие факты.
1. Как минимум 8% генов достались человеку не от его предков и даже вообще не от животных, а от вирусов.2. Вирусы, спящие в ДНК человека десятки миллионов лет, могут быть активированы.3. Активация может быть вызвана факторами внешней среды. Более того, — механизм такой активации уже исследуется в целях лечения неврологических заболеваний.
Так что, ничто не ново под луною. Ну а пока имеем то, что имеем.
Согласно последнему отчету Организации экономического сотрудничества и развития, снижение навыков грамотности и счета наблюдается именно в странах с наиболее компьютеризованным обучением в школах: Австралии, Дании, Нидерландах и Норвегии.
Пси-вирус черного ящика
Tеперь перейдем к особому типу пси-вирусов, которому, в частности, человечество обязано 10 летним развитием в ошибочном направлении самого распространенного из методов квантово-химических расчетов, используемого в сотнях прикладных областей.
История о том, как молодые российские ученые изменяют современную квантовую химию доказав, что вот уже 10 лет она движется в неверном направлении, — сенсационна и заслуживает первых полос самых крупных российских СМИ.
Но к сожалению, эта новость так и не стала сенсацией января, получив в Рунете лишь 4 публикации (в Тасс-наука, Научная Россия, Чердак и Индикатор ) и одно радио-интервью.
Суть этой истории такова.
Прежде чем создать новый материал или лекарство с целевыми свойствами, нужно построить их молекулярные модели. Современная квантовая-химия позволяет строить такие модели, вычисляя энергию их элементов. Точный расчет здесь невозможен, т.к. невозможно описать и просчитать движение всех электронов во всех атомах модели (потребуются миллионы лет).
Нужны методы приблизительного расчета.
Самым распространенным из таких методов является Теория функционала плотности (ТФП), не рассчитывающая каждый электрон, а определяющая энергию на основании распределения электронной плотности (среднего количества электронов в каждой точке пространства). ТФП позволяет делать сложные расчеты настолько просто, что это доступно даже непрофессионалу на обычной персоналке.
Некоторые из приближений ТФП базируются на теории, а некоторые получаются исключительно численными методами, грубо говоря, подгонкой параметров, достигаемой путем тренировки сложной функции на наборе тестовых молекул (100–200–300 молекул).
В реальности же молекул миллионы и более. Никто не знает, может ли эта выборка отобразить все многообразие молекул.
По сути, такая модель превращается в черный ящик, в котором происходит своя жизнь, но никто не знает — какая, поскольку подгонкой параметров занимается компьютер.
А исследователь лишь получает заказанный им «правильный» ответ.
В результате, многие современные функционалы, созданные после 2000 г, были созданы с сильным отходом от теории и значительной подгонкой к реальным результатам тестовых молекул. Они давали правильную энергию (то, что от них требовалось), но неправильно показывали электронную плотность.
Фактически, давали верный ответ из неверных соображений.
Не буду здесь углубляться в обсуждение последствий нарастающей ошибки вычислений ТФП. Как уже отмечал, — это самый распространенный из методов квантово-химических расчетов, используемый в сотнях прикладных областей. Ну а станет ли кто теперь признаваться в ошибках при разработке, например, новых лекарств, — большой вопрос.
Разработка и вывод на рынок каждого из них обходится в миллиарды долларов. Так что ждать признаний в ошибках не приходится. Проще замолчать российское исследование. А то и заткнуть рот критикам, если будут задавать слишком много вопросов. Слишком большие деньги на кону.
А почему какие-то из новых лекарств не оказывают ожидаемого действия — кто ж теперь разберет.
Но нас, в общем-то, вовсе не это интересует, а то, как работает пси-вирус черного ящика.
Лень раньше нас родилась
Вряд ли эта поговорка имеет отношение к генетике.
Есть ли у человека ген, отвечающий за лень, ученые пока не знают. Не известно также и то, есть ли в ДНК спящие вирусы, чья активация усиливает в человеке склонность к лени.
Однако психологи четко знают следующее.
Лень — это всего лишь вопрос мотивации
(помните пример с ключом от библиотеки на шее?).
Лень появляется лишь тогда, когда мотивация человека сделать что-то полезное и нужное ниже, чем его мотивация не делать этого.
А теперь зададимся тремя простыми вопросами:
1. Зачем считать в уме, когда за вас это может сделать компьютер?2. Зачем запоминать что-то, если это можно найти в Интернете, когда потребуется?3. Зачем самому подбирать и перепроверять параметры вычислений, если компьютер делает это в миллион раз быстрее?
Очевидный ответ на все 3 вопроса — незачем. И, следовательно, нет никакой мотивации это делать. Т.е. можно просто лениться.
Так неужели все так просто? Просто лень? И эта лень стоит человечеству деинтеллектуализации личности, а то и регресса в науке?
Получается, что так. Но это еще далеко не самое худшее.
Черный ящик принятия решений компьютером, когда человек вообще не понимает логику этого решения, сегодня используется далеко не только при подгонке параметров в расчетных задачах.
Самое популярное сегодня во многих отраслях направление — глубокое машинное обучение нейронных сетей, в принципе не позволяет человеку понять ни мотивы, ни логику решений, принимаемых компьютером.
Решения, принятые черным ящиком, приходится принимать на веру, без объяснений и без малейшего шанса понять — почему так, а не иначе.
Поэтому, как пишет журнал Nature:
· приложения на базе глубокого машинного обучения нейронных сетей становятся все опасней из-за неспособности людей понять мотивы и логику вырабатываемых ими решений и рекомендаций.· уже существует масса областей, активно использующих глубокое машинное обучение, где вырабатываемые машиной решения могут нанести серьезный вред, а то и оказаться незаконными (в статье приводятся примеры от диагностики рака до финансового анализа и самоуправляемых авто).· речь не идет об отказе от метода глубокого машинного обучения, но из соображений безопасности во многих критических областях для этого метода срочно нужны альтернативные методы с прозрачной мотивацией и логикой принятия решений.
Если же вышеназванного не сделать, останется только, подобно цитируемому в статье Пьеру Балди, успокаивать себя и других соображениями о том, что и человеческие решения также принимаются мозгом совершенно не понятно как, и ничего, — живем.
Но увы! Тут-то и замыкается порочный круг.
Пси-вирус черного ящика все более склоняет человечество к перекладыванию ответственных задач на компьютеры.А черные ящики глубокого обучения все чаще получают свободу в принятии решений не только без участия, но даже и без понимания человека.