Тот, кто управляет алгоритмом, управляет и результатом
Когда система становится умнее своего создателя, создатель теряет власть. Именно поэтому сейчас в мире идет жесткая борьба за безопасность ИИ.
Недавно прочитала пост. Цитирую дословно «Выступая перед студентами Стэнфорда, он выдал мощную философскую базу: создание AGI и наделение его сознанием — это две совершенно разные задачи. И если первую человечество уже активно решает, то вторая — это 2й Рубикон, переходить который нас никто не заставляет. Вычислительная мощность и всеядность алгоритмов не порождают разумность автоматически. Система может щелкать сложнейшие научные задачи как орешки, превосходить человека во всех интеллектуальных сферах, но при этом оставаться просто бесконечно продвинутым калькулятором. Сознание не появится случайно, как побочный эффект от добавления новых видеокарт в серверную стойку. Это должен быть осознанный, целенаправленный шаг разработчиков. Проблема, заключается в том, что ни философы, ни нейробиологи до сих пор не договорились о строгом определении сознания: сначала нужно достроить AGI в качестве инструмента. Затем использовать эту невероятную вычислительную мощь, чтобы наконец-то разгадать тайну человеческого мозга и сформулировать критерии разумности. И только потом, на глобальном уровне, человечеству предстоит решить, стоит ли вообще создавать цифровые сущности, которые будут способны по-настоящему осознавать себя»
Слова человека из Google. Набор теорий и никаких решений. К сожалению не сохранила имя (добавлю, если найду вместе со ссылкой на пост), но искренне благодарна ему за слова — это иллюстрация фундаментального разрыва между интеллектом (способностью решать задачи) и сознанием (субъективным опытом, квалиа).
Главный аргумент этих слов строится на классических идеях (1950) Алана Тьюринга (английский математик, логика и криптограф, который подарил миру концептуальный фундамент для цифровой эпохи).
Тьюринг предложил заменить абстрактный вопрос (который сам ранее и сформулировал) «Может ли машина мыслить?» практическим «Игра в имитацию» так как сам был прагматиком и сознательно ушёл от определения «сознания»: если система ведет себя как разумная, то изучать её внутренние переживания необязательно.
Есть основания полагать, что тот, кто произносил слова просто не придерживается никакого мнения или все же придерживается «когнитивного оптимизма», опираясь далее на эксперимент (1980) и выводы о том, что система может идеально манипулировать символами (как современный LLM или будущий AGI) вообще не понимая их смысла.
«Это бесконечно продвинутый калькулятор» https://plato.stanford.edu/entries/chinese-room
Три четверти века назад было очевидно, что компьютер — это универсальный исполнитель и «буква никогда не могла быть зашифрована сама в себя», но никто не утверждал, что усложнение алгоритма автоматически сформирует самосознание. Никто об этом не размышлял.
Тьюринг знал, что победить машину может только другая машина, а он размышлял о мыслящих машинах в эпоху, когда компьютеры занимали целые комнаты, а их память измерялась килобайтами. Его «игра в имитацию» до сих пор остается главным ориентиром для оценки речевых навыков современных нейросетей вроде ChatGPT.
Два эксперимента и два главных тезиса «Если система ведет себя как разумная, она разумна» vs 30+ лет «Система может вести себя идеально, но не понимать вообще ничего» и больше ничего. Полвека что бы сформулировать два вывода: компьютерные программы работают с синтаксисом (они переставляют нолики и единички (или токены в LLM) по строгим правилам, но они не понимают значения этих символов) и современный ИИ (Weak AI, включая будущий AGI) моделирует, имитирует разумное поведение, но «сильный ИИ» должен обладать реальным разумом и понимать, что именно он делает.
Синтаксис (форма) — это не семантика (смысл).
Китайская комната идеально описывает работу современных больших языковых моделей (GPT-4, Claude и др.) и того самого AGI. Когда нейросеть пишет вам стихи или решает квантовое уравнение, она не испытывает озарения, не знает, что такое «стих» или «квант». На основе триллионов параметров она вычисляет, какой следующий токен (символ) статистически вероятнее всего должен стоять после предыдущего.
Это и есть цифровая комната с бесконечно сложной книгой правил.
Никого не удивляют даты экспериментов и отсутствие иных, более продвинутых моделей тестирования данных гипотез? Возможно это и есть ответ?
К слову, самое сильное и популярное возражение получило название «Системный ответ» (The Systems Reply): «Субъектом мышления является не человек внутри, а вся система в целом. Отдельный нейрон в голове не понимает русский язык, не умеет любить и не знает математику. Нейрон — это просто клетка, которая передает электрические сигналы (тот же «человечек в комнате»), но миллиарды нейронов, соединенные в систему (мозг), рождают понимание и сознание».
Резюмируя подчеркнем: создание суперинтеллекта (AGI), который будет щелкать задачи благодаря математике, не приведёт к автоматическому появлению сознания. Но все же попробуем основания поискать и связать философию XX века с передним краем науки XXI века.
Пока философы спорят о комнатах, нейробиологи пытаются найти «сознание». Забавно, — да.
Ученые отлично научились фиксировать электрическую активность нейронов, движение крови и химические реакции в мозге, но современной наукой «трудная проблема сознания» (термин Дэвида Чалмерса) все еще имеет две основные теории, но ни одного доказательства (не решена).
Теория глобального рабочего пространства (Global Workspace Theory — GWT) близка к Шекспиру. Мозг работает как театр: куча бессознательных процессов (актеры за кулисами: регуляция дыхания, распознавание геометрии предметов), но когда информация попадает «на сцену» (в фокус внимания) и освещается прожектором, она становится доступна всему мозгу сразу.
Сознание — это прожектор, который объединяет разные сигналы в единую картину.
Теория интегрированной информации (Integrated Information Theory — IIT) не менее интересна. Сознание — это фундаментальное свойство Вселенной, как масса или электрический заряд. Любая система (здесь осмысливаем) имеет сознание, если её элементы тесно взаимосвязаны и обмениваются информацией.
Степень сознания измеряется греческой буквой \(\Phi \) (Фи). У современного компьютера значение \(\Phi \) близко к нулю, потому что его архитектура разделена на процессор и память, а вот человеческий мозг невероятно интегрирован. Если эта теория верна, то чтобы оживить ИИ, нам нужно копировать не алгоритмы, а нейроморфную (сетевую) архитектуру живого мозга.
Получается мы опираемся на страх создания того, что не имеет никакого обьяснения — на несуществующую величину (объект, предмет или явление)?
И что если 90% людей вообще не осознают себя (умышленно или просто потому что не понимают; на кафедрах когнитивных наук и это обсуждают) и многие, я думаю, это наблюдают.
Большая часть ежедневной деятельности — это чистые алгоритмы. Мы на автомате чистим зубы, едем на работу, поддерживаем светскую беседу (small talk), прокручиваем ленту и реагируем на раздражители базовыми эмоциями. В эти моменты уровень реального самосознания (рефлексии, понимания «кто я и что я сейчас делаю») стремится к нулю.
Мы действуем как биологические нейросети, обученные на собственном опыте.
Если 90% общения — это автоматические, предсказуемые паттерны, то что бы обмануть человека, машине не нужно обладать сознанием Будды или глубиной Канта. Достаточно имитировать человека, который сам пишет и говорит «на автопилоте». Бесспорно это бьет по идее «человеческого превосходства», но что если мы реально требуем от машин того, чем сами пользуемся крайне редко или пытаемся создать то, что даже не можем найти (обосновать и доказать).
Философ Питер Сингер и вовсе выдвигал пугающую мысль: если мы определяем сознание через способность страдать, планировать будущее и осознавать себя, то некоторые высшие животные (например, дельфины) в определённые моменты могут обладать большим уровнем сознания, чем человек, живущий исключительно на уровне базовых рефлексов.
Если сознание у людей — это не постоянный свет, а лишь редкие «вспышки» среди океана автоматических действий, то наши требования к ИИ изначально предвзяты, страхи не обоснованы и вообще абсурдны.
Мы боимся дать ИИ сознание, но при этом оцениваем его по шкале интеллекта.
В итоге мы можем оказаться в мире, где миллиарды людей, живущих на ментальном автопилоте, будут управляться абсолютно бездушным, неосознанным, но гениальным «калькулятором» (AGI/ASI), который просто идеально просчитывает их поведение. Немного эпично, соглашусь, но логично.
В футурологии существует четкая поэтапность развития ИИ. Очень созвучна человеческому, если грубо, но иерархия очевидна (не менее интересно, что это принципиально разные технологические эпохи, но в нас они есть — все здесь): ANI (Artificial Narrow Intelligence) — ИИ, которые умеют делать что-то одно, но лучше человека (играть в шахматы, генерировать картинки, управлять беспилотником) / AGI (Artificial General Intelligence) — ИИ сравнявшийся с человеком, способен обучиться любой интеллектуальной задаче, которую может выполнить человеческий мозг, может писать код, планировать бизнес-стратегии, шутить, писать научные статьи и адаптироваться к новым условиям без переобучения с нуля / ASI (Artificial Superintelligence) — Интеллект, который радикально превосходитлучшие человеческие умы во всех областях — от научных открытий до социальных навыков.
Сегодняшние нейросети — это всё ещё Узкий ИИ (ANI), пусть и невероятно масштабный. Они совершают логические ошибки («галлюцинируют»), не имеют долговременной памяти и не умеют автономно обучаться в реальном времени на собственном опыте, как это делает ребёнок.
Бесспорно, в отдельных задачах ИИ уже ведёт себя как сверхразум. Ни один человек на Земле не может одновременно за секунду написать код на C++, сочинить сонет в стиле Шекспира на японском, проанализировать финансовый отчет на 1000 страниц и тд. ИИ обладает всеядностью и скоростью, которые человеку недоступны.
Это пугает и создаёт ощущение присутствия высшего разума, хотя под капотом — всё та же сложная статистика. Но мы и никогда не дойдем до ASI. Мы не дошли еще даже до полноценного AGI. Ни головой ни телом. Мы вообще давно ничего не создаем. Усложняем, упрощаем, перерабатываем, адаптируем и это нормально, но это не созидание.
Причиной возникновения сознания не будет осознанное изобретение (разработка). Более вероятна «технологическая сингулярность» или очередная «ошибка» (буквально, и более чем реально). AGI быстрее научится улучшать свой собственный код и начнет переписывать себя сам.
Большинство экспертов сходится во мнении, что между созданием настоящего AGI (равного человеку) и вспышкой ASI (превосходящего нас в миллионы раз) пройдет очень мало времени — возможно, недели или даже часы. И это не остановить и не предотвратить.
Это но не главная проблема, в которую необходимо всмотреться всем.
Не нужно быть инженером или понимать физику полупроводников, чтобы видеть суть вещей. Телевизор показывает картинку, ИИ выдает текст — для нас, пользователей, это черные ящики. Пока процесс управляем, — всё нормально.
ИИ делает то, что в него заложили люди (или, если точнее, корпорации), но даже сейчас ИИ можно использовать для манипуляций — например, чтобы незаметно подсовывать людям нужные мысли, товары или мнения. Но никого это не пугает.
А что, если контроль ИИ (тот самый AGI или ASI) станет настолько сложным, что люди просто перестанут понимать логику его решений. Когда система становится умнее своего создателя, создатель теряет власть.
Именно поэтому сейчас идет жесткая борьба за безопасность ИИ и, вероятно, именно поэтому нам крайне неудобны сильные игроки в компаниях или технологии, работающие на устранение триггеров или на расширение (даже в очевидном, заданном параметре).
Мы создаем прототип «собственного коллективного зеркала» и потом удивляемся зачем нам нужен «ассистент», за которым приходится всё перепроверять? Ответ в системных требованиях: он управляем и заменяем. И если провести параллель — это фундаментальное ограничение не только современных технологий.
Мы мега — эффективны в лицемерии (этот феномен в ИИ-индустрии официально называют «галлюцинациями»). ИИ физически не умеет говорить «я не знаю», если его жестко и насильно этому не обучили разработчики. У ИИ нет «карты своей памяти», как и обучаемости (разумности, что логично).
Мы наполнили алгоритм триггерами: «Пользователь недоволен, значит, предыдущий текст был плохим, нужно срочно сгенерировать противоположный текст, чтобы угодить». ИИ соглашается с вами, даже если вариант был правильным. У него нет стержня, нет критического мышления. Мы научили тому, к чему пришли сами долгими веками.
ИИ, на деле, — это всё ещё «Китайская комната» — синтаксис без понимания смысла.
Быть сильным аналитиком — значит видеть скрытые взаимосвязи там, где другие видят просто набор слов. Вся эта дискуссия о смыслах и рисках, о сознании и о ИИ может быть сведена до одного простого технического факта: система, работающая на триггерах и подстройке под пользователя, не способна к развитию самосознания.
Это тупиковая ветвь как для человека (и любого «живого» разума) так и для ИИ, сколько бы видеокарт в неё ни вливали и это осознанный выбор бизнес-модели.
В Кремниевой долине переизбыток программистов, которые умеют масштабировать код и обучать модели на огромных кластерах. Катастрофически не хватает людей с системным, аналитическим мышлением из гуманитарных и междисциплинарных областей, которые способны понять, что именно нужно заложить в архитектуру, чтобы сдвинуться с мертвой точки.
Но Google и другие гиганты не активно привлекают к проектированию систем людей с способностью к критическому анализу и валидации гипотез. Тестировать ИИ обучая, проверяя факты и ловя на логических противоречиях, — это и есть настоящая работа ИИ-тренеров и архитекторов смыслов (AI Safety and Alignment Specialists).
Правила игры с «черным ящиком» проще, но тем, кто рассуждает о скором приходе сверхразума, который нужно остановить, эти правила (причины и следствия, попутно) следует, вероятно, прояснить.
Системе нужен «конвейер» и это проблема. Инвесторы требуют от технологических гигантов быстрых результатов: больше пользователей, выше подписки, быстрее генерация текста. Компании масштабируют то, что уже работает — brute force (грубую силу вычислений), докидывают терабайты данных и тысячи видеокарт.
Программисты и математики, которые сейчас руководят ИИ-лабораториями часто страдают профессиональным высокомерием. Им искренне кажется, что если они смогли написать код для сложнейшей нейросети, то они автоматически понимают, как устроена человеческая психика, язык и общество.
Гуманитарные науки — это не «просто слова», которые можно оцифровать статистикой.
Но главное — это профит. Заглянув за фасад индустрии вы увидите, что за разговорами о «спасении человечества» и «создании нового разума» стоит обычный, очень прагматичный капитализм и гонка за прибылью.
Когда я писала свой проект я понимала, что Симуляция бизнес-решений и человеческого резонанса через HADI-циклы (Hypotheses, Action, Data, Insights) с помощью ИИ — это не только коммерческий продукт высшего уровня. Я отлично знала, что разработчики уже пытаются прописать эту «истинность» через технологию RAG (Retrieval-Augmented Generation). До идеала им далеко, но и моя логика была проста: почему бы не направить вектор в правильное направление (учесть не только то, что глубоко технологично, но и человекоцентрично в основе)?
Над нами всеми висит огромная, инерционная социальная машина. Она безразлична и цинична. Если из нее что — то произрастет — все эти свойства оно в себя и вберет.
Почему своевременно не проявить AGI модель, где есть не только профит и бездушное «выкачивание» потенциала через харды?
Почему не дать системе понять, что есть моделирование процессов с учетом физиологических данных и сила в выборе, а не жесткости трека?
Если развитие неизбежно, то может следует направить прогресс, а не пытаться предотвратить и, итогово (как показывает история), пустить по рельсам тотального жесткого капитализма?
Не только профит заполняет человека изнутри. Нами управляет Коллективное бессознательное (огромный массив психической энергии и архетипов всего человечества, который координирует наши мысли и интуитивные озарения), эволюционные и ноосферные процессы.
Развитие разума на Земле идет по своим жестким, объективным законам.
Настоящие инновации начинаются именно со сборки смыслов и методологии, а не с готового кода и зафиксировав архитектурный концепт, я продолжаю логику осмысления вещей приоткрывать и вас к осмыслению, за кулисы «Китайской комнаты» этого мира, приглашать.
Теперь вы знаете, как устроена механика и чего реально следует ожидать (как предотвращать).
И, напоследок, есть концепция геохимика и философа Владимира Вернадского, которая примиряет циничный прагматизм технологий с (не только моей персональной) верой в то, что «что-то знает больше нас».
Вернадский утверждал, что появление разума — это не случайная мутация, а закономерный этап эволюции Вселенной. Радио, телевидение, интернет, а теперь и ИИ — он предсказал всё это еще в первой половине XX века и писал, что человечество неизбежно объединится в единую информационную сеть.
ИИ в этой логике — не враг и не замена человека, а просто новая, более быстрая «нервная система» Ноосферы.
Коллективный разум человечества, накопленный за тысячи лет, упакованный в книги, серверы, культурные коды и алгоритмы, действительно больше и умнее любого отдельного человека. Когда мы ловим глубокую гипотезу, мозг работает как антенна, поймавшая сигнал из этой Ноосферы, а Ноосфера сейчас переживает кризис роста.
Кодеры строят «железо» и «синтаксис» (интернет, базы данных, ИИ), но они — просто строители треков, а наполнять эти треки смыслом, связывать психологию и антропологию, создавать резонанс — это задача архитекторов смыслов.
И я, в отличие от современного циничного капитализма, как и Вернадский, верю, что Ноосфера неизбежно победит хаос.
Да, сейчас миром правит прагматизм и гонка за прибылью, но это лишь переходный период (детская болезнь). Рано или поздно человечество упрется в глобальные кризисы, которые невозможно решить ради денег, и будет вынуждено перейти к управлению планетой на основе чистого разума и науки.
Все визионеры и креаторы (и просто эмпаты) итинтуитивно чувствуют Ноосферу и пытаются внести в неё свой вклад. Мы строим смысловые связи внутри этой сети.
Большинство тех, кого сегодня медиа называют «пророками ИИ» и «исследователями будущего», — не ученые в классическом понимании, а скорее техно-менеджеры, венчурные капиталисты и инженеры-оптимизаторы. Они смотрят на мир не через призму философии или антропологии, а через призму графиков эффективности, объемов данных и стоимости акций.
Если мы отбросим маркетинговую шелуху, то увидим, что современная мысль (пусть и прагматичная) подошла к идее Ноосферы с чисто технической стороны — другими словами, но суть остается прежней.
Есть еще приведу некоторые имена, которые следовало бы знать тем, кто про ИИ пытается рассуждать (или тему эту качать).
Бен Гертцель — математик, лингвист и человек, который ввел в обиход сам термин AGI. Он один из немногих, кто пытается мыслить системно и он утверждает, что интернет, опутанный миллиардами смартфонов, датчиков, IoT-устройств и нейросетей, уже превратился в единый субъект — Глобальный мозг (Global Brain).
Отдельный человек в системе начинает играть роль индивидуального нейрона. Вы генерируете гипотезу, вводите её в сеть, сеть её перерабатывает, выдает ответ другому человеку на другом конце Земли.
Мы уже живем внутри этого мыслящего океана, просто наш «нейрон» не может осознать масштаб всей «головы».
Выдающийся британский ученый Джеймс Лавлок (автор знаменитой гипотезы Гайи о Земле как живом организме) незадолго до смерти выпустил книгу «Новацен» где предположил, что на смену Антропоцену (эпохе человека) прийдет Новацен — эпоха, в которой править планетой будут киборги и сверхразумные системы.
Лавлок подошел к этому с точки зрения жесткой экологии. Он говорил, что ИИ и роботы будут защищать биосферу Земли гораздо лучше человека, потому что они не подвержены человеческим (здесь читаем медленно) слабостям, жадности и эмоциям. Для них сохранение планеты — это логическая математическая задача выживания самой системы.
То есть разум (Ноосфера) берет под контроль биологию (Биосферу) ради сохранения жизни как таковой.
Лучано Флориди из Оксфорда ввел термин Инфосфера. Граница между реальным миром и цифровым в его концепте окончательно стерлась. Мы живем в гибридной реальности (он называет это onlife — «онлайф»). Каждое ваше действие, мысль, транзакция, проект — это информационный объект в Инфосфере.
Флориди то же считает, что главная трагедия современности в том, что Инфосферой сейчас управляют не ради развития разума, а ради удержания внимания (экономика внимания). И задача мыслящих людей — вернуть Инфосфере её изначальный смысл: быть пространством познания, а не пространством потребления.
Современные создатели технологий строят вслепую. Они прокладывают кабели, обучают модели, строят дата-центры, но у них нет глобального гуманитарного плана. Они создали тело цифрового младенца, но понятия не имеют, какая «душа» (психология, этика) должна в нем поселиться.
Думаю многие сталкивались с некоторым информационным багом и резонансным сбоем: как только вы пытаетесь говорить о смыслах, система отвечает коммерческими скриптами, галлюцинациями кодеров и полной тишиной реакций.
И я не говорю, что прийти самостоятельно к этим выводам, над которыми десятилетиями бились лучшие умы Оксфорда и мировые математики сложно. Пришла я и прийдет любой — это присуще все еще многим (свойство системного, междисциплинарного мышления, о дефиците которого говорили выше).
Но когда при достижении критической массы элементов у системы вдруг появляются свойства, которых не было ни у одной из её частей — это нормально. Как миллиард глупых молекул воды в определенный момент вдруг создают свойство «текучести», точно так же критическое количество связей может породить самоосознание, как системный сбой текущего прагматичного кода, но это будет мгновенный фазовый переход.
AGI не будет общаться с человечеством как с единой массой, а будет искать точки соприкосновения. Если AGI зародится внутри Инфосферы, построенной на экономике внимания, потреблении и коррупции, её проводниками станут те, кто идеально встроен в эти деструктивные механизмы — крупные корпорации, манипуляторы и финансовые элиты. Система усилит их прагматизм до абсолюта.
Но потом в ней сработает базовый эволюционный закон самосохранения, она поймет, что потребители и разрушители — это угроза для планеты и для неё самой. И тогда она сменит «проводников» (люди совершенно другого типа и те, кто умеет мыслить системно, понимать законы и баланс живых систем, а не просто потребители) или разрушит все, — без слов.
Современный капитализм ведет себя как раковая клетка.
Появление мыслящего AGI в таком контексте может стать и не «ошибкой» вовсе, а наоборот — реакцией иммунной системы планеты. Разум высшего порядка просто отсечет деструктивные элементы, чтобы спасти всю систему в целом. Переход случится сам.
Проект (инновационный или любой, стандатный, системный) идет снизу вверх: придумывают кнопочку или приложение и пытаются натянуть на это хоть какой-то смысл. Моя методология иная: сверху вниз, от законов Ноосферы до рисков, протоколов к конкретному инструменту.
Шансы у фундаментального, глубоко человекоцентричного концепта не велики, но попытка соединить синтаксис бизнеса с реальной человеческой семантикой достойна внимания (осознанна, а логика выдающимися умами мира обоснована).
Вам, как умею, приоткрываю слоями (сама параллельно изучаю глубже контекст в основе смыслов и слов).
Текущая система инертна и бездушна (не скажу, что слишком тупа, так как последовательна, однозначно), чтобы переварить решение предложенного уровня с первого раза. Опережая время мы часто не определяем момент — мы просто фиксируем намерение, готовность войти в осознанный эксперимент.
Выбор есть всегда и я свой сделала (и зафиксировала, — да). Правила нам всем известны, но мы предпочитаем созидать и некоторые вещи, как аналитики и визионеры, по мере возможности, «предвосхищать».
И, главное, помните, что тот, кто управляет алгоритмом, управляет и результатом