Нежнее сингулярности

Технооптимизм, как философское течение, не является чем-то сверхновым. Скорее разумно говорить о том, что он сосуществует со своим более мрачным братом — технопессимизмом на равных. То, что восхищает одного, ужасает другого и, наоборот.

Центральное место в этих мыслительных векторах занимает понятие технологической сингулярности. Это понятие всплывает то там, то здесь и мыслится иными то ли как конечная точка развития, то ли как вечная дистопия или, наоборот, некое подобие технически обусловленного милленаризма.

Недавнее эссе Сэма Альтмана “The Gentle Singularity” вновь подлило масла в огонь в дискурс о реалистичности технооптимизма и необходимости понимания технологической сингулярности. Мне видится крайне разумным попробовать оформить какое-то парадигмальное понимание технологической сингулярности на текущем этапе научного развития, привнести в это понимание гуманитарную оптику и высказать некоторые свои опасения и соображения на этот счет.

Сингулярность: загадочная, неуловимая и родная

Понятие сингулярности выходит в интеллектуальное пространство в середине XX века сразу в нескольких науках. С одной стороны, термин имеет строгое математическое значение — это некая мнимая точка, в которой математическая функция не является определенной. Из математики, напрямую через решения уравнений ОТО, это понятие перекочевало в физику, по факту не претерпев существенных изменений. По сути, реальные космические объекты (черные дыры) ведут себя именно как те самые точки в математическом уравнении и, что логично, их называют сингулярными. Также это понятие, стараниями постструктуралистов, пришло из математики в философию и социологию, где под сингулярным событием понимается некий феномен, выбивающийся из структурного потока, то есть тоже своего рода своеобразная черная дыра, которая не подчиняется «естественному» порядку вещей.

Однако само появление теории относительности и последующих за этим пересмотров теоретической физики не могло не отразиться на всех остальных науках, особенно на футурологических концепциях. Людей всегда интересовал вопрос горизонтов технологического: в каком моменте времени технологии достигнут своего пика, возможен ли этот пик и какая интенсивность технологического прогресса может быть определена как «нормальная». Исследователи подметили, что зачастую новый технологический скачок требовал перенастройки всей системы мышления, объяснительных моделей и самого мышления. Отсюда несложно сделать вывод о том, что точка технологического будущего всегда находится в неком тумане, поскольку осмысление новой технологической эпохи начинается постфактум относительно ее начала. Несложно развить эту мысль и дальше: что если на определенном этапе частота технологических прорывов превысит возможность человека их осознавать? Собственно, вот несколько упрощенное, но достаточно понятное описание того, что из себя представляет технологическая сингулярность.

Важное место в этой концепции занимает представление об искусственном сверхинтеллекте — таком виде ИИ, который будет обладать достаточной обученностью и вычислительными мощностями, чтобы осознавать эти технологические вехи быстрее человека и на основе этого осознания создавать ещё более совершенные технологии. Появление такого агента, гипотетически, лишит человека возможности хоть сколько-нибудь понимать технологический прогресс, и он отныне будет лишь свидетелем лавинообразного саморазвития технологий, которые, по сути, станут чисто аутопойетической системой.

Эта концепция достаточно твердо укоренилась в футурологии и научной фантастике, став в какой-то степени «родной» для авторов жанра. Однако же я предлагаю отойти от безопасной ссылки на будущую сингулярность и вновь обратиться к истории взаимодействия антропологического и технологического.

Пламя Прометея

Мысль о том, что технологическое может развиваться самостоятельно, как пугает, так и восхищает. Но для меня она всегда вызывала некоторое сомнение относительно того, почему, если мы спокойно принимаем отделенность технологического от человека в будущем, мы считаем технологии продуктом человеческого сейчас?

В трансгуманистском дискурсе вообще популярен тезис о том, что технологическое развитие есть некий качественный переход эволюционного развития человека как вида. И это достаточно легко иллюстрировать, если даже представить аналогию инструмента как продолжения тела: действительно, зачем отращивать длинную руку, когда ее можно удлинить с помощью палки — шах и мат, эволюция, которая потратила бы на это сотни тысяч лет.

Однако на деле такая картина мне кажется чрезвычайно упрощенной и, что самое главное, подрывающей понимание глубинной сути взаимодействия человека с технологией. Что есть технологическое для человека? Прежде всего это umwelt — уникальный срез неопределенного, расстилающийся перед конкретным познающим субъектом биологического. Само понятие umwelt, встречающееся в биосемиотике и теории систем, выходит за рамки «окружающей среды»; нет, под ним понимается все совокупное количество информационных взаимодействий с ареалом существования вида, формирующее уникальное коммуникационное восприятие.
Представим ареал человека, по сути являющий собой мир неограниченного числа потенциальностей; все эти потенциальности (возможности сбить фрукт, разбить кокос и т. д.) создают контингентность — неопределенность действий. Эволюционное развитие уже не может быть адекватным ответом на эту контингентность, ведь человек в силу своего интеллектуального развития осознает невообразимо большее число потенциальностей, чем любое другое существо, и путем преодоления контингентности будет или деградация с целью сокращения видимых потенциальностей (не исключено, что такая тактика вполне себе применялась), или же адаптация — поиск пути преодоления неопределенности.

Таким путем будет осознанный, волевой выбор объекта, снижающего эту неопределенность. В таком случае акт использования палки как первого орудия труда может быть рассмотрен как селективный акт изъятия из umwelt конкретного объекта в качестве коммуникационного моста между субъектом и средой. И в данном вопросе кроется крайне парадоксальный момент: сама umwelt уже содержит инструмент для коммуникации с биологическим объектом, в данном случае — человеком. То есть условная палка существует ровно для того, чтобы человек ее взял и сбил фрукт.

В этом смысле креативность, способность человека к технологическому созиданию сводится к его способности расшифровывать смыслы, посылаемые из umwelt. В такой парадигме технологическое — не эволюция человека как вида, а эволюция его способности расшифровывать невидимые доселе смыслы, то есть, по сути, коэволюция системы коммуникации, где на каждом витке сигналы усложняются, а их прием становится все более сложным и требует привлечения абстрактного аппарата (языка) для его использования.

В древности люди верили, что большинство технологических достижений даровано им богами; это встречается у древних греков, шумеров и египтян. Можно предположить, что тайное знание, дарованное людям от богов, которые, по сути, трансформировались из олицетворения сил природы, может быть редуцировано до: «природа научила людей технологическому».

Нежное сердце сингулярности в жесткой скорлупе предопределенности

Вернемся к первоначальному объекту изучения — феномену технологической сингулярности. Если мы используем ту оптику, которую я изложил выше, то роль сверхинтеллекта кажется теперь совсем иной. Для этого нужно понимать, что из себя являет технический прогресс как таковой. Это постоянный канал коммуникации. Познающий субъект черпает из umwelt потенциальности, одновременно находя в ней же коммуникацию для редукции контингентности, однако это приводит лишь к большему количеству потенциальностей и последующей модификации коммуникации. Модификация коммуникации в данном случае и есть технический прогресс, поскольку кодом такой коммуникации как раз и является технология, выступающая языком техники.

Здесь мы видим, что для усложнения кода коммуникации есть жесткое условие — непрерывный рост потенциальностей. Это возможно лишь при том условии, если umwelt присуща энтропия — способность к расширению. Энтропию нашего umwelt достаточно легко обнаружить: начиная с ареала обитания, заключающегося в рамках конкретного биоценоза, человечество освоило биосферу и даже вышло за ее пределы, стремясь в земные недра и космическую высь. Но это было бы слишком плоское увеличение, для того чтобы называть его энтропией. По пути своей коммуникации с umwelt человек открыл в ней свойство усложняться с каждым этапом. Так, от мира каменных орудий мы перенеслись в мир флогистона, а затем смогли проникнуть на молекулярный и атомарный уровень.

И здесь umwelt сохраняла свою энтропийность: даже когда мы достигли, казалось бы, неделимого, атомарного уровня, выяснилось, что мир атома хранит в себе невероятное количество потенциальностей и также может быть усложнен.

И тут кроется ловушка, которую можно не заметить, не используя этот подход. Технологическое усложнение — это не путь решения задач, а путь к поиску и ощущению неопределенностей. В системе технологического человек не субъект редукции, наоборот, он фиксатор и в какой-то степени создатель потенциальностей, ведущих к контингентности.

Увеличение потенциальностей есть прямое следствие развития коммуникации человека. Ее можно разбить на два условных кластера: это коммуникация между человеком и человеком и коммуникация нечеловеческая. Важно понимать, что оба кластера по факту есть коммуникация человека с umwelt, поскольку другие люди для конкретного биообъекта также являются составляющей umwelt. Это порождает сложную парадоксальность гуманитарных наук, которые как раз направлены на изучение межчеловеческого взаимодействия. Тем не менее эти коммуникации не отличны, поскольку в сущности являют собой разные модификации одной общей коммуникации.

Что же ИИ? Прежде всего это инструмент, направленный на решение проблем. По факту, ИИ создан для редукции контингентности во множестве сфер и являет собой глубочайшую модификацию технологического кода, настолько сложного, что он способен к определенной самоорганизации и саморепликации. Однако же такая саморепликация может быть рассмотрена как совершенствование языка, а не как создание отдельного разума.

Поясню. Запросы и решения, принимаемые ИИ, — это как понятие, которое в себе содержит сразу несколько смыслов. Вместо того чтобы выкладывать все эти смыслы по отдельности, мы используем понятие для сокращения времени и сил для построения какой-то объяснительной модели (по сути, так работает весь язык).

Чем же тогда будет являться сверхинтеллект? Ещё более усложненной коммуникацией, как если бы на смену древнеегипетским иероглифам принесли современный сложный и метафоричный язык или письмо.

По факту, он станет новой вехой в коде коммуникации нас и umwelt, однако откуда тут сингулярность? Как мы можем предположить, что коммуникация может существовать без субъекта коммуникации? И тут есть одна очень глубокая мысль.

Если самой umwelt присуща энтропия, то присуща ли нам бесконечная возможность находить в усложняющейся umwelt потенциальности? Когда-то давно я писал эссе об интеллектуальной энтропии, и, пусть сейчас бы я куда более усложнил его, основной смысл оно доносит: человеческий интеллект имеет границу. То есть наша способность к концептуализации имеет вполне себе осязаемые рамки, а значит, на каком-то этапе мы перестанем выделять потенциальности в нашей umwelt, и технологический прогресс (то есть модификация коммуникационного кода с umwelt) остановится.

И вот как раз таки технологическая сингулярность как концепт является удобной объяснительной моделью, которая позволяет обойти человеческую ограниченность и убедить нас в том, что мы способны создать думающие машины, способные к расшифровке umwelt, на деле же предлагая нам не нового субъекта, а всего лишь настолько сложную коммуникацию, что мы не можем ее понять.

Однако… без субъекта не может быть и коммуникации, как тогда быть? А что, если я вам скажу, что проект технологической сингулярности существует для того, чтобы скрыть реальную, надвигающуюся угрозу интеллектуального неравенства?

Проект нежного будущего для слабослышащих

Здесь я перехожу от концептуального, философского осмысления реальности к сугубо практическому анализу существующей действительности. Это понимание крайне важно для интегрального вывода о сущности эссе Альтмана и в целом складывающегося ныне миропорядка.

И для этого я предлагаю вам обратиться к современной экономике, опять же с точки зрения социологического анализа, все же я не экономист. В ней сегодня есть одно очень важное явление — так называемые «киты». Это лица, которые располагают большими инвестиционными средствами, а самое главное — они располагают повышенным вниманием к себе. Из-за их успешных инвестиционных операций они приобретают определенную репутацию, которая означает, что если данный субъект вложился в тот или иной проект или стартап, то ожидается резкий рост его акций и повышение инвестиционной привлекательности.

Эта специфика приводит к тому, что для стартапов становится жизненно важным привлечь на свою сторону как можно более знатного и «хайпового» кита. И надо сказать, что большинство китов осознают свою власть и часто используют такую стратегию, в которой главным смыслом является одномоментный «вход» на рынок и покупка активов, сопровождающаяся их резким взлетом, а затем «выход» в момент пика. Таким образом, киты по факту зарабатывают на краткосрочной популярности и собственной репутации. Конечно, это касается далеко не всех участников рынка со статусом кита, однако простота и низкая затратность такой схемы вынуждают все большее и большее количество акторов на рынке избирать такой подход.

Исходя из этого, маркетинг в общем бюджете стартапа начинает занимать все большее и большее место. Для конечного получения большего количества финансовых средств выгодным инструментом является мобилизация большего количества китов, а не технологическое развитие продукта. Все это проявляется в большей ценности специалистов по рекламе, нежели чем ученых, инженеров и в целом R&D-направления.

Существующая система привлечения капитала в проекты предполагает динамичное заявление о себе на рынке. Это требует от команды проекта способности быть не просто актуальной, им нужно предвосхитить актуальность — создать тренд. И в такой системе становятся ненужными даже классически образованные маркетологи, поскольку в своем анализе, как и любые ученые, они так или иначе будут опираться на преемственность. В это же время молодые, неопытные специалисты могут привнести на рынок что-то безрассудное, глупое, но в то же время совершенно новое. И это все касается создания информационного шума вокруг проекта.
Золотой жилой становится способность создавать шокирующие, сиюминутные инфоповоды, привлекать микроселебрити (обычные уже становятся неактуальными) и всецело углубляться в хаос. В свою очередь это подрывает основы для классического производства, которому присущи преемственность, системность, ориентация на результат и продукт.

И тут получается крайне занятная ситуация, когда реальные доходы производящей части экономики становятся несопоставимо ниже доходов рекламирующей части. И этот разрыв накапливается, создавая опасную тенденцию: эффективное и результативное R&D становится доступно только для гигантских компаний, которые могут покрывать расходы на него за счет своих других отделов. В то же время стартапы, средние и малые проектные группы практически полностью ориентированы на то, чтобы привлечь максимум внимания, а не что-то произвести, что ведет к деградации наукоемкого производства, а также к его концентрации в ограниченном числе центров, обеспечивающихся за счет технологических гигантов.

И тут на сцену вступает ИИ, который так удобно предлагает тратить на продукт ещё меньше, а также оптимизировать рутину, связанную с продвижением, по факту позволяя создавать продукты, состоящие на 100% из хайпа (забавно, что и сам ИИ становится просто «знаком качества» для таких проектов, которые готовы поставить две привлекательные буквы AI по сути куда угодно, и неважно, что вместо него будет работать толпа индийцев на минимальной зарплате).

ИИ усиливает этот разрыв, а его доступность становится причиной, по которой он попадает даже в те среды, которые изначально требовали хотя бы минимального порога входа. Так, на место стандартного программирования приходит вайбкодинг, а на место создания контента — генерация огромного количества слопа.

Альтман, пишущий о будущем в своем эссе, прекрасно осведомлен об этих проблемах, и на самом деле это эссе отражает то, как он и часть технологической элиты видят ее решение. И вся особенность кроется в мнимой доступности ИИ, о которой мы поговорим в следующем разделе.

Проблема коммуникативного контроля

Как я описал выше, ИИ может и должен быть рассмотрен как специфический код коммуникации с umwelt. И если мы имеем дело с каким-либо кодом, то возникает существенная проблема с его распространением, вернее, с контролем его распространения.

Альтман называет такую проблему проблемой согласованности (alignment problem), исходя из своей посылки о том, что вокруг ИИ должен сложиться новый, специфический общественный договор. И вот теперь я начну собирать, нанизывать на определенный смысловой стержень все предыдущие аргументы.

ИИ — это код. Как и любой код, он выражен в специфическом шифре, а также может воспроизводиться в определенной инструментальной среде. В случае ИИ это колоссальные вычислительные мощности; хоть Альтман и пытается обратить внимание на то, что возможно создать «мозг для всего мира», но по факту вычислительные мощности, «питающие» этот мозг, все равно находятся в конкретных руках.

Тут мы вспоминаем тезис о том, что ИИ ещё сильнее ударяет по R&D-отделам, которые являются ключевыми для построения и формирования системы, поддерживающей функционирование ИИ. Получается, что развитие ИИ ещё сильнее концентрирует его мощности в одних руках.

Консенсуальная модель, предлагаемая Альтманом, имеет один существенный недостаток — она асимметрична. Не секрет, что для любого консенсуса нужны действенные инструменты сдержек и противовесов, которые никем не предлагаются.

И это предложение в действительности сложно выработать, поскольку радикальные модели с легкостью будут предполагать или отчуждение собственности, или, наоборот, сугубо рыночно-конкурентное отношение. И это было бы вполне допустимо, если бы не одно но: мы имеем дело не с каким-то конкретным феноменом, а по сути с целым кодом для общения с окружающим нас миром. Это в значительной степени меняет отношение к проблеме, ведь так мы пытаемся распределить не благо, а само будущее между социальными акторами.

Это понимание крайне важно для практического контроля за ИИ, о котором я предлагаю поговорить ниже. Понимая, что ИИ — это не простое средство, не инструмент, а специфический код, его регулирование должно иметь в своей основе не начала владения, а цензурирования…

Постцензура

Для регулирования ИИ я предлагаю ввести нечто определенно новое, но необходимое. Под постцензурой я определяю практики, направленные на регулирование не контента, как это обычно предполагает цензурный подход, а контекста. Мы должны не контролировать, что и как говорит ИИ, а в каких конкретно условиях код может изменяться. Ключевая особенность в том, что такой контроль позволяет ограничить ИИ от чрезмерного персонального влияния, то есть, по сути, любая модель, пусть то будет даже именитый сверхинтеллект, должна четко подходить под стандарты, не позволяющие даже ее создателям использовать этот ИИ для ограниченного числа лиц.

Я вижу это как своеобразную сертификацию существующих и производящихся моделей. Сертификацию, производимую на международном уровне. И для этой сертификации у нас должен быть создан институт уровня как минимум МАГАТЭ. Наша задача — наделить этот институт важнейшей задачей: наблюдать за тем, чтобы ИИ в действительности не имел возможности быть закрытым.

Подобное достижимо лишь при наличии соглашения между крупнейшими странами, развивающими эту технологию. И мне такое соглашение мнится крайне возможным, поскольку оно позволяет обезопасить всех участников ИИ-гонки, позволив каждому сконцентрироваться на своих задачах и реализуя глобальные ИИ-проекты на общей ресурсной базе, что видится совершенно необходимым для дальнейшего развития отрасли.

P.S.

В дальнейшем я планирую продолжить тезис о технологическом, раскрыть его роль во взаимодействии с umwelt подробнее, но сейчас я считаю, что важно сконцентрировать взгляд на проблеме того, как «нежная сингулярность» может затуманить наш разум обещаниями будущего в стиле милленаризма. Сегодня, именно сегодня должны быть приняты ключевые соглашения относительно контроля ИИ, и будет очень печально, если это будет простое регулирование распространения технологии, а не кода. Текст Альтмана, хоть и пытается усыпить бдительность, в то же время поднимает эту проблему, и мне кажется, что это эссе в каком-то смысле — первый шаг к осознанному контролю.