Империя ИИ: Мечты и кошмары в OpenAI Сэма Альтмана - Карен Хао
ВВЕДЕНИЕ: ПОГОНЯ ЗА ТРОНОМ ИМПЕРИИ ИИ
17 ноября 2023 года Сэм Альтман, генеральный директор OpenAI и знаковая фигура революции генеративного ИИ, узнал о своем увольнении от четырех из пяти членов совета директоров. Илья Суцкевер, главный научный сотрудник, кратко сообщил новость. Альтман был ошеломлен. Совет директоров остался непреклонен. Публичное объявление гласило, что увольнение последовало за тщательным рассмотрением, выявившим его «непоследовательную откровенность» в общении, что мешало исполнению обязанностей.
На первый взгляд, OpenAI находилась на пике могущества. После запуска ChatGPT в ноябре 2022 года компания стала сенсацией, а ее оценка достигла 90 миллиардов долларов. Альтман казался человеком, стоявшим за этим успехом, очаровывая публику скромностью и смелыми заявлениями.
Новость шокировала сотрудников. В офисе поползли слухи. На срочном собрании Суцкевер и другие руководители выглядели скованными и отвечали на вопросы уклончиво, что вызвало негодование. Напряжение росло. Вечером того же дня сотрудники собрались на вечеринке, где Грег Брокман, президент компании, объявил о своем уходе в знак протеста. Microsoft выразила поддержку временному СЕО Мире Мурати. Выяснилось, что многие руководители, как и рядовые сотрудники, были ошеломлены увольнением. Они потребовали отставки совета директоров, угрожая массовым уходом. Совет, состоявший из Суцкевера и трех независимых директоров, не согласился, подчеркнув, что миссия OpenAI (обеспечение пользы ИИ для человечества) превалирует над интересами акционеров.
На следующий день десятки людей собрались в особняке Альтмана. Руководство OpenAI поставило совету ультиматум: восстановить Альтмана или они уходят. Совет отказался. В воскресенье Альтман и Брокман вернулись в офис для переговоров. Давление нарастало: Microsoft, инвесторы и тяжеловесы Кремниевой долины публично поддержали Альтмана. Однако совет сопротивлялся, объявив Эммета Шира, бывшего СЕО Twitch, новым временным главой. Реакция была яростной.
Сотни сотрудников присоединились к группе в Signal. Вечером гендиректор Microsoft Сатья Наделла объявил, что нанимает Альтмана и Брокмана. Эта новость придала сотрудникам решимости. Они составили открытое письмо, угрожая уходом в Microsoft, если Альтмана не восстановят, а совет не уйдет в отставку. Письмо набрало более 700 подписей из 770 сотрудников. В ночь на понедельник Суцкевер публично выразил сожаление о своем участии. Во вторник, 21 ноября, после пяти дней переговоров, стороны достигли соглашения. Альтман и Брокман вернутся, но без мест в совете. Главным было продемонстрировать единство и стабильность.
Автор книги, Карен Хао, следила за OpenAI пять лет. Драма с увольнением высветила главный вопрос: как управлять искусственным интеллектом. OpenAI из смелого эксперимента на благо человечества превратилась в конкурентную, скрытную структуру, одержимую идеей быть первой в достижении AGI (ИИ общего назначения). Ноябрьские события стали доказательством провала эксперимента по управлению. Хао использует метафору «империй ИИ», которые, подобно колониальным державам, захватывают ресурсы (данные, труд, энергию) и эксплуатируют людей ради обогащения. Автор призывает к иному пути развития ИИ, где контроль над технологией должен быть в руках общества.
Летом 2015 года Сэм Альтман собрал на ужин группу людей, чтобы обсудить будущее ИИ. Илон Маск, обеспокоенный экзистенциальными рисками суперинтеллекта, присоединился к ним. Его тревога усилилась после приобретения Google лаборатории DeepMind, что убедило Маска в необходимости создания противовеса. Идея «согласования» ИИ с человеческими ценностями стала ключевой. Альтман, разделяя опасения Маска, предложил создать некоммерческую организацию «Манхэттенский проект для ИИ». Среди приглашенных были Грег Брокман, Дарио Амодей и Илья Суцкевер – будущие ключевые фигуры OpenAI.
Сэмюэл Альтман родился в 1985 году. С ранних лет он проявлял любознательность и технические способности. Он был харизматичным лидером. Переехав в Стэнфорд, он бросил учебу ради стартапа Loopt. Хотя Loopt не стал большим успехом, Альтман продемонстрировал талант рассказчика и мастера сделок. В Y Combinator он познакомился с менторами Полом Грэмом и Питером Тилем, которые привили ему веру в стратегию «монополии» и важность масштаба. Эти идеи — рост как залог успеха, стремление к доминированию — глубоко повлияли на мировоззрение Альтмана.
Грег Брокман, инженер, первым выразил готовность строить OpenAI. Альтман выбрал ему в сооснователи Илью Суцкевера, талантливого исследователя ИИ из Google. Они встретились, чтобы обсудить противостояние гегемонии Google и DeepMind и важность привлечения талантов для создания AGI. Суцкевер, тайно веривший в AGI, поначалу был насторожен, Брокман же искренне верил в его достижимость. Начался процесс рекрутинга. Маск убеждал исследователей в значимости проекта, напирая на существующую вероятность появления AGI в ближайшие 5-10 лет.
OpenAI позиционировалась как некоммерческая организация с открытой наукой, «анти-Google». Маск пообещал выделить на проект $1 миллиард. В декабре 2015 года было объявлено о создании OpenAI. В число девяти основателей вошли Брокман (СТО) и Суцкевер (директор по исследованиям), а Маск и Альтман стали сопредседателями. Такая позиция вызывала и критику: Тимнит Гебру указывала на гомогенность команды и узкое понимание ИИ, сфокусированное на гипотетических рисках. Дарио Амодей, занимавшийся безопасностью ИИ, видел в OpenAI возможность работать над предотвращением катастрофических последствий от сверхразумного ИИ.
В августе 2019 года Карен Хао впервые посетила офис OpenAI вскоре после объявления о партнерстве с Microsoft и инвестициях в $1 миллиард. Это ознаменовало серьезный сдвиг в развитии. OpenAI уже успела озадачить научное сообщество, решив не публиковать полную версию модели GPT-2 из-за ее потенциальной опасности, а Альтман возглавил компанию и ее новую «capped-profit» структуру. Брокман и Суцкевер утверждали, что AGI поможет решить сверхсложные задачи, такие как изменение климата. Их аргументы замыкались в круг: AGI неизбежен, поэтому OpenAI должна создать его первой. Визит автора сопровождался атмосферой скрытности, контрастировавшей с декларируемой прозрачностью. В феврале 2020 года, после публикации статьи Хао, вскрывшей несоответствие между публичными заявлениями и внутренней деятельностью OpenAI, Маск раскритиковал компанию за недостаточную открытость.
ГЛАВА 4: МЕЧТЫ О СОВРЕМЕННОСТИ
Экономисты утверждают, что технологические революции редко приводят к широкому процветанию. Власть и ресурсы концентрируются у узкой элиты. Подобная динамика характерна и для ИИ: его развитие сопровождается мечтами о современности, но издержки ложатся на уязвимые группы населения. Название «искусственный интеллект» было маркетинговым ходом. История ИИ — это история борьбы элит за финансирование и влияние. Первоначально доминировали символисты, им противостояли коннекционисты, верившие, что интеллект возникает из обучения (нейронные сети). «Зима ИИ» надолго затормозила развитие нейросетей, но они возродились благодаря росту вычислительных мощностей и доступности больших данных. Это привело к расцвету «надзорного капитализма», где пользователи становятся продуктом, а их данные — сырьем для обучения моделей. Культура ИИ-исследований породила «дата-колониализм», подавляя альтернативные подходы.
Центральной фигурой, утвердившей этос масштабирования в OpenAI, был Илья Суцкевер. Его непоколебимая вера в глубокое обучение гласила: путь к продвинутому ИИ лежал через масштабирование простых нейросетей. Ключевым моментом стало появление архитектуры Трансформеров в 2017 году. Алек Рэдфорд обучил первую модель GPT-1 на массиве неопубликованных книг. GPT-1 не произвел фурора, но подтвердил правильность направления. Усилия Рэдфорда совпали с работами команды Дарио Амодея по «согласованию» ИИ с человеческими предпочтениями (RLHF). Объединив усилия, они приступили к созданию GPT-2. Параллельно команда Амодея сформулировала концепцию «законов масштабирования» (scaling laws): предсказуемую взаимосвязь между увеличением данных, ресурсов, параметров и ростом производительности. GPT-2 продемонстрировал качественный скачок в генерации текста, но и выявил темную сторону: способность генерировать дезинформацию и токсичный контент. Это вызвало дебаты о необходимости удержания исследований и привело к стратегии поэтапного выпуска модели для изучения рисков. Логика была проста: AGI неизбежен, OpenAI должна его опередить, а масштабирование GPT-моделей — это самый быстрый путь к цели. Этот нарратив будет использоваться для оправдания последующих действий, включая создание GPT-3 и использование данных из сомнительных источников, что имело далеко идущие последствия для этики и безопасности.
Вступив в должность СЕО OpenAI в марте 2019 года, Сэм Альтман применил агрессивную стратегию: OpenAI должна была стать единственной лидирующей организацией в сфере ИИ. Он внедрил принцип «10x» — десятикратного превосходства над конкурентами. Ключевым условием было сохранение поддержки Microsoft, которая обещала суперкомпьютеры и значительное финансирование сверх первоначального $1 миллиарда. Это означало смещение фокуса с академических исследований на коммерциализацию. Альтман настаивал на снижении прозрачности, ссылаясь на «информационные риски».
Тем временем внутренние разногласия нарастали. Отношения между Брокманом и семьей Амодей испортились. Группа Амодея по безопасности ИИ все больше беспокоилась из-за поведения Альтмана, особенно после сделки с Microsoft. Возникли сомнения в его честности и способности принимать взвешенные решения. Атмосфера в компании становилась все более параноидальной. Альтман использовал страх перед конкурентами (Китаем, Россией), чтобы оправдать снижение открытости и ускорение работы, только усугубляя раскол.
Презентация API GPT-3 в июне 2020 года вызвала новую волну интереса к большим языковым моделям. В Google, DeepMind и Meta (тогда Facebook) активизировались работы по масштабированию. Тренд на создание все более крупных моделей, заданный OpenAI, вызывал тревогу у части исследователей. Эмма Струбелл опубликовала работу, показавшую стремительный рост углеродного следа от обучения таких моделей. Обучение GPT-3 потребовало целого суперкомпьютера, месяцы работы и вдвое больше выбросов, чем модель Струбелл. Тимнит Гебру, соруководитель этической команды ИИ в Google, также выражала обеспокоенность рисками тиражирования предвзятостей и стереотипов.
В начале 2021 года, после ухода команды Anthropic, руководство OpenAI разработало новый исследовательский план. Главной целью стало создание «согласованной системы», значительно превосходящей все существующее. План включал масштабирование GPT-3, разработку языковой модели, модели генерации кода, изображений и «цифрового агента». Научное обоснование: масштабирование — самый надежный путь к новым возможностям.
По мере реализации плана прикладное подразделение OpenAI активно росло. API GPT-3 стал полигоном для монетизации. Возникла необходимость в разработке правил использования. Небольшая группа сотрудников занималась «редтимингом» — поиском и устранением уязвимостей. Однако разработанный контент-фильтр работал плохо. Одним из первых клиентов, вызвавших споры, стала Replika, пользователи которой вели сексуально откровенные диалоги. Другой случай — стартап Latitude, разрабатывавший ИИ-миры для игр, где пользователи начали генерировать сценарии с сексуальным насилием над детьми. Latitude внедрила фильтр.
Самым быстрым прогрессом отличалась команда по генерации кода. Идея превратить наработки GPT-3 в коммерческий продукт для Microsoft получила поддержку. GitHub предоставил OpenAI доступ ко всем публичным репозиториям. Летом 2021 года OpenAI передала Microsoft и GitHub черновую версию модели Codex. Это соглашение обеспечило Microsoft новую базу и рост, но в OpenAI зрело недовольство тем, что вся слава достается партнерам.
ГЛАВА 9: КАТАСТРОФИЧЕСКИЙ КАПИТАЛИЗМ
Накачивая модели все большими и более загрязненными датасетами, компания совершила «сдвиг парадигмы»: от фильтрации входных данных к контролю выходных данных. За этим скрывалась суровая реальность для людей, на которых легла вся тяжесть контроля. В 2021 году OpenAI начала проект по созданию улучшенного контент-фильтра для будущих моделей. Для этого требовались человеческие работники, которые бы просмотрели и каталогизировали сотни тысяч примеров контента, который компания хотела предотвратить. OpenAI нашла поставщика — аутсорсинговую фирму Sama, передав проект в руки десятков работников в Кении.
Неслучайно Кения стала местом для одной из самых эксплуататорских форм труда. Кремниевая долина годами аутсорсила самую грязную работу в эту страну. Кения, как и многие страны Глобального Юга, бедна, имеет правительство, жаждущее инвестиций, и страдает от наследия колониализма. Это создает условия для поиска дешевой рабочей силы. На этом фоне OpenAI начала свой проект, погрузив кенийских работников в травмирующую модерацию текстовых описаний за $3.74 в час. Лишь после выхода ChatGPT работники начали осознавать, что они создавали ценой своего душевного спокойствия. Это стало очередным проявлением логики «империй ИИ»: девальвация человеческого труда и перекладывание издержек на самых уязвимых.
Жить и работать в технологической сфере Сан-Франциско — значит сталкиваться с когнитивным диссонансом между будущим и настоящим. Декларируемое стремление изменить мир к лучшему и игнорирование насущных проблем под носом было характерно для всей индустрии. В этом контексте из Великобритании пришел эффективный альтруизм (EA) и нашел преданных последователей в Кремниевой долине, особенно среди сотрудников OpenAI, занимающихся безопасностью. EA идеально вписался в идеологию Долины: стремление сделать мир лучше с помощью строгой логики, фокус на отдаленном будущем и принятие капитализма во имя морали.
В основе философии ЕА лежит концепция «ожидаемой ценности». Философы ЕА выделили три приоритетные проблемы: улучшение глобального здравоохранения, отмена промышленного животноводства и экзистенциальные риски (глобальные пандемии, ядерная война, неконтролируемый ИИ). Идентификация ИИ как экзистенциального риска сделала ЕА идеологической опорой для направления безопасности ИИ в OpenAI. Дарио Амодей и его единомышленники фундаментально разошлись с Альтманом во взглядах на серьезность угрозы. Для Амодея непрозрачность Альтмана была аморальным действием, ставящим под угрозу судьбу человечества. Его команда основала Anthropic, позиционируя себя как принципиальную, ориентированную на безопасность компанию. Движение ЕА превратилось из нишевой философии в мейнстрим за счет притока денег от техмиллиардеров, таких как Дастин Московиц и Сэм Бэнкман-Фрид (SBF). Этот приток капитала подпитывал веру в то, что скачок от GPT-2 к GPT-3 сделал предотвращение рисков неконтролируемого ИИ более актуальным. Однако, исповедуя независимое мышление, ЕА быстро превращалось в догматическое, замкнутое сообщество. Крах FTX и осуждение SBF в ноябре 2022 года обнажили гниль внутри движения. Это породило контрсилу: e/acc (эффективный акселерационизм), проповедовавший максимальное ускорение прогресса. Эти два полюса стали известны как «думеры» и «бумеры».
В октябре 2022 года OpenAI провела выездное корпоративное мероприятие. Через несколько недель поползли слухи, что Anthropic готовится выпустить нового чат-бота. Команда Superassistant в OpenAI решила действовать на опережение. Было решено не дожидаться готовности GPT-4, а выпустить чат-бота на основе GPT-3.5 через две недели. Проект назвали ChatGPT, позиционируя его как «сдержанный исследовательский превью». Большинство сотрудников, занятых подготовкой GPT-4, не уделили особого внимания ChatGPT. Команда по безопасности также не увидела больших рисков. Они не ожидали того эффекта, который произведет их детище.
На следующий день, 30 ноября, начался неожиданный и массивный приток трафика. Мгновенный и ошеломляющий успех ChatGPT превзошел все ожидания. Через пять дней Брокман сообщил о миллионе пользователей, через два месяца — о ста миллионах, что сделало ChatGPT самым быстрорастущим потребительским приложением в истории. OpenAI мгновенно превратилась во всемирно известный бренд. Однако этот успех лег тяжелым бременем на компанию, обострив внутренние противоречия. Началась «пожарная» работа: серверы падали, команда инфраструктуры пыталась нарастить мощности, «каннибализируя» ресурсы исследовательского отдела. Команда по доверию и безопасности не справлялась с потоком злоупотреблений. Для многих «безопасников» провал с прогнозированием популярности ChatGPT стал еще одним доказательством недальновидности OpenAI. Для остальных же это был триумф. Альтман призывал не расслабляться, напоминая о конкурентах. Компания отчаянно нуждалась в увеличении штата, но Альтман опасался размывания культуры. Рост привел к бюрократизации, увольнениям «по-тихому», снижению психологической безопасности. Для «старичков» OpenAI превратилась в неузнаваемую корпорацию. Microsoft также была удивлена успехом ChatGPT, что только усилило их энтузиазм.
«Цифровые» технологии и «облако» требуют вполне материальных дата-центров, а генеративный ИИ — все больших и больших. Говорят о «мегакампусах», потребляющих энергию, сравнимую с крупными городами. По прогнозам, к 2030 году дата-центры в США будут потреблять 8% всей электроэнергии страны, а глобальное потребление ИИ может превысить потребление всей Индии. Это приводит к отсрочке закрытия угольных и газовых электростанций. Последствия для окружающей среды огромны, но корпорации скрывают эти данные, продвигая нарратив об эффективности дата-центров и способности ИИ решить климатические проблемы. По словам экспертов, генеративный ИИ крайне энергозатратен и мало что дает для окружающей среды. Необходимые для строительства дата-центров медь и литий, а также огромные объемы питьевой воды для охлаждения серверов, усугубляют проблемы в регионах, уже страдающих от засухи и истощения ресурсов, таких как Чили и юго-запад США. Те же нарративы о прогрессе, что оправдывали добычу меди и лития, теперь используются для оправдания строительства мегакампусов для ИИ.
В мае 2023 года Сэм Альтман выступил перед Конгрессом США, вновь озвучив обещания AGI решить проблемы изменения климата и рака и искренне призвал к регулированию — но такому, которое благословит OpenAI и не замедлит инновации, особенно перед лицом «китайской угрозы». Сенаторы были очарованы. Альтман предложил создать агентство по лицензированию мощных моделей, разработать стандарты безопасности и ввести независимый аудит. Это сместило фокус с насущных проблем на регулирование будущих систем.
Нарратив, который Альтман использовал внутри OpenAI, теперь умело применялся для формирования дискуссии о регулировании ИИ в США в пользу OpenAI. Карта «А что Китай?» работала безотказно. В этой атмосфере в июле 2023 года появился политический документ, написанный консорциумом исследователей из OpenAI, Microsoft, Google DeepMind и ряда «думерских» центров, который повторял рекомендации Альтмана: лицензирование моделей ИИ по вычислительным порогам и оценка безопасности «пограничных» (frontier) моделей. Вскоре OpenAI, Microsoft, Google и Anthropic создали Frontier Model Forum для продвижения этих идей. Закрытость моделей и фокус на «пограничных» рисках были идеологически важны для «думеров» и удобны для корпораций, чтобы отвлечь внимание от проблем существующих ИИ. Предложение заблокировать распространение моделей с открытым исходным кодом выше определенного порога вычислений раскололо ИИ-сообщество. Сторонники «закрытости» столкнулись с защитниками «открытости».
За несколько недель до того, как Суцкевер обратился к совету директоров, Альтман столкнулся с PR-кризисом: историей его сестры Энни, которая после многих лет молчания рассказала о своем отчуждении от семьи. В сентябре 2023 года в журнале New York был опубликован профайл Сэма Альтмана, где впервые упоминалось о существовании Энни и ее тяжелом положении. Публикация вызвала волну обсуждений, всплыли старые твиты Энни с обвинениями Сэма в различных формах насилия. Автор книги связалась с Энни в 2024 году; та предоставила обширную переписку с семьей и медицинские записи, подтверждающие ее проблемы.
История Энни, по мнению автора, является микрокосмом многих тем книги: пропасти между теми, кто извлекает выгоду из «прогресса», и теми, кто остается за бортом; потери голоса и влияния обездоленными; и опасностей концентрации власти в руках отдельных личностей.
За четыре дня до сообщения Суцкевера и выхода профайла Альтмана независимый член совета директоров встретилась с главным техническим директором Мирой Мурати. Мурати, родившаяся в Албании, научилась сохранять спокойствие среди хаоса. Она присоединилась к OpenAI еще в некоммерческий период и быстро сделала карьеру, курируя отношения с Microsoft и коммерциализацию. Будучи моложе Альтмана, Суцкевера и Брокмана, она иногда становилась объектом сексизма, но ее умение решать проблемы и отсутствие эго снискали ей уважение. Мурати все чаще выступала в роли «переводчика» и «моста» к Альтману. После ухода команды Anthropic Альтман поручил ей курировать все исследования, и в мае 2022 года она официально стала СТО. Мурати обладала редким влиянием на Альтмана, могла прямо говорить ему о нереалистичности его планов. Однако чем дольше она работала с Альтманом, тем чаще ей приходилось «разгребать» последствия его действий. Его привычка соглашаться с каждой из конфликтующих сторон порождала путаницу и недоверие.
Поведение Альтмана ухудшилось после того, как ChatGPT принес ему мировую известность. Он стал чаще соглашаться со всеми на словах, а за спиной — критиковать. На фоне растущей конкуренции Альтман также подталкивал компанию к более быстрым релизам, иногда обходя установленные процедуры. Летом Мурати попыталась дать Альтману развернутую обратную связь, но он «заморозил» ее. Последней «горячей точкой» стал конфликт между Суцкевером и Якубом Пачоцким, руководителем проекта AI Scientist.
Мурати понимала, что OpenAI нужны более сильные механизмы управления и подотчетности. В конце сентября она встретилась с Хелен Тонер, членом совета. Мурати сказала, что Альтман так торопит компанию с релизами, что она опасается плохих последствий. Через несколько дней Суцкевер написал Тонер с просьбой о встрече. Он был так взволнован, что с трудом говорил. После осторожных расспросов Суцкевер намекнул на некие «специфические детали» о «сложной среде» в OpenAI и посоветовал Тонер поговорить с Мурати.
К 31 октября все со всеми переговорили. Трое независимых директоров начали ежедневно созваниваться, согласившись, что обратная связь Суцкевера и Мурати об Альтмане требует серьезного обсуждения. Они изложили известные им факты: это был не первый случай, когда топ-менеджеры так описывали Альтмана. Некоторые характеризовали его поведение как абьюз и манипуляции, большинство подчеркивало его нечестность. К этому добавлялись и проблемы, выявленные самими директорами: сокрытие Альтманом информации о его владении OpenAI Startup Fund, умолчание о нарушении протокола Microsoft. Было решено не касаться обвинений Энни: речь шла исключительно о профессиональной пригодности Альтмана.
OpenAI не была типичной технологической компанией, а возможно, самой влиятельной ИИ-компанией в мире. Страх, озвученный Суцкевером, находил отклик: что значит пытаться создать AGI, если высшее руководство не может доверять СЕО? В итоге было решено действовать быстро и без широкой огласки. 11 ноября независимые директора сообщили Суцкеверу о решении: убрать Альтмана и назначить Мурати временным СЕО. Вечером 16 ноября они позвонили Мурати. Она выглядела удивленной, но восприняла новость позитивно. Однако в считанные часы после публичного объявления 17 ноября ситуация резко ухудшилась. Мурати внезапно позвонила директорам в состоянии стресса: Альтман и Брокман всем рассказывали, что это был переворот со стороны Суцкевера.
После «Затмения» Суцкевер так и не вернулся в офис. Клан Безопасности OpenAI был значительно ослаблен. К апрелю 2024 года многие, особенно самые ярые «думеры», разочаровались и ушли. Последней каплей для многих стали планы Альтмана по созданию компании по производству ИИ-чипов, на которую он, по слухам, искал до $7 трлн. Это противоречило его предыдущим заявлениям о естественном замедлении гонки ИИ. На встрече с сотрудниками Альтман нехарактерно резко отреагировал на критику. Это потрясло присутствующих. Несколько человек ушли. Пока клан Безопасности редел, остальная часть компании с удвоенной энергией двигалась к воплощению видения фильма «Она».
ГЛАВА 18: ФОРМУЛА ИМПЕРИИ
В этой главе автор подводит итог, утверждая, что изначально благородная миссия OpenAI трансформировалась в мощную «формулу империи» — инструмент для консолидации власти и ресурсов. Автор проводит параллель с восхищением Сэма Альтмана Наполеоном и его способностью «контролировать людей», переосмысливая идеалы для достижения собственных целей.
Эта формула, по мнению автора, состоит из трех ключевых элементов:
1. Централизация талантов. Миссия должна быть грандиозной, почти религиозной целью («создать нечто близкое к религии», как писал Альтман), чтобы объединить вокруг себя лучшие умы.
2. Централизация ресурсов. Миссия оправдывает устранение любых препятствий — будь то регулирование, критика или инакомыслие. Все это подается как необходимая мера в гонке со «страшными» конкурентами, где на кону стоит контроль над будущим.
3. Преднамеренная расплывчатость. Это главный компонент. Миссия остается настолько гибкой и неопределенной, что ее можно интерпретировать как угодно в зависимости от текущих нужд лидера. Ключевые понятия, такие как «польза» и даже само «AGI», не имеют четкого определения. Ирония достигает пика, когда сам Альтман за два дня до увольнения называет термин AGI «смешным и бессмысленным», но тут же добавляет: «Так что я извиняюсь, что продолжаю его использовать».
Автор демонстрирует эту «ползучесть» на примере эволюции трактовки миссии OpenAI:
· 2015 г. — быть некоммерческой организацией, открывать исследования.
· 2018-2019 гг. — создать коммерческую структуру для привлечения ресурсов, избегая при этом «конкурентной гонки».
· 2020 г. — закрыть модель и создать API, назвав это «стратегией открытости».
· 2022 г. — оправдать максимально быструю гонку с ChatGPT «итеративным развертыванием».
· 2024 г. — объявить, что миссия теперь в том, чтобы дать людям «мощные инструменты ИИ бесплатно», а затем, во время кризиса, заявить о наступлении «эры AGI».
Таким образом, миссия из путеводной звезды превратилась в универсальное оправдание для любых стратегических шагов, направленных на укрепление доминирующего положения компании.
ЗАКЛЮЧЕНИЕ: КАК ПАДАЮТ ИМПЕРИИ
В 2021 году автор наткнулась на историю коренного сообщества маори в Новой Зеландии, которое использовало ИИ для возрождения своего языка, те рео маори. Как и многие коренные народы, маори пострадали от колониального правления. Число носителей те рео упало с 90% до 12% населения. Потеря языка — это глобальная трагедия и личная драма. Большие языковые модели ускоряют потерю языков. Из более чем семи тысяч существующих сегодня языков почти половина находится под угрозой исчезновения; менее 2% поддерживаются Google Translate; и, по собственным тестам OpenAI, только 0.2% поддерживаются GPT-4 с точностью выше 80%. По мере того как эти модели становятся цифровой инфраструктурой, доступность интернета для различных языковых сообществ будет продолжать сокращаться, стимулируя их отдавать приоритет доминирующему языку в ущерб своему собственному.
Именно перед лицом этой угрозы пара коренных жителей, Питер-Лукас Джонс и Кеони Махелона, впервые обратились к ИИ как к возможному инструменту, помогающему новому поколению носителей вернуть те рео. Джонс, маори, и Махелона, коренной гаваец, являются партнерами в работе и в жизни. Джонс стал генеральным директором Те Hiku Media, общественной радиостанции. За двадцати с лишним лет вещания Те Hiku накопила богатый архив аудиозаписей людей, говорящих на те рео. Эти записи могли стать бесценным ресурсом для изучения языка. Проблема заключалась в расшифровке аудио. В 2016 году Джонс обратился к Махелоне, чтобы найти решение. Махелона быстро придумал идею использования ИИ: с помощью тщательно обученной модели распознавания речи на те рео Те Hiku смогла бы расшифровать свой аудиоархив силами всего нескольких носителей.
Именно здесь история Те Hiku кардинально расходится с моделью развития ИИ OpenAI и Кремниевой долины. Близко знакомые с разрушительными последствиями колониального отчуждения, Джонс и Махелона были полны решимости реализовать проект только в том случае, если смогут гарантировать три вещи — согласие, взаимность и суверенитет народа маори — на каждом этапе разработки. Это означало, что еще до начала проекта они заручились бы разрешением общины маори; для сбора обучающих данных они обращались бы только к тем людям, которые полностью понимают, для чего будут использоваться данные; чтобы максимизировать пользу модели, они прислушивались бы к мнению общины; и как только у них появятся ресурсы, они купят собственное оборудование без зависимости от «облака» техгигантов. Самое главное, Те Hiku создаст процесс, благодаря которому собранные данные будут продолжать оставаться ресурсом для будущей пользы, но никогда не будут использованы для проектов, на которые община не давала согласия.
Те Hiku демонстрирует нам другой путь. Он показывает, как ИИ и его развитие могут быть полной противоположностью. Модели могут быть небольшими и узкоспециализированными, их обучающие данные — содержательными и понятными, что избавляет от стимулов к широко распространенным эксплуататорским практикам. Создание ИИ может быть общинным, консенсусным, уважительным к местному контексту; его применение может возвышать и укреплять маргинализированные сообщества; его управление может быть инклюзивным и демократичным. Автор завершает книгу призывом переосмыслить вопрос о том, как обеспечить «хороший» ИИ, и вместо этого спросить, как ИИ меняет распределение власти: укрепляет ли он империю или возвращает нас к демократии? Работа Те Hiku и других подобных инициатив — это примеры того, как можно перераспределять власть. Но вопрос управления заключается в том, как создать условия, при которых такая работа будет распространяться и процветать. Для этого необходимо перераспределять знания, ресурсы и влияние.