Атомный Пигмалион, или Вавилонская башня от OpenAI

Дамы и господа, каргозавры и каргозаврики! Случилось то, что давно предрекали, но об этом боялись говорить вслух. Сэм Альтман, OpenAI и Microsoft окончательно шизанулись!

Нет. Они не немножечко себя странно ведут, у них не слегка завышенные ожидания от технологии больших языковых моделей и они высказывают не чуточку бредовые идеи, а они всем кагалом первым рейсом HyperLoop от Илона Маска направились прямиком в дурку, держа в руках билет в один конец. Читая их последний анонсированный проект, я впервые неиронично испытал тот самый пресловутый хтонический ужас, но не от какого-то опостылевшего «великого древнего», вышедшего из под пера Лавкрафта, а от абсолютно невообразимой по размерам пропасти между нормальностью и тем, где наша сладкая нейросетевая парочка сейчас оказалась.

ПРЕДЫСТОРИЯ

Давеча мне на глаза попался ролик о недавно анонсированном проекте StarGate на ютуб-канале Matthew Berman, где восторженный технооптимист уже на протяжении двух лет обозревает каждый пук, что доносится со стороны хайпующего машинного обучения. Я включил видос без особых ожиданий, думая, что следующие десять минут проведу со скептической ухмылкой на лице, но чем больше я смотрел, тем сильнее мои брови стремились уехать со лба куда-то на затылок.

Что же меня настолько удивило? Сейчас я попытаюсь вкратце пересказать всю известную информацию об этом StarGate. В общем, анонс этого проекта побил по своей шизовости недавнее заявление Альтмана, что он ищет семь триллионов долларов инвестиций на постройку заводов по производству чипов для искусственного интеллекта. Это предложение вызвало такую бурю обсуждений, что по итогу Сэм ретировался и заявил, что ничего подобного не говорил, и, вообще, «СМИ раздули». Видимо, глава OpenAI сам осознал нереалистичность инвестиций такого размера и поспешил откреститься. Казалось бы, просто сиди и дальше ковыряй GPT-5 в надежде на рождение AGI, но не тут-то было!

Microsoft и OpenAI объявили о том, что собираются вложить 100 миллиардов долларов в постройку суперкомпьютера под кодовым названием StarGate, который будет состоять из миллиона специальных LPU-чипов то ли от Nvidia, то ли от Groq, то ли от какого-то другого производителя. Этот суперкомпьютер будет мощностью 5 гигаватт, а самая мощная на текущий момент атомная электростанция в США способна выдавать лишь 3.3 гигаватта. Она-то и задействована в обеспечении своего штата электроэнергией. На этом моменте Сэм Альтман спокойно заявляет, что в принципе почему бы и не построить рядом с дата-центром атомную электростанцию достаточной мощности, чтобы та целиком и полностью обслуживала StarGate. И это ещё не всё. Таких суперкомпьютеров хотят построить как минимум с десяток, хоть сам StarGate и останется среди них наимощнейшим, что означает ещё с десяток атомных электростанций, которые будут питать построенные под обучение и запуск новых версий GPT датацентры. Но и это не всё! Поскольку стоит задача реализовать это великолепие к 2028-му году, то планируют использовать не обычные реакторы, а маленькие модульные, которые якобы легче в эксплуатации. Ради этого Microsoft и OpenAI вбухивают кучу бабок в ядерные стартапы по типу Oklo и NuScale, а также инвестируют в разработку реактора термоядерного синтеза. Ну так, чтобы наверняка. Плюс ко всему Microsoft наняли на работу бывшего директора Ultra Safe Nuclear Corporation (USNC), чтобы он им по-быренькому распедалил стратегию развертывания атомных мощностей под будущие датацентры.

С чего же начать... Прочитанный план, скорее напоминающий горячечный бред, стоит разобрать с двух позиций. С позиции разработки больших языковых моделей и актуальных в этой области проблем, а также с позиции ядерной энергетики. Первое я прокомментирую и растолкую сам, а вот ради второго я связался с двумя действующими сотрудниками «Росатома», которые с удовольствием дали свои комментарии, и я их попытаюсь вам пересказать.

Итак, начнём.

ПУЗЫРЯЩИЙСЯ LLM

Дело в том, что на текущем этапе большие языковые модели и другие генеративные нейросети представляют собой один большой технологический финансовый пузырь на подобии того, что надулся перед крахом доткомов в 2000-м году. Как и тогда, сегодня ожидания от новой технологии сильно превосходят её реальные возможности и спектр применения. В чём это выражается?

Во-первых, за эти два года нейросетевого хайпа ведущие ИИ-разработчики затарились чипами от Nvidia на целых 50 миллиардов долларов. С помощью приобретённых чипов они смогли заняться обучением различных моделей. Сюда входят и куча языковых, и тех, что картинки рисуют, музыку делают и видео генерируют, и прочая, и прочая. Что в итоге? Сколько миллиардов долларов в итоге вернулось в руки компаний? Вы будете смеяться, но всего три миллиарда и ни центом больше. Как это назвать, если не гигантской финансовой дырой?

Во-вторых, предыдущий пункт проистекает из того, что этим невероятным моделям не было найдено хоть сколько-нибудь серьёзное и массовое применение, с которого можно было бы получить профит. Самое близкое к чему подошёл GPT и ему подобные – помощник для кодинга (Copilot от GitHub). Я лично пробовал несколько из них и, в принципе, для рутинных небольших задач они вполне подходят. Однако рынок таких помощников весьма мал и ограничен, да и к тому же отъедается специализированными бесплатными языковыми моделями (CodeLLama, Qwen и др.), которые работают ничуть не хуже, а в некоторых вопросах даже лучше. У нейросетей, генерирующих картинки, абсолютно та же история. Никто в здравом уме не будет оформлять подписку ни на MidJourney, ни на Dalle при наличии как бесплатного Stable Diffusion, так и возможности бесконечно оформлять пробный период с разных аккаунтов. Суммируя вышесказанное, за два года не была найдена достойная финансовая модель для монетизации нейросетей.

В-третьих, два предыдущих пункта также вытекают из того, что генеративные модели крайне ненадежные. Большие языковые, к примеру, серьёзно страдают от галлюцинаций. Именно они застопорили какое-либо дельное внедрение нейросетей в поисковики за исключением создания аннотаций. По-моему, это очевидно, что если твой ИИ способен информацию просто выдумать и никак её не проверить, то грош цена такому «интеллекту». Картиночные модели выдают изображения низкого качества с кучей ошибок в деталях, которые затем приходится исправлять. Нейросети смогли в некотором роде заменить стоковые фотографии и банки текстур, но не более. Из-за объёма данных, на которых обучаются нейросети, нельзя гарантировать что она не выдаст что-то вредное и опасное в виде ответа. Особенно это касается языковых моделей, которые по сей день можно заставить выдать инструкцию по сборке бомбы, топ пять способов самоубийства и другую социально опасную дрянь. И, наконец, как текстовые, так и картиночные нейросети вызывают серьезные вопросы на счет авторских прав, т.к. обучались на закопирайченном материале, а потому периодически выдают результаты, нарушающие чьи-то права на интеллектуальную собственность.

По сути, вся ИИ-индустрия сейчас держится целиком и полностью на почти религиозной надежде, что вышеописанные проблемы вот-вот будут решены, и мы дружно войдем в эпоху «Бегущего по лезвию». Стоит напомнить, что Илон Маск уже больше десяти лет говорит о том, что автомобили с ИИ-автопилотом вот-вот станут повсеместными и заменят людей-водителей. Тем не менее эти системы применяются только для автоматической парковки и режимов езды по трассе.

И вот мы сейчас находимся здесь. Корпорации уже размышляют о том, что им нужно построить с десяток суперкомпьютеров (по стоимости обходящих любые существующие суперкомпьютеры), питающихся от атомных электростанций, каждая из которых способна сама по себе генерировать электричество для небольшого штата. И ведь ничего же в голове не щёлкает! AGI скоро будет – ТВЁРДО И ЧЁТКО!

Альтернативные технологии вроде онтологий или символьных систем даже не рассматриваются. OpenAI продолжает строить всё более высокую лестницу, чтобы добраться до Луны. Это строительство заведомо обречено на провал.

МЕЧТАТЬ О ЯДЕРКЕ НЕ ВРЕДНО

А теперь настало время поговорить о второй составляющей, а именно об атомной энергетике, которая является ключевой в данном безумном плане. Когда я прочитал о строительстве всего этого великолепия к 2028-му году, меня охватили сомнения на счёт реализуемости подобной задачи. Я программист, а не инженер с дипломом физика-ядерщика, поэтому обратился к знатокам из «Росатома». Далее я приведу компиляцию из их ответов на мои вопросы.

Постройка хотя бы одной новой атомной станции к 2028-му году абсолютно нереальна. В лучшем случае будет готова проектная документация и будет дан старт строительству. А если учитывать, что малые модульные реакторы существуют лишь на бумаге и в виде отдельных прототипов, то стройка может затянуться, т.к. технология необкатанная. Можно, конечно, предположить, что в Штатах последние лет десять велись секретные разработки нового типа реакторов, но в нынешней научной среде скрыть подобное вряд ли удастся – хоть какая-то информация просочится.

Стоит отметить ещё проблему с обогащением. США на 30% зависят от нас в плане ядерного топлива. Непонятно, где они планируют брать топливо для новых атомных электростанций. Интересно и то, как функционируют американские ядерные корпорации. Каждая из них пилит свои реакторы с незаменяемыми стержнями, чтобы обслуживать их мог только производитель. В прошлом уже случались эксцессы из-за затруднительного финансового положения производителя, которые полностью останавливали обслуживание произведённого реактора. Вспомним Фукусиму, Селлафилд, Херрисбург и т.д. Таким образом, построенные атомные станции будут постоянными источниками риска – как финансового, так и техногенного. Вопрос в том, осознаёт ли это Microsoft? В другое время они, вероятно, обратились бы к «Росатому», но не в текущую эпоху.

Также стоит отметить, что малые модульные реакторы – это потенциально нереализуемая технология. Исследования не были проведены в достаточной мере, чтобы точно сказать, насколько их создание реалистично. «Росатом», кстати, заявил, что планирует попробовать реализовать передвижной генератор для Арктики. Может удастся, а может – вскроются принципиально непреодолимые ограничения.

Ну и в конце-концов, строительство атомной станции – далеко не быстрый процесс, занимающий минимум пятнадцать лет со всеми промежуточными этапами, согласованиями, утверждениями, проектированием и пр. Эти процессы можно попытаться ускорить, но вместе с ускорением возрастут и риски того, что всё это просто рванёт при запуске.

Вообще у США с атомной энергетикой в принципе всё очень не очень. К примеру, у себя за тридцать лет они построили лишь один новый энергоблок и где-то пять за рубежом. У их блоков были проблемы и с лопастями, и с турбинами, и с ковкой корпуса, и т.д. Китайцы сильно намучились с американскими энергоблоками на одной из своих станций. В итоге они просто доработали это недоразумение до удобоваримого состояния и больше за помощью в строительстве энергоблоков к Штатам не обращались.

Нельзя забывать и о социальном факторе. Последние годы Запад активно педалировал зелёную повестку в её самой радикальной форме, и у многих в голове прочно засело, что атомная станция = Чернобыль. В каждом из штатов, где задумают строительство станции, придётся вести масштабную разъяснительную работу с населением.

На этом закончу пересказ комментариев специалистов. Отмечу, что сейчас в американских СМИ пишут ещё об одной проблеме – нехватке понижающих трансформаторов на этот проект. Невозможно дата-центр подключить напрямую к нескольким тысячам вольт, производимых станцией, без постепенного понижения напряжения до 0.6 вольт, которые запитают миллионы чипов внутри него. Эту проблему недавно поднял Илон Маск в одном своём интервью.

Скажу напоследок, что сто миллиардов долларов – чересчур оптимистичный размер итогового бюджета этого проекта. По итогу он спокойно может разрастись и до триллиона долларов.

ИТОГИ

Что по итогу? А ничего.

Дяди с большими карманами не знают, куда деть ту кучу бабла, что у них скопилась, а потому будут развлекать себя самыми безумными и дорогими игрушками. Сэм Альтман мне напоминает того мужичка из мультфильма «Падал прошлогодний снег»:

– Достаточно тебе вычислительных мощностей для AGI?

– Маловато, понимаешь! Маловато будет!

По неизвестной мне причине OpenAI с Microsoft не пытаются решить проблемы больших языковых моделей сначала на меньшем масштабе, а лишь раздувают их размеры в надежде, что на каком-то этапе всё само разрешится.

Раз разом они безуспешно пытаются построить Великий Думатель из «Автостопом по галактике», вступая на довольно опасную и витиеватую дорожку, ведь если помнить сюжет книги Дугласа Адамса, есть вероятность «дотрахаться до мышей» с этими нейросетями.

Логичным финальным шагом для Сэма Альтмана будет объявить о превращении всей планеты Земля и её обитателей в вычислительные элементы нового суперкомпьютера для GPT-7. Вот тогда точно будет создан сильный искусственный интеллект!

Могу порекомендовать корпорациям в ИИ-индустрии присмотреться вместо LPU-чипов от Nvidia и Groq к давно известным и обкатанным чипам IPU (Indian Process Unit). Амазон недавно всего тысячью таких чипов достиг невероятных успехов в своих магазинах, а IPU – по моим подсчетам – больше одного миллиарда! Хватит хоть на GPT-10, правда, у него наверняка проявится подозрительная любовь к танцам.

На этом всё. Берегите кукухи от нейросетевых прогревов. До скорого!

P.S. Пока писал на Тайване случилось землетрясение. Пока не ясно насколько всё серьезно, но производство чипов было приостановлено. Как это повлияет на безумные планы Альтмана? Посмотрим.

Каргач существует исключительно благодаря вашей поддержке! Подписывайтесь на наш Бусти или присылайте ваши донаты.