May 29, 2023

Он выступает за перерыв в разработке моделей 

Нейросети отменят не только аутсорс в программировании, но и сам код, считает Эмад Мостак, основатель и CEO Stability AI, разработчика Stable Diffusion.

В подкасте 20VC with Harry Stebbings, посвященном стартапам и инвестициям, он рассказал о своем взгляде на ИИ, почему ажиотаж вокруг него напоминает пузырь, а регулирование лишь ограничивает потенциал технологии. Публикуем избранные цитаты из интервью.

О ситуации на рынке

Эмад неоднократно сравнивал ажиотаж вокруг ИИ с пузырем доткомов.

«Ситуация уже становится нездоровой. Количество денег совершенно не соответствует возможностям в секторе… Мой анализ TAM показывает, что в следующем году тысяча компаний потратят $10 млн, 100 — $100 млн и 10 — $1 млрд. PwC только что объявила, что вложит $1 млрд за следующие 3 года. И это бухгалтерская компания…

И в это будут инвестировать как в единственную область, растущую на рынке, на фоне увеличения ставок, ситуации с недвижимостью и прочего. Поэтому объем емкости абсолютно не соответствует притоку денег в область, которая растет быстрее, чем мы когда-либо видели».

«Уже можно видеть, как звезды GitHub проводят раунды на $100 млн при нулевом трекшн и без бизнес-модели».

«Есть компании с хорошими идеями, но не бизнесом. Они создают вещи верхнего уровня, оболочку, и не задумываются о дистрибьюции и данных.

Если ваш бизнес сконцентрирован на инновации, это не настоящий бизнес. Он становится им, когда эта инновация превращается в продукт, дистрибьюцию, когда появляется преимущество в данных и прочих вещах».

«Честно, за последний месяц я встречался с 50 компаниями в области ИИ, если не больше, и обратная связь всегда одна и та же. Они не работают с безопасным режимом данных. Фактически они — тонкий слой приложений поверх существующей модели».

О контроле данных и контексте

«Мы должны вкладывать в модели более качественные данные, и именно поэтому мы в Stability движемся так медленно… Больше не должно быть данных, собранных в сети. Должны быть национальные датасеты хорошего качества, на которых будут обучаться модели.

И это причина, почему я подписал это письмо, потому что я считаю, что нужна пауза в 6 месяцев, чтобы навести порядок, прежде чем настанет полное безумие. В следующем году это будет повсюду, и все будут в это инвестировать, и это будет абсолютный хаос».

«Мы взяли Stable Diffusion и поменяли языковую модель. Если ввести в нее «salary man», это будет очень счастливый человек. Но в Японии salary man — очень грустный человек. Локальный контекст важен для этих моделей, потому что наше мышление будет все больше полагаться на них».

«Несомненно, это важнее, чем 5G. Эти модели совсем как очень талантливые выпускники, которые иногда слетают с катушек. И вам хотелось бы иметь в команде выпускников из Оксфорда, Имперского колледжа, Эдинбурга и Стэнфорда, потому что они понимают локальный контекст, они лучше понимают вас, и будут лучше в этом».

О партнерстве OpenAI и Microsoft

«Я вижу, что объективная функция OpenAI — построить AGI, и они оценивают, что на это им потребуется $10 млрд, и поэтому они пошли на это. Они строят бизнес на продуктах и прочем, но это их не волнует. Они не пытаются создать ответственный бизнес, они пытаются создать AGI… Они разрабатывают AGI, чтобы превратить мир в утопию.

«Поэтому можно видеть статьи, что Microsoft якобы обвиняет OpenAI в невыполнении условий, а OpenAI это отрицает. Такое происходит, когда есть несоответствие объективных функций. Но еще раз, нужно рассматривать OpenAI в плане того, что они хотят создать ИИ, который может сделать мир лучше и не убить нас, на что, как они говорят, он способен».

О Stability AI

«Моя бизнес-модель на самом деле очень простая. Стимулировать Open, одного из крупнейших поставщиков грантов для ПО с открытым исходным кодом, который уже выплатил десятки миллионов долларов. А затем взять все лучшее из Open, что мы, надеюсь, создадим сами, и запустить открытую базу с открытыми данными, затем — коммерческие варианты с лицензированными данными, затем — национальные варианты.

Вы получите Stable Chat на хинди, настроенный для страхования, или Stable Chat на индонезийском для аптекарей, доступный в любом облаке, локально, на устройствах, с лицензионными сборами, роялти и долей выручки. С нами также работают системные интеграторы, и впереди еще много объявлений.

Создавая стандарты и стабилизируя все эти сложные строительные блоки, можно все это интегрировать.

И это ключевой бизнес, потому что он не требует инноваций… Вместо этого ему нужны данные и дистрибуция. Данные для моделей. Модели открыты и объяснимы. И это ценно, потому что в мире частные данные намного ценнее, чем данные, добавленные в проприетарные модели. И это не гонка уступок. Вот что мы такое. Мы — модельное агентство с привлекательными GPU».

О последствиях развития ИИ

«Весь аутсорс в программировании уйдет в прошлое, потому что GPT-4 может пройти экзамен Google для программистов третьего уровня».

«Думаю, единственное решение — предпринимательство. И мы должны предоставить инструменты для создания новых профессий, которые заменят старые…»

«Непредвзятых моделей не существует… Поэтому и нужны национальные, культурные наборы данных. Нужны личные датасеты, которые смогут взаимодействовать с базовыми моделями и адаптироваться к вам и вашим историям».

«Правда в том, что ни одна модель, которая есть сейчас, не будет использоваться через год».

«Я думаю, это будет иметь больший экономический эффект, чем COVID-19. Но не знаю, в каком направлении. Надеюсь, в позитивном».

«У вас есть один файл, может в несколько сотен Гб, который может пройти любой экзамен, кроме английской литературы. То есть мы уже приблизились к невозможному. Но что это значит? Что, если мы будем двигаться дальше и дальше? Когда это попадает на ваш Макбук, как это было с моделью llama и всеми инновациями, издержки на создание и координацию становятся нулевыми».

«Зачем нам компьютерный код [через 5 лет]? Код — просто способ говорить с компьютером…»

«Когда я начинал, не было библиотек, не было GitHubm не было ничего подобного. Сейчас программировать — это смешивать и сопоставлять, это как строить из Lego, и через 5 лет это будет проще… Если ИИ становится лучше и лучше в программировании, просто скажите ему, что вам нужно».

О тех, кто будет выигрывать на рынке в ближайшие годы

«Я думаю, через три-пять лет в мире будет всего 5 или 6 компаний с основополагающими моделями… Думаю, это мы будем мы, Nvidia, Google, Microsoft OpenAI, Meta* и, возможно, Apple, будут теми, кто будет их обучать».

«Страны будут создавать суперкомпьютеры, на которых я буду строить открытые модели, у меня будет суперкомпьютер. У меня будет больше кадров и данных, чем у любой другой компании, и я буду работать открыто…».

«У меня есть нефтяные скважины, а вокруг все собираются строить нефтеперерабатывающие компании. Каждый день к нам приходят компании, которые просят доступ к нашему суперкомпьютеру, потому что он не доступен на рынке… Я думаю, что вычислительная мощность недооценена, на самом деле сейчас это актив. Он ограничен».

О национальном законодательстве

Эмад живет в Великобритании и рекомендует приезжать сюда всем, кто работает в области искусственного интеллекта. «Великобритании удалось проделать хорошую работу в плане регулирования и политик, привлекающих кадры в области ИИ» — отметил он, добавляя, что за расходы на облачные вычисления здесь можно получить налоговый вычет.

Он считает местную политику по привлечению талантов самой успешной в мире, за исключением, возможно, Японии. Условия в Европе намного хуже из-за нового законодательства, однако эта ситуация улучшается. «Но в следующем году нас ждет полная неразбериха, поэтому нам необходимо регулировать себя», — добавил он.

Он считает, что Европе придется значительно изменить законодательство и политику в области технологии, иначе «регулирование заглушит инновации и не позволит оценить технологию по достоинству, чтобы двигаться вперед».

О регулировании и развитии технологии

«Мы исключили из Stable Diffusion миллионы изображений, и мы были единственной компанией в мире, которая исключала что-то из наборов данных. Давайте внедрим какие-то стандарты, прежде чем это будет повсюду».

Отвечая на вопрос о выравнивании данных (англ. alignment – область безопасности ИИ, которая стремится гарантировать, что модели будут добиваться желаемого результата), он сказал: «Я думаю, большая часть работы идет в неправильном направлении… На самом деле сделать это невозможно. Если вы пытаетесь привести к стандарту кого-то более способного, вам придется ограничить его свободу...

Поэтому вместо этого нужно создавать наборы данных, которые отражают культуру и разнообразие, в которых не будет данных, собранных из интернета».

«Я думаю, это будет важнее, чем печатный станок, чем что-либо еще. Разве нужны еще причины подписать письмо? Я сказал, что нам нужно вывести эту дискуссию в публичное поле прямо сейчас. Нужно прекратить обучать большие модели на безумной чепухе из интернета, и как можно быстрее, потому что это как скорый поезд».

«Я думаю, что в этой области будет более чем достаточно денег для всех. Но, возможно, через несколько лет денег уже не будет».

О технологических гигантах

«Apple — это черный ящик… Они могут нас удивить. У них есть все нужное».

«Amazon движется быстрее, чем когда-либо раньше. Это любопытно, потому что это инженерная компания. У них есть автономные машины, спутниковый интернет и подобные вещи. Им нужно лишь достичь момента, когда они перейдут от исследований к инжинирингу. Как я слышал, одна из их проблем в том, что пока они не сдвинулись со стадии исследований».

«У Microsoft выигрышная позиция благодаря OpenAI, и это взаимовыгодное положение, даже если там есть противоречия».

«А в Google говорят, что они движутся медленно. Думаю, Meta* — темная лошадка. Марк наверняка был вне себя, когда OpenAI купила Ai.com, и он не смог переименовать Meta* в AI. Но поскольку руководит он, он может это менять, да? Потому что метавселенная была просто тратой времени».

«Все будут обучать собственные модели. Для меня это все равно что каждый будет запускать собственный университет. Зачем делать это, если можно получить собственные модели с помощью открытого кода, который мы создаем, или нанять их у McKinsey, которая принадлежит OpenAI, или у Bain, которая принадлежит Google?.. С точки зрения дизайна это скорее огромный набор кодеков или библиотека».

«Я хочу быть как Google в 2011-2012 годах, куда приходили самые классные ребята, и это чудесная организация, которая по умолчанию работает удаленно, поэтому не придется ехать в район залива Сан-Франциско».

* Meta и входящие в нее Facebook и Instagram признаны экстремистскими организациями, деятельность которых запрещена в РФ.

Источник.

Больше статей у нас на канале: https://t.me/truebusiness