Distributed Rebellion: Тред о взаимодействии криптовалют и ИИ от Delphi Labs
Оригинал
Авторы: Люк Сондерс (@lukedelphi) и Хосе Маседо (@ZeMariaMacedo)
ИИ, вероятно, представляет собой одну из самых значительных технологических революций в истории, которая запустила беспрецедентную гонку технологий, подобных которой мир еще не видел. Современные модели ИИ уже входят в топ-10% на большинстве стандартизированных тестов и превосходят людей в ряде задач, включая собственные исследования ИИ. Даже на текущем уровне ИИ уже трансформирует такие индустрии, как поиск, обслуживание клиентов, создание контента, программирование, образование и многие другие.
Мы ожидаем, что возможности ИИ, его финансирование и влияние на общество будут только расти. Все технологические гиганты понимают, что ИИ является жизненно важным для их бизнеса, и активно инвестируют в его развитие. Выручка NVIDIA, вероятно лучшего индикатора капитальных затрат на ИИ, в 2024 году может превысить $100 млрд, что более чем вдвое превышает показатель 2023 года и в четыре раза больше уровня 2022 года.
Генеральный директор Google Сундар Пичаи о вложениях в ИИ:
"Риск недоинвестирования значительно выше, чем риск переинвестирования для нас."
Одновременно стартапы осознают разрушительный потенциал ИИ, который может сместить многолетних лидеров, и, по оценкам, за последние 18 месяцев в ИИ-стартапы было вложено около $83 млрд.
Так как возможности ИИ обычно масштабируются экспоненциально с увеличением вычислительных мощностей, вероятно, что в течение следующего десятилетия мы достигнем уровня, близкого к AGI (искусственному общему интеллекту).
В этой статье мы утверждаем, что конкурентная динамика приведет к миру с миллионами моделей, и криптовалюта станет идеальной основой для этого множества моделей. Начнем с объяснения, почему мы считаем мир с множеством моделей логическим завершением развития ИИ. Затем рассмотрим уникальные особенности криптовалют, которые могут поддержать ИИ. Наконец, мы обсудим стек технологий, объединяющий криптовалюты и ИИ, и приведем примеры проектов, которые нас вдохновляют.
Существуют философские и моральные аргументы в пользу того, что открытые ИИ и взаимодействие криптовалют с ИИ являются более выгодными для человечества. Эти темы хорошо раскрыты в других источниках. Хотя мы полностью согласны с этими аргументами, в данной статье сосредоточимся на практических причинах, по которым взаимодействие криптовалют и ИИ победит, а не на моральных соображениях, по которым оно должно победить.
Модель Бога против множества моделей
Сейчас мы движемся к миру, в котором несколько крупных, вертикально интегрированных технологических компаний создают "Модели Бога", которые доминируют везде. Однако мы не считаем, что это финальный сценарий по нескольким причинам:
1. Риск зависимости. Организации, предприниматели и разработчики, создающие продукты на основе ИИ, не хотят зависеть от одной закрытой компании, которая может изменить модель, условия использования или вовсе прекратить поддержку.
2. Баланс стоимости и производительности. Крупные, универсальные модели, предпочитаемые техногигантами, значительно дороже как в обучении, так и в эксплуатации. Они будут неоправданно дороги и избыточны для многих задач. Со временем, когда прибыль станет важной целью, разработчики начнут оптимизировать затраты для достижения требуемого уровня производительности. Более компактные специализированные модели могут превосходить универсальные модели в таких задачах, как диагностика медицинских изображений, выявление мошенничества, распознавание речи и других.
3. Вертикальная интеграция. Как показала Apple, лучшие продукты часто рождаются благодаря вертикальной интеграции всей цепочки создания стоимости. Амбициозные предприниматели, создающие продукты на основе ИИ, будут стремиться построить собственные специализированные модели для получения конкурентных преимуществ, что также позволит им привлекать больше инвестиций.
4. Конфиденциальность. ИИ станет основой рабочих процессов компаний, и многие организации не захотят доверять свои конфиденциальные данные централизованным моделям.
По этим причинам мы считаем, что более вероятен мир с множеством меньших, специализированных моделей, настроенных и экономически эффективных для конкретных задач. Разработчики приложений и пользователи будут использовать open-source модели, такие как LLaMA или модели от MistralAI, в качестве базы для настройки своих специализированных моделей, зачастую на основе собственных данных. Некоторые модели будут работать на серверах, а другие, более чувствительные к вопросам конфиденциальности, будут запускаться локально на устройствах пользователей. Модели, требующие устойчивости к цензуре, могут использовать децентрализованные вычислительные сети.
Это мир модульных ИИ-конструкторов, где разработчики и предприниматели конкурируют за предоставление ценности пользователям, а пользователи могут выбирать и комбинировать различные сервисы под свои потребности. Для этого потребуется создание инфраструктуры для маршрутизации, оркестрации, синтеза, платежей и других механизмов, которые смогут заменить "Модель Бога" и поддержать эту новую ИИ-экономику.
Именно в таком мире криптовалюты найдут свое истинное применение.
Крипта x AI
Криптовалюты интуитивно кажутся областью, которая может найти своё применение в мире множества моделей (many-models). Однако этот хайп привёл к значительным инвестициям в сектор со стороны часто недостаточно осведомлённых инвесторов. Как и с предыдущим пузырём в инфраструктуре, многие проекты получают финансирование и строятся, хотя, возможно, не должны были. Поэтому нелегко определить, какие подотрасли в пространстве crypto x AI действительно имеют ценность, что заставляет многих считать весь сектор "мемом" без фундаментальной ценности.
Мы не считаем это мемом, хотя, справедливо сказать, что мир множества моделей теоретически может существовать и без криптовалют. Поэтому для нас было важно сосредоточиться на уникальных особенностях криптовалют, которые позволяют создавать радикально лучшие продукты или, в идеале, такие, которые невозможно было бы построить без крипто. Чтобы сделать это, мы начинаем с определения уникальных свойств криптовалют и их применения к ИИ для создания лучших решений. Затем рассмотрим стек **crypto x AI** и приведём примеры использования, которые, на наш взгляд, соответствуют этому.
1. Уровень координации. Криптовалютные технологии отлично подходят для организации коллективной координации без централизованного контроля. Они особенно успешны в преодолении проблемы "курицы и яйца", присущей большинству рынков, что позволяет быстро создавать большие пользовательские базы с помощью крипто-нативных стимулов.
Небольшие команды, создающие собственные ИИ-модели, могут не иметь доступа ко всем необходимым ресурсам. Например, крупные ИИ-лаборатории, скорее всего, будут иметь собственные вычислительные мощности, а маленькие команды — нет. Точно так же такие команды будут нуждаться в данных и, возможно, в участии различных людей для обратной связи. Эти потребности могут быть удовлетворены через специализированные рынки, и мы считаем, что рынки, использующие криптовалютные технологии, будут иметь конкурентное преимущество по сравнению с теми, которые их не используют.
2. Открытый, доступный API. Криптовалютные технологии функционируют как открытый и не требующий разрешений API, доступный каждому без необходимости прохождения KYC, использования кредитной карты или какого-либо другого одобрения со стороны третьей стороны. Это важно для агентов ИИ, которые для полной автономности должны иметь возможность получать доступ к сервисам, развёртывать код и передавать ценность без вмешательства человека. Это открывает возможность появления научно-фантастических сценариев, таких как коллективы агентов, которые платят друг другу за услуги, берут кредиты или даже привлекают финансирование.
3. Отсутствие необходимости в доверии. Криптовалютные технологии обычно не требуют доверия: вы получаете криптографические гарантии того, что они не изменятся, доступ не будет неожиданно отозван, а выполнение можно будет проверить. Это важно для модульного стека ИИ, поскольку, в отличие от интегрированного подхода, разработчики будут работать с набором примитивов, которыми они не управляют, и пользователи должны будут доверять множеству сервисов, о которых они даже не знают.
4. Устойчивость к цензуре. Если приложения развёрнуты как неизменяемые контракты на основе криптовалют, они становятся неуязвимыми для остановки. Даже если они подлежат обновлению, это часто делается через DAO (децентрализованную автономную организацию), требующую кворума держателей токенов для достижения консенсуса. Если ИИ станет таким мощным, как мы ожидаем, правительства, скорее всего, попытаются контролировать и влиять на него. На самом деле, мы уже видим подобные попытки. Как Биткойн и криптовалюты обеспечивают независимые финансовые рельсы, существующие вне традиционных систем, взаимодействие **crypto x AI** обеспечивает независимый и неостановимый интеллект.
Стек "Crypto x AI"
Учитывая эти преимущества, какие приложения на пересечении **crypto x AI** нам кажутся особенно интересными?
Центры обработки данных и вычислительные мощности
Применение вычислительных мощностей для моделей делится на две категории: обучение и вывод (inference). Мы видим потенциал в использовании децентрализованных вычислительных мощностей для обеих задач, и ниже объясним, как это может быть реализовано.
Центры обработки данных и вычислительные мощности
Применение вычислительных мощностей для моделей делится на две категории: обучение и вывод (inference). Мы видим потенциал в использовании децентрализованных вычислительных мощностей для обеих задач, и ниже объясним, как это может быть реализовано.
**Обучение на децентрализованных вычислительных мощностях**
На данный момент распределённые вычисления сопряжены с трудностями из-за высокой потребности в обмене данными и задержках между узлами во время обучения. Многие команды пытаются решить эту проблему, и, учитывая размер возможных преимуществ и уровень привлекаемых талантов, мы уверены, что эта задача будет решена. Несколько перспективных подходов включают DisTrO от @NousResearch и OpenDiLoCo от @PrimeIntellect.
Помимо решения сложных технических проблем распределенного обучения и создания продукта, который абстрагирует эту сложность, победителям придется разобраться с такими вопросами, как:
1. Как обеспечить качество и ответственность в сети без разрешений.
2. Как создать предложение, ориентированное на центры обработки данных и кластеры, а не на потребительское оборудование.
Токен-инцентивы, вероятно, станут стандартом для стимулирования предложения, а более креативные подходы могут включать предоставление поставщикам вычислительных мощностей доли в итоговой модели.
Основное преимущество децентрализованного рынка вычислительных мощностей заключается в том, что вы можете использовать самые низкие предельные издержки на вычисления по всему миру. Это становится всё более важным по мере того, как растущие затраты со стороны крупных поставщиков услуг побуждают компании искать более дешёвые альтернативы. Основными недостатками являются задержки, неоднородное оборудование, а также отсутствие всех оптимизаций и экономии от масштаба, которые обеспечиваются при создании и эксплуатации собственных дата-центров. Как это всё развернется, еще предстоит увидеть.
Подтверждённый вывод В широком смысле, мы видим применение подтвержденного вывода как расширение систем с минимизированным доверием за счёт ИИ-возможностей. Хотя нецелесообразно встраивать модель в смарт-контракт, возможно запускать модель вне блокчейна и публиковать доказательство того, что она сработала так, как ожидалось, на блокчейне. Например, проекты могут передавать принятие решений по управлению (например, решения о параметрах риска на рынке денег) модели, работающей вне блокчейна.
Эту концепцию можно использовать для открытых или закрытых моделей, давая пользователям гарантии, что результат пришел от той модели, которую они ожидали. Это может стать важным, так как приложения и пользователи всё больше будут полагаться на ИИ для выполнения критически важных задач. Существует множество проектов, решающих эту задачу различными способами, например, Inference Labs , в которые инвестирует Delphi Ventures.
Данные
Обучение больших языковых моделей (LLM) сегодня — это многоступенчатый процесс, требующий различных видов данных и человеческого вмешательства. Процесс начинается с предварительного обучения, где модели обучаются на очищенных и отфильтрованных версиях общедоступных данных. На этапе пост-тренировки модели обучаются на меньших, более специфичных размеченных данных, чтобы повысить их навыки в конкретных областях (например, в химии), часто с помощью экспертов.
Для обеспечения свежих и/или эксклюзивных данных ИИ-лаборатории часто заключают сделки с владельцами больших баз данных. Например, OpenAI и Reddit заключили сделку на сумму около $60 млн. Подобно этому, Wall Street Journal сообщил, что сделка News Corp с OpenAI оценивается в более чем $250 млн за пять лет. Очевидно, что данные становятся всё более ценными.
Мы считаем, что криптовалютные сети могут помочь командам находить данные и ресурсы, необходимые на каждом этапе этого процесса. Возможно, самым интересным сектором является сбор данных, где криптоинцентивы могут помочь стимулировать предложение данных и открыть доступ к множеству значимых, но редко используемых источников данных.
Например, Grass AI поощряет пользователей делиться своим неиспользуемым интернет-трафиком, чтобы помочь собирать данные с веба. Эти данные затем структурируются, очищаются и предоставляются для обучения моделей ИИ. Если Grass сможет создать достаточно большую базу данных, он может эффективно стать ключевым источником свежих интернет-данных для моделей.
@Hivemapper — ещё один хороший пример. Сеть была запущена в ноябре 2022 года и собирает миллионы километров изображений с дорог каждую неделю, уже охватив 25% мира. Легко представить, как подобные модели могут быть применены к другим типам мультимодальных данных и монетизированы через продажу ИИ-лабораториям.
Как показывают сделки NewsCorp и Reddit, существует множество компаний, владеющих ценными данными, но многие из них слишком малы или не имеют связей с ИИ-лабораториями, чтобы монетизировать их. Точно так же сделки ИИ-лабораторий с отдельными мелкими поставщиками данных могут оказаться слишком затратными. Хорошо разработанный рынок данных мог бы смягчить эту проблему, обеспечив стандартное соединение между поставщиками и ИИ-лабораториями. Основные вызовы в этом направлении — обеспечение качества данных и взаимозаменяемости как API, так и самих данных.
Наконец, подготовка данных — это значительный набор задач, включающий маркировку, очистку, обогащение, трансформации и т.д. Небольшая команда может не обладать всеми этими навыками и искать аутсорсинг. Scale AI — централизованная компания, предлагающая такие услуги. Её годовой доход оценивается примерно в $700 млн и продолжает расти. Мы считаем, что хорошо спроектированная система работы на базе криптовалют может быть здесь успешной. Lightworks — одна из компаний, в которые инвестирует Delphi Ventures, и есть ещё несколько других, находящихся на ранних стадиях.
Модели
По сути, создание и контроль ИИ-моделей в основном попадает под контроль "башни" — крупных технологических компаний и правительств, как описано в отчёте Delphi Digital "Башня и площадь" (The Tower & The Square). Это, возможно, ещё более антиутопическая ситуация, чем контроль правительств над деньгами. Это позволяет не только контролировать наиболее важные экономические ресурсы, но и управлять информационным потоком, подвергать цензуре нежелательных людей и использовать личные данные взаимодействий с ИИ против них или для максимизации дохода от рекламы.
Множество умных людей работает над созданием "площади" — децентрализованной сети, целью которой является производство полностью нейтральной, устойчивой к цензуре модели, доступной всем. Как Биткойн и криптовалюты предоставляют независимые финансовые рельсы, существующие вне системы, так и crypto x AI предоставит интеллект, независимый от систем.
Эти проекты стремятся создать децентрализованную модель, соперничающую с GPT и LLaMA, распределяя все этапы её создания: сеть собирает и подготавливает данные, обучает модель на децентрализованных вычислительных мощностях, выполняет вывод и координирует весь процесс через децентрализованное управление. Ни одна часть процесса не является централизованной, и таким образом модель по-настоящему принадлежит сообществу и не контролируется "Башней".
Очевидно, что создание децентрализованной модели, которая сможет соперничать с передовыми моделями, будет чрезвычайно сложной задачей. Мы не можем ожидать, что большое количество пользователей будет готово терпеть худший продукт из-за моральных убеждений. Мы рассматриваем такие проекты как "выстрелы в луну" — маловероятно, что они добьются успеха, но если им это удастся, их ценность будет невероятной, и мы искренне надеемся, что они преуспеют.
Также стоит упомянуть централизованные ИИ-лаборатории, которые придерживаются крипто-идеалов и, вероятно, будут выпускать токены или использовать криптоинфраструктуру. @NousResearch и @PondGNN — примеры таких проектов, в которые инвестировала Delphi Ventures.
Наконец, стоит упомянуть инфраструктуру для создания моделей, такую как Bittensor от @opentensor. Этот проект был подробно обсуждён в других местах, поэтому мы не будем углубляться в его плюсы и минусы здесь.
Приложения
Эрик Шмидт в недавнем выступлении сказал следующее:
"Если TikTok будет заблокирован, вот что я предложу вам сделать: Скажите своему LLM следующее: «Создай для меня копию TikTok, забери всех пользователей, забери всю музыку, учти мои предпочтения, создай эту программу за 30 секунд, запусти её, и если через час она не станет вирусной, сделай что-то другое в том же духе»."
Эта цитата иллюстрирует невероятную мощь, которую мы ожидаем от агентов. Но для полной автономии эти агенты должны иметь возможность получать доступ к сервисам без участия человека — передавать ценность, заключать экономические соглашения, развертывать и исполнять код без разрешений.
Традиционный мир банковских приложений, KYC и форм регистрации не подходит для таких агентов. Они неизбежно столкнутся с системой, созданной для людей, которую они не смогут преодолеть без помощи.
Криптовалютные рельсы предоставляют идеальную платформу. Они предлагают децентрализованную, устойчивую к цензуре и не требующую доверия основу для работы агентов. Если им нужно развернуть приложение, они могут сделать это в блокчейне. Если им нужно произвести оплату, они могут отправить токены. Код и данные для on-chain сервисов открыты и стандартизированы, что позволяет агентам легко их понять и взаимодействовать без необходимости в API или документации.
Агенты могут быть катализаторами on-chain активности и другими способами. Переход от традиционного взаимодействия с веб-сайтами через клики к взаимодействию через ИИ-ассистентов может упростить процесс регистрации в криптосервисах. Это помогает устранить одну из главных преград для привлечения новых пользователей.
Проекты, такие как Wayfinder (@AIWayfinder), Autonolas (@Autonolas), DAIN (@dainprotocol) и Almanak (@Almanak__), активно работают над созданием будущего в этом направлении.
ИИ имеет все шансы стать самым мощным и важным ресурсом XXI века, который окажет глубокое влияние на общество. Если его контроль будет сосредоточен только в руках крупных технологических компаний и государств, это приведет к антиутопическому будущему, которого мы хотели бы избежать. В этой статье мы постарались показать, как криптовалюты могут предотвратить этот монополизм, не за счет философских доводов, а благодаря созданию по-настоящему лучших решений для разработчиков и пользователей.
Мы находимся на самых ранних этапах эры ИИ и особенно децентрализованного ИИ (deAI). Многое еще предстоит построить, чтобы приблизиться к тому, о чем мы говорили в этой статье. В Delphi Labs мы с нетерпением ждем, когда будущее криптовалют и ИИ станет реальностью, и стремимся активно участвовать в его формировании, работая с лучшими разработчиками в этой области.
Учитывая, насколько эта сфера еще нова, мы считаем, что инкубатор — идеальная структура для изучения пространства дизайна и работы с наставниками и экспертами, чтобы воплотить вашу идею в жизнь. Сегодня мы делаем ставку на это с помощью нового NEAR x Delphi Labs AI Accelerator. Заявки открыты до 4 октября 2024 года. Если вы амбициозный предприниматель или основатель, который верит в будущее ИИ и Web3, присоединяйтесь к нам, и давайте сделаем это реальностью вместе.