Гейминг через нейроинтерфейсы - будущее или бессмысленная технология?
Нейроинтерфейс/ИМК/BCI - это интерфейс мозг-компьютер, технология, позволяющая устанавливать прямую связь между мозгом человека и внешним устройством (например, компьютером или протезом).
Видеоигры, в которых игрок управляет через нейроинтерфейс, раньше были предметом научной фантастики. В наше время НИ-гейминг вполне себе существует, более того, он существует уже десятилетия. Но чтобы рассмотреть его зарождение и эволюцию, стоит начать издалека, а именно с Электроэнцефалографии (далее просто ЭЭГ)
Как вера в телепатию привела к изобретению того, без чего BCI-гейминг невозможен
ЭЭГ была изобретена немецким физиологом Гансом Бергером (Hans Berger) в 1924 году. Он стал первым, кто зарегистрировал электрическую активность человеческого мозга с помощью неинвазивного метода. Бергер был вдохновлён идеей, что мозг генерирует электрические сигналы, которые можно измерить.
Его интерес к этой теме возник из-за личного опыта: он верил, что однажды почувствовал телепатический сигнал от своего отца, что побудило его изучать связь между мозгом и электрическими процессами.
Бергер начал проводить эксперименты на животных, чтобы изучить электрическую активность мозга. Затем он перешёл к экспериментам на людях, используя электроды, размещённые на поверхности головы. В 1924 году Бергер зарегистрировал первую запись электрической активности мозга человека, которую он назвал "электроэнцефалограммой". Он обнаружил альфа-ритмы (частота 8–13 Гц), которые позже стали известны как "ритмы Бергера".
В 1929 году Бергер опубликовал результаты своих исследований, что вызвало большой интерес в научном сообществе, его работа стала основой для дальнейших исследований в области нейрофизиологии и клинической диагностики, а также доказала, что лектрическая активность мозга может быть измерена неинвазивно. Помимо диагностики таких состояний, как эпилепсия, изучения сна и работы мозга в целом, ЭЭГ легла в основу неинвазивных BCI
Первый носитель BCI и по совместительству первый BCI-геймер
Первым человеком, которому успешно установили инвазивный BCI, был Мэттью Нэгл в 2004 году. Он стал парализованным ниже шеи после ножевого ранения в 2001 году, что сделало его подходящим кандидатом для испытания новой технологии.
Ему имплантировали чип BrainGate, разработанный компанией Cyberkinetics. Устройство состояло из матрицы из 100 микроэлектродов, которые внедрили в моторную кору мозга, отвечающую за движение. С помощью этой технологии Мэттью смог управлять различными устройствами, используя только свои мысли. Он научился двигать курсором на компьютере, включать и выключать телевизор, управлять роботизированной рукой и даже двигать виртуальной рукой в компьютерной симуляции.
Таким образом, Мэтт Нэгл стал не только первым человеком с имплантированным BCI, но и первым человеком, который играл в игру, перемещая курсор с помощью своего имплантата Braingate BCI.
Первое коммерческое устройство для BCI-гейминга
В 2009 году компания EMOTIV выпустила на рынок первый игровой BCI-контроллер - беспроводная гарнитура EMOTIV EPOC.
Первой игрой для гарнитуры была Spirit Mountain, где мистические мастера обучали игрока поднимать предметы и отпугивать озорных духов с помощью мыслей. Помимо команд BCI, гарнитура могла обнаруживать мимические выражения и ментальные состояния, такие как концентрация и расслабление, изменяя цвет неба в игре в зависимости от этих параметров. В отличие от предыдущих игр с интерфейсом мозг-компьютер, где движения курсора выполнялись мысленно, в Spirit Mountain мысли использовались для выполнения действий. На момент выпуска EPOC поставлялась с Cortex Arcade, программным лаунчером, который включал три готовые к игре игры с использованием BCI.
Для таких людей, как Кора, девушка, которая была парализована в результате автомобильной аварии, опыт использования BCI стал по-настоящему преобразующим.
Как кое-один аниме-тайтл вызвал интерес геймеров к BCI-геймингу
Вышедшее в 2012 году аниме "Мастер Меча Онлайн" (Sword Art Online) вызвало огромный интерес к BCI-геймингу благодаря своей концепции полного погружения в виртуальную реальность через интерфейс мозг-компьютер. В сериале игроки использовали устройство NerveGear, которое напрямую подключалось к их мозгу, позволяя управлять персонажами мыслями. Эта идея захватила воображение миллионов людей, вдохновив разработчиков и фанатов на поиск технологий, способных реализовать подобный опыт в реальной жизни.
В 2016 году компания IBM анонсировала т.н. "Sword Art Online The Beginning Project" - мероприятие, основанное на этом аниме. Участники использовали VR-гарнитуру и, согласно канону аниме, появлялись в виртуальном пространстве в виде 3D-аватаров, созданных на основе их сканов, превращая свои тела в своего рода контроллеры вместо использования традиционного геймпада. Виртуальный опыт также задействовал облачный сервис IBM SoftLayer и её когнитивные системы.
Более 100 000 человек подали заявки, чтобы просто протестировать демо-версию Sword Art Online. Ходили слухи о создании реального иммерсивного опыта, как в аниме. Увы, в демо-версии не было BCI, но зато она не убивала участников, если они умирали в игре -так что в этом есть свои плюсы.
Быть первопроходцем трудно
Доктор Джефф Маккеллар, сооснователь и технический директор EMOTIV, вспоминает трудности, с которыми они столкнулись при разработке и попытках продать первую игровую гарнитуру с интерфейсом мозг-компьютер (BCI).
Помимо того, что сама идея была безумной, а технология невероятно сложной, было несколько ключевых проблем с оборудованием, особенно попытки снизить цену, чтобы гарнитура была доступной
- объясняет Маккеллар, добавляя, что EPOC должна была быть достаточно прочной, чтобы выдерживать использование подростками.
Было очень сложно создать систему, которая предоставляла бы данные медицинского уровня, используя компоненты потребительского класса.
Но самой большой проблемой, по его словам, стала коммерческая сторона:
Никто не хотел тратить кучу денег на поддержку BCI от Emotiv, если не было достаточно широкой пользовательской базы, а добиться массовых продаж было очень сложно без популярных игр. Классическая проблема курицы и яйца. Мы создали EmoKey, который преобразовывал мысленные команды, показатели производительности и мимические выражения в нажатия клавиш, и это позволило нам играть во множество ПК-игр, но этого было недостаточно, чтобы сделать технологию массовой.
Подобно первому смартфону, игры с интерфейсом мозг-компьютер в начале 2000-х вызывали восхищение, но были не совсем готовы для массового использования из-за отсутствия инфраструктуры. Однако это ещё не повод press F to pay respect для BCI-игр.
Вместо геймеров именно исследователи первыми заинтересовались перспективой недорогой гарнитуры ЭЭГ, что помогло поддержать дальнейшее развитие технологии. Именно в этой среде научных открытий и прогресса в области искусственного интеллекта технология тихо готовилась к своему большому возвращению.
Первое коммерческое устройство, объединившее VR и BCI
В ноябре 2020 года было анонсировано устройство Galea от компании OpenBCI. Galea примечательна тем, что объединяет в себе несколько технологий, включая электроэнцефалографию (ЭЭГ), электромиографию (ЭМГ), электроокулографию (ЭОГ), измерение кожно-гальванической реакции (КГР) и фотоплетизмографию (ППГ).
Galea способна одновременно измерять электрическую активность мозга, мышц, движения глаз, уровень потоотделения и сердечный ритм, что делает её уникальным инструментом для исследований и разработки интерфейсов мозг-компьютер (BCI). Она разработана для совместного использования с популярными VR-гарнитурами, такими как Meta Quest, что позволяет исследовать взаимодействие пользователя с виртуальной средой на глубоком когнитивном уровне. Система включает программное обеспечение с элементами искусственного интеллекта, которое помогает анализировать полученные данные, интерпретировать физиологические сигналы и использовать их для управления устройствами или игр.
Беспроводные ЭЭГ уже используются в ряде детских больниц для реабилитации и развития. Дети с ограниченными возможностями используют интерфейсы мозг-компьютер (BCI) для выполнения различных задач, включая видеоигры, такие как Fall Guys и Mario Kart. Другими словами, BCI-гейминг никуда не исчезал; он просто оставался в тени, ожидая своего времени
Кто сказал, что BCI-игры должны создаваться с нуля?
В 2021 году игрок Skyrim выпустил для VR-версии этой игры мод, позволяющий использовать магию при помощи нейрогарнитуры для медитации Muse 2. Механизм работы следующий: Muse 2 или Muse S надеваются на игрока. Эти гаджеты считывают электрическую активность мозга, изначально предназначенную для мониторинга сна или медитации. Мод интегрируется с данными ЭЭГ и добавляет в интерфейс специальную шкалу концентрации. Если уровень концентрации достигает 50%, заклинание наносит стандартный урон. При меньшей концентрации урон уменьшается, а при большей - увеличивается. Игроку не нужно вручную выбирать силу заклинания - она определяется автоматически в зависимости от его ментального состояния.
Стример с Twitch, оказавшая свою долю для популяризации BCI-гейминга
Perrikaryal, британский стример с платфоромы Twitch, обладающая степенью магистра психологии, познакомилась с технологией EMOTIV EEG ещё в университете. Играя в видеоигры для своей аудитории на Twitch, она задумалась, сможет ли разработать кастомный контроллер на основе ЭЭГ для управления играми без помощи рук. в 2024 году она смогла это сделать, но процесс оказался непростым.
Создание контроллера заняло более года и сотни часов тренировок. Начав с имитации "левого клика" мыши, Perrikaryal постепенно добавляла новые команды.
Как только я заставила Стива разбить блок в Minecraft, у меня появилась навязчивая идея сделать это лучше и довести всё до совершенства
Кульминацией её экспериментов стал момент, когда она прошла DLC в сложной игре Elden Ring, используя только команды BCI.
Ее устройство было основано на Emotiv EPOC из начала этой статьи. Для игр Perrikaryal использует 14 электродов, прикрепленных к её голове, которые считывают реакцию мозга на определённые мысли для инициирования когнитивной активности. Также она использует пару ЭЭГ-наушников, которые регистрируют пульсацию мышц уха для получения более прямого физического отклика на определённые действия. Эти устройства комбинируются с отдельной камерой отслеживания глаз, которая использует движения глаз и головы для имитации работы мыши или джойстика. С помощью сочетания программного обеспечения BCI от Emotiv и собственного "кривого" кода Perri назначает отдельные игровые способности определённым мыслям, что позволяет ей использовать тонкие движения для управления персонажем и камеры, а также представлять такие действия, как вращение тарелки или перемещение блока, для выполнения более сложных действий.
Также в прошлом году участник эксперимента Neuralink, Алекс, сыграл в Counter-Strike 2, используя свой имплант для управления курсором.
Ранее он пользовался устройством Quadstick, которым управляют с помощью рта. Хотя некоторые в шутку критиковали его точность прицеливания, это достижение снова привлекло внимание к потенциалу BCI-гейминга.
Просто бегать по карте — уже невероятное удовольствие, потому что я могу смотреть по сторонам, не перемещая Quadstick влево и вправо… Я могу просто [думать, куда хочу] смотреть, и всё происходит так, как я хочу. Это безумие
- восторженно поделился Алекс в блоге Neuralink.
Достижения, которые еще предстоит разблокировать
Благодаря появлению BCI-гейминга в новостях общественное восприятие этой технологии в основном положительное и обнадёживающее, хотя порой и с долей скептицизма. В конце концов, совсем недавно нам обещали летающие машины и VR-гарнитуры как часть повседневной жизни.
BCI-гейминг не лишён ограничений. Как и беспроводная мышь по сравнению с проводной, мобильные ЭЭГ-гарнитуры имеют больше "задержек", чем их имплантируемые аналоги. Получение данных непосредственно из целевой области мозга снижает уровень электрического шума от окружающей среды и движений мышц по сравнению с ЭЭГ-устройством.
Этот электрический шум, однако, можно успешно устранить с помощью самого устройства, как объяснил доктор Маккеллар, а также искусственного интеллекта. По мере того как модели машинного обучения становятся всё более совершенными, беспроводной BCI-гейминг может стать ещё более удобным для пользователей.
Идея имплантируемых сенсоров для таких вещей, как игры или удобство, возможно, реализуется через 40–50 лет
- заявила нейробиолог из Стэнфорда Шарлин Николь Флешер в интервью Variety в 2018 году.
Ещё одно ограничение для массового внедрения BCI-гейминга - это стоимость оборудования и программного обеспечения. Устройства ЭЭГ могут стоить от $99 до сотен тысяч. Основное правило BCI - чем больше сенсоров, тем лучше. Для умных домов, дронов и видеоигр достаточно нескольких сенсоров в диапазоне $400-$1000. Если сравнить это с ценой современной игровой консоли (около $600) и игровых ПК среднего уровня ($800-$1500), то расходы становятся более понятными.
Однако даже самые популярные игровые консоли не будут продаваться, если для них нет игр. (Помните «курицу и яйцо» доктора Маккеллара?) Интеграция BCI-команд в игровые движки, такие как Unreal и Unity (последний уже совместим с EmotivBCI), могла бы создать открытый, конкурентный рынок как для независимых, так и для крупных разработчиков. Конкуренция в области BCI-гейминга могла бы привести к появлению большего количества игр и сделать покупку гарнитуры более оправданной для игроков.
Ещё одной проблемой является возможность играть в BCI-игру "из коробки". Существующие BCI-игры, как правило, избегают множества одновременных управлений, характерных для шутеров, файтингов или ролевых игр. Они больше похожи на аркадные игры с ограничением в виде управления только направлением. Поскольку мозг у каждого человека уникален, настройка BCI-профиля под свои нужды требует времени, усилий и терпения. Например, Perrikaryal понадобилось около 20 часов и 314 попыток, чтобы победить Радана, босса в DLC Elden Ring.
Он всё равно был не самым сложным боссом для управления с помощью мыслей
- написала она своим подписчикам в X.
ИИ спешит на помощь
Новый алгоритм EMOTIV под названием EEG2Rep, представленный и отмеченный наградой на конференции KDD 2024, превосходит передовые методы в области распознавания эмоционального и ментального состояния, многозадачности и анализа ЭЭГ в состоянии покоя. Чем точнее алгоритм самонастраиваемой обработки ЭЭГ, тем меньше тренировок потребуется пользователю BCI.
Также возможна альтернатива, заключающая в том, что один опытный алгортим BCI мог обучать новичков. Вместо долгой настройки BCI под каждого нового пользователя можно использовать заранее обученную модель. Алгоритм, основанный на данных опытного пользователя, адаптируется к другим людям с помощью специальных методов, даже если их мозговая активность немного отличается. Благодаря этому отпадает необходимость в индивидуальной калибровке, и система сразу готова к использованию, что делает BCI более доступным и удобным.
Эндоваскулярный BCI-имплант компании Synchron использует Chat-GPT для помощи своим пользователям в самых разных задачах - от чтения и письма до вызова такси. Имплант также заменил жесты рук в Apple Vision Pro.
А из совсем недавних примеров можно вспомнить Omi - тоже своего рода неинвазивный BCI, использующий ИИ. Устройство стоимостью в $89 может подводить итоги встреч, напоминать о важных делах, предлагать действия и предоставлять информацию по запросу. Например, во время разговора можно спросить цену биткоина или уточнить другие детали - ответ появится на телефоне через несколько секунд.
Так или иначе добавление виртуальных ассистентов в BCI-гейминг может помочь игрокам в тренировке их профилей, настройке уровней сложности или предоставлении ценной информации во время игры.
Более 500 экспертов прогнозируют, что ЭЭГ-BCI не станут широко использоваться в играх и VR еще как минимум 20 лет, но при этом некоторые из них призывают к коллективным действиям, сосредоточенным на обоснованности, демократизации и ответственности, чтобы реализовать потенциал ЭЭГ в науке и обществе в течение следующих 100 лет.
Гейб Ньюэлл, основатель Valve, не согласен с широким распространением BCI-гейминга.
Это событие уровня вымирания для всех форм развлечений, которые не думают о [BCI]. Если вы в индустрии развлечений и не думаете об этом сейчас, то в будущем вы точно начнете
- говорит он в своем подкасте для IGN
Все зависит от того, как вы определяете BCI-гейминг. Если речь идет об играх, управляемых мозговыми волнами, то это уже возможно. Но если вы хотите полной иммерсии, как в Sword Art Online, то эксперты, скорее всего, правы, и придется подождать, особенно если использовать только ЭЭГ.
ЭЭГ - это только чтение данных. Частичная иммерсия может быть достигнута с VR/дополненной реальностью, и интуитивные ЭЭГ-системы могли бы это улучшить. Но мы не сможем использовать ЭЭГ для создания сенсорных ощущений, таких как запахи, и так далее, если только не подключимся к нервной системе через двусторонний интерфейс.
Да, действительно, непосредственная иммерсия сенсорных ощущений невозможна на данный момент в BCI-гейминге. Однако вы все еще можете использовать неинвазивные приспособления. К примеру, на Amazon продается устройство со встроенным ИИ, оно способно подстраиваться под ситуацию в игре и выпускать соотвествующий запах (к примеру во время дождя в игре устройство сымитирует для вашего драгоценного носа запах сырости)
Кто знает, может в будущем нас ждут устройства, комбинирующие одновременно BCI, VR, AR и подобные девайсы? Если так подумать, то и до выхода того же Galea от OpenBCI мало кто ожидал объединения VR и BCI.
Статью, на которую частично опирался этот рерайт, вы можете прочитать здесь