Третьему игроку приготовиться: полноценный костюм для XR

Собираем носимые гаджеты в единый костюм для полноценного погружения в виртуальную реальность.

Полноценная расширенная реальность, ещё недавно казавшаяся фантастикой, стремительно обретает черты реальности настоящей. Прорывы в области нейроинтерфейсов, тактильных систем и мультисенсорных технологий формируют новый ландшафт цифрового взаимодействия.

К 2025 году мы не просто наблюдаем за виртуальными мирами - мы ощущаем их всеми органами чувств, ставя под сомнение саму природу реальности.

Ожидания

Как мы хорошо знаем из ТГ-канала «Шалаш» - не только андроиды, но и буквально репликанты перестают быть чем-то фантастическим. Также серьезные шаги происходят в области протезирования (то, что я называю «киборгизацией») и нероимплантирования (то, что я называю «чипизацией» 😅) для управления и этими самыми протезами и любыми другими машинами, в том числе удаленно!

С другой стороны токенизация всего и вся набирает серьезные обороты. Но не только деньги, ресурсы и товары стремительно несутся в цифровое пространство. Как мы помним, власти Китая опубликовали национальный план развития индустрии виртуальной реальности, предполагающий до 2026 года поставку 25 млн соответствующих устройств общей стоимостью более $48 млрд.

Стратегию представили в совместном заявлении пять ведомств во главе с Министерством промышленности и информационных технологий. Они назвали сферу виртуальной реальности ключевой индустрией для цифровой экономики в рамках четырнадцатого пятилетнего плана.

План предусматривает широкое исследование технологий, способствующих более иммерсивному VR. Среди них: отслеживание жестов, взгляда и мимики, захват движений тела, высокоточное понимание окружающей среды, 3D-реконструкция, имитация запахов и прикосновений.

Также власти настаивают на изучении использования граничных вычислений для рендеринга 5G-контента и поиске методов быстрого соединения устройств с VR-гарнитурами.

При этом согласно обзору от McKinsey к 2030 году технологии метавселенных могут принести до $5 трлн.

Для того, чтобы метавселенные полностью раскрыли свой потенциал, необходимы: устройства (AR/VR, датчики, тактильные и периферийные устройства), совместимость и открытые стандарты, профильные платформы и инструменты разработки.

Но уже сейчас мы можем собрать практически полный костюм для погружения в виртуальный мир, а это значит, что не только первому игроку уже стоит приготовится!

Реальность (не только виртуальная 😅)

Слух: от стерео к нейроакустике

С момента появления SONY Discman D-50 это чувство можно считать полностью освоенным, но давайте разберемся, каким еще образом можно имитировать звук.

Современные VR-гарнитуры переосмыслили пространственный звук, используя костную проводимость и алгоритмы на основе ИИ. Технология Reality Labs, представленная в 2024 году, передаёт звуковые вибрации через черепные кости, минуя ушные раковины. Это позволяет точнее локализовать источники звука: шепот за спиной или шум дождя над головой воспринимаются как абсолютно реальные.

Впрочем контора Цукерберга пока не реализовала гаджет для массового пользователя, а вот наушники с костной проводимостью - на рынке широко представлены моделями от разных производителей, например, Hoco ES68 Black.

Эти устройства передают звук через скулы или височные кости, не закрывая уши и сохраняя осведомленность о происходящем вокруг. Они популярны среди спортсменов, водителей, а также людей с определёнными нарушениями слуха.

А инновация Sennheiser AMBEO VR Mic 2.0 с 32-канальной записью создаёт звуковые ландшафты, где каждый лист шелестит с уникальной частотой. В проекте Sonic Reality для Meta Quest Pro 2 пользователи могут различить породу дерева по звуку шагов - технология анализирует плотность виртуальной поверхности и генерирует соответствующий акустический отклик.

Зрение: пиксели против сетчатки

О шлемах, очках и даже линзах в Шалаше ведется отдельная рубрика - милости прошу на канал. По сути это чувство также можно считать освоенным и уже достаточно давно. Но нет предела совершенству.

Своеобразную революцию совершила гарнитура Bigscreen Beyond 2 - 107 граммов веса при разрешении 2560×2560 на глаз. Её секрет - замена традиционных линз на голографические волноводы, проецирующие изображение напрямую на сетчатку. Это устранило эффект "экранной двери" и увеличило поле зрения до 150°.

Впрочем, настоящим прорывом (или погибелью 😅) станут полноценные нейрооптические интерфейсы. Теоретически такие системы будут использовать наночастицы, вводимые в стекловидное тело глаза. Далее они реагируют на ИК-излучение, создавая изображение без дисплеев. Надеюсь, такие штуки появятся еще нескоро - хоть илОн наше всё Муск уже вовсю тизерит новый продукт от Neuralink - Blindsight (о нем подробнее в ТГ).

Осязание: физика на кончиках пальцев

Если со зрением и тем более слухом все уже более-менее ясно и достаточно давно, то вот тактильная имитация задача явно гораздо более тяжелая. Но за последние пару лет заметный прогресс наблюдается и в этой области. На ней остановимся немного поподробнее.

Известная нам по одному из старых дайджестов компания HaptX представила третье поколение перчаток с микрогидравлическими актуаторами. Каждый палец ощущает силу до 4 Н, распознавая текстуру от шёлка до наждачной бумаги.

Но прорыв года - Haptiknit от Стэнфорда. Вместо жёстких экзоскелетов - эластичная ткань с пневмокамерами, создающая давление с точностью 0.1 Н/см².

А вот Epidermal VR - это технология, позволяющая добавить осязаемые ощущения в этот самый VR с помощью тонких, гибких и беспроводных наклеек или патчей, которые крепятся непосредственно на кожу пользователя.

Исследователи из Northwestern University создали прототип такого эпидермального VR-патча: он состоит из гибкой подложки с миниатюрными вибромоторами, которые управляются по беспроводной связи и способны точно имитировать различные тактильные ощущения.

Ученые из Северо-Западного университета создали устройство размером с кончик пальца, способное воспроизводить различные тактильные сигналы — от скольжения до постукивания. В отличие от существующих решений, которые ограничиваются вибрациями, новая разработка имитирует сложные ощущения, возникающие при прикосновении к различным поверхностям. В основе технологии — миниатюрный привод с магнитом и акселерометр. Изобретение сделает взаимодействие с цифровым миром реалистичнее, а еще может помочь людям нарушениями зрения и слуха.

Учёные СПбПУ создали прототип тактильного сенсора для промышленных роботов. Разработка поможет лучше ощущать предметы во время захвата и других манипуляций, а также контролировать силу сжатия

Также разработана система, анализирующая полученные с сенсора данные

Новый умный материал «чувствует» давление, запахи и свет

Корейские ученые создали сенсорный материал на основе полупроводниковых волокон с уникальной трехмерной структурой

Эти волокна способны ощущать давление, свет, уровень pH, аммиак и другие химические параметры, имитируя работу органов чувств человека. В основе разработки лежит использование дисульфида молибдена, который придает волокнам исключительные электрические и механические свойства.

Вкус: цифровая гастрономия

И если над оцифровывание осязания, как мы видим, работа идет полным ходом - то вот обмануть вкус - это уже задача гораздо более тяжелая и ее решение не кажется тривиальным. Но кое-какие разработки есть и в этой области.

Гонконгские ученые разработали интерфейс в форме леденца, способный воссоздавать различные вкусы в виртуальной реальности. Новое устройство, основанное на технологии ионофореза, точно и безопасно воспроизводит вкусовые ощущения через ароматизированные гидрогели

Разработка позволяет пользователям взаимодействовать с виртуальной реальностью через вкус, что открывает перспективы для медицинской диагностики, иммерсивного онлайн-шопинга и образовательных программ.

Но настоящую сенсацию вызвала система e-Taste от Университета Огайо. e-Taste анализирует химический состав пищи через спектрометр, преобразуя данные в "вкусовые пакеты". Эти файлы передаются на биохимический синтезатор, смешивающий базовые компоненты (глюкозу, хлорид натрия, глутамат) в реальном времени. В испытаниях 2024 года участники различили вкус ухи и жареной утки с точностью 89%. Технология уже используется в телемедицине для диагностики дисгевзии.

Обоняние: молекулы как данные

Понять, каким образом возможно оцифровать запах стало моей idea fix еще в далеком (уже 😭) 2015. Тогда я даже наткнулся на материалы о том, что некоторые ученые всерьез уверены, что существуют «волны запахов».

Так вот термин “осмические волны” действительно встречается в популярной литературе и некоторых старых научных гипотезах для обозначения гипотетических волн запаха. Слово “осмический” происходит от греческого “osme” - запах. Однако в современной науке этот термин не используется для обозначения реально существующих физических волн, подобных световым или звуковым.

Запахи, не распространяются в виде волн, а передаются посредством молекул пахучих веществ, которые диффундируют в воздухе. Поэтому “осмические волны” - это скорее красивый образ или метафора, чем научный термин, отражающий реальный физический процесс.

В научной литературе иногда встречается выражение “осмические ощущения” (отсюда - “осмические волны”), но оно относится к восприятию запахов, а не к волновой природе их распространения. В физике и химии запахи описывают как поток молекул, а не как волны.

При этом в молекулярном и квантовом смысле - есть интересные нюансы. Современные исследования показывают, что молекулы пахучих веществ обладают собственными характеристическими частотами вибраций (колебаний атомов внутри молекулы). Некоторые учёные выдвигают гипотезу, что обонятельные рецепторы могут реагировать не только на форму молекулы (ключ-замок), но и на её вибрационные свойства - то есть на определённые частоты колебаний молекул. Эта теория объясняет, почему вещества схожей формы могут пахнуть по-разному, а разные - одинаково.

Распознавание одорантов больше похоже на считывание магнитной карты: рецепторы реагируют на колебания молекул определённой частоты, а не только на их форму!

В 2023–2025 годах стартап Osmo, при поддержке Google, разработал Principal Odor Map - нейросетевую модель, которая сопоставляет химическую структуру молекул с их запахом, как его воспринимает человек.

Для обучения использовались базы данных с описаниями запахов примерно 5 000 молекул. Система кодирует каждую молекулу в виде 256-мерного числового вектора (дескриптора), что позволяет анализировать и сравнивать запахи. На сегодняшний день Osmo и другие исследовательские группы продолжают расширять базы данных и совершенствовать методы предсказания запахов.

Положение в пространстве

Проприоцепция - это способность человека ощущать положение и движение своего тела и его частей в пространстве без зрительного контроля. Это чувство часто называют «шестым чувством», тк оно обеспечивает координацию движений, равновесие и автоматизацию привычных действий.

За проприоцепцию отвечают специальные рецепторы - проприорецепторы, расположенные в мышцах, суставах и сухожилиях. Они передают сигналы в мозг о растяжении, положении и напряжении тканей. Благодаря проприоцепции мы можем точно управлять движениями и поддерживать баланс. Нарушения этого чувства ведут к потере координации и неуклюжести, а тренировать его можно с помощью упражнений на баланс и координацию.

Инженеры из Disney Research представили прототип устройства HoloTile - интерактивного пола, который позволяет пользователям перемещаться в виртуальной среде, оставаясь на одном месте в реальном мире. Технология основана на множестве подвижных элементов, которые автоматически подстраиваются под движение человека, обеспечивая ощущение бесконечного пространства. Принципы работы HoloTile официально не раскрыты, но по функционалу устройство похоже на всенаправленную беговую дорожку для VR.

В 2024 году в розничную продажу поступила всенаправленная беговая дорожка Virtuix Omni One. Устройство позволяет пользователям физически ходить, бегать и поворачиваться в виртуальной реальности, не покидая ограниченного пространства.

В комплекте с платформой поставляется фирменная VR-гарнитура, что обеспечивает полноценное погружение в виртуальные миры без необходимости приобретать дополнительное оборудование.

Седьмое чувство

В современной физиологии официально выделяют больше пяти чувств: помимо зрения, слуха, вкуса, обоняния и осязания, отдельно рассматриваются проприоцепция (ощущение положения тела), вестибулярное чувство (равновесие), интероцепция (ощущение внутреннего состояния организма) и другие сенсорные системы. Однако какого-то одного строго признанного «седьмого чувства» нет - это скорее фигура речи или попытка подчеркнуть существование дополнительных, менее очевидных сенсорных способностей человека.

В научной и популярной литературе термин «седьмое чувство» используется неофициально и не имеет однозначного определения. Разные исследователи и авторы вкладывают в это понятие различные смыслы.

Некоторые называют седьмым чувством иммунную систему, учитывая её активное взаимодействие с мозгом; другие - способность к восприятию магнитных полей (биологический «компас»), а кто-то относит сюда майндсайт - осознанность собственных мыслей и эмоций или даже интуицию.

Естественно, цифровых версий данных ощущений пока что не существует (по крайней мере в публичном пространстве, но напоследок стоит рассказать про еще одну очень важную имитацию.

Боль: этика цифровых ощущений

На CES последних лет (как и на других выставках) представляют VR-костюмы и жилеты с тактильной отдачей, такие как Teslasuit, OWO и bHaptics. Эти устройства используют вибрацию и электростимуляцию для имитации не только прикосновений или давления, но ударов, а иногда… боли, например, ощущения укуса или пореза.

Уровень ощущений в таких костюмах строго ограничен стандартами безопасности и не может воспроизводить настоящую боль от ножевых или огнестрельных ранений. Все подобные системы предназначены для имитации только безопасных, контролируемых тактильных эффектов. По крайней мере так заявляют 😅

Завершим же на гаджете, о котором точно уже прочитал каждый, но без которого этот дайджест не был бы полным. Основатель компании Oculus и разработчик VR-шлема Oculus Rift Палмер Лаки пару лет назад представил в своем блоге гарнитуру, которая мгновенно взорвется, если ее владелец погибнет в игре.

Шлем VR оснащен тремя зарядами настоящей взрывчатки. Велика вероятность, что ее для своего творения он получил не гипотетически и даже легальным путем. Палмер – это не только известная личность в сфере виртуальной реальности, но и глава компании по производству оружия и устройств для обороны.

Интересно, что заряды расположены прямо над дисплеем, то есть напротив переднего отдела мозга пользователя шлема, аккурат в области префронтальной коры. Эта зона, кстати, отвечает за рациональное мышление, за способность планировать и, что называется, думать холодной головой.

Но при неблагоприятном исходе вам буквально снесет голову и о будущем можно будет уже не переживать!

Вновь ожидания

К 2025 году костюм для XR - это скорее просто набор разрозненных гаджетов, а нейроинтегрированная система. Впрочем, прогресс налицо и стоит уже сейчас задать вопрос: когда виртуальность станет полнее реальности? Ответ - быстрее, чем мы думаем.

И вероятно следующий шаг - полная синестезия, где запах обретает цвет, а звук - вкус. Не удивлюсь, если на нашем веку мы ощутим и такое (причем вполне легальными средствами).

В данной статьей пока что ограничимся разбором именно гаджетов. О Метавселенных и наших цифровых двойниках аки NFT-Аватарах поговорим как-нибудь в другой раз.

Впрочем, уже сейчас об этом, как и о тренде на токенизацию можно каждый день узнавать что-то новое из ТГ-канала - милости прошу к нашему «Шалашу».