Эндоскопия в VR или как мы создали конкурентоспособный продукт
Мы хотим создать одну из лучших VR компаний, которая сможет раскрыть всю суть виртуальной реальности и воплотить идеи и мечты людей. Об одной из таких идей мы сегодня расскажем.
С чего все началось
В марте 2022 года нам пришло коммерческое предложение на разработку VR-симулятора в медицине. У нас есть опыт в разработке обучающих VR-приложений, но в промышленной сфере, поэтому предложение нам приглянулось.
Нашим заказчиком оказался один из самых крупных медицинских учреждений России - главный военный госпиталь им. Бурденко.
Причин для разработки тренажера было несколько:
- Нехватка свободного оборудования для обучения специалистов, так как в большинстве оно импортное.
- Операционная не всегда доступна. Процесс подготовки к операции очень долгий. От согласования и дезинфекции помещения до проведения самой операции.
- Никто не будет подпускать студента за оперирование настоящего пациента без должного контроля. Только спустя годы практики.
VR-симулятор позволяет обучать сотрудников проведению эндоскопии позвоночника, учитывая инфраструктуру операционной и ее оснащение. А в дальнейшем демонстрировать проект как способ эффективного обучения.
Переговоры и экскурсия к заказчику
Мы договорились о встрече с ведущим хирургом госпиталя, чтобы составить техническое задание и, конечно, познакомиться лицом к лицу.
Довольно сложно вникнуть в сферу деятельности заказчика за 6 часов переговоров. Мы вместе описали требования к продукту, примерные сроки выполнения и договорились посетить госпиталь.
Для нас было важно узнать подробности процесса проведения операции от хирургов и заодно заснять окружение в качестве референсов для 3D-моделей. Пообщались с персоналом, изучили инструменты и оборудование.
Благодаря всем сложившимся факторам, техническое задание получилось объемным и подробным.
Начало разработки
С выбором движка у нас не было трудностей. Разработка велась на Unity в URP. Производительность компьютеров далека до виртуальной реальности в HDRP.
А вот с выбором шлема возникли вопросы. Если нужна портативность, то беспроводной Oculus Quest 2. Если реалистичная графика, то проводной HTC VIVE или Valve Index. Заказчики решили выбрать Oculus Quest 2, так как он дешевле в стоимости. А так как беспроводные шлема работают на своих мобильных процессорах, сделать реалистичную графику довольно трудно, но возможно.
Для параллельной разработки мы разделили проект на несколько блоков. Всего их было 8. Каждый отличался только функционалом, визуальная составляющая на них была общая – операционная палата и оборудование.
Meta* запретили через несколько дней после начала разработки. Это означало и полный запрет их шлемов. Заказчик опасался того, что госпиталь получит запрет на их закупку и не сможет в дальнейшем реализовывать разработанное приложение.
В свою очередь после компоновки визуального окружения и скриптов (программисты до этого делали на примитивах), мы поняли, что нужно больше времени на оптимизацию под Oculus Quest 2. Приложение выглядело реалистично, но были просадки до 10 fps, дело доходило даже до вылетов. Проблема была не только в моделях, но и в самом функционале. Симуляция ткани и проводов съедает большую часть производительности. А процесс работы в приложении тесно связан с тканью и проводами.
С связи со сложившимися обстоятельствами мы в быстром темпе поменяли фреймворк. Под Oculus использовался универсальный OpenXR, под проводные шлема SteamVR.
В дальнейшем наша команда отказалась от SteamVR, так как он морально устарел. Сейчас разработка под все VR-шлема ведется исключительно на OpenXR.
Внутреннее стремление команды
Неопытному пользователю весьма трудно ориентироваться в виртуальной реальности. В прядущих проектах мы не вникали в искусство UX-дизайна, использовали текстовые подсказки и обводку, но не более.
Суть виртуальной реальности заключается в максимальном погружении пользователя в моделированную реальность и минимизации интерфейса.
Команда разработки решила исправить этот недочет и тщательно переосмыслить UX в виртуальной реальности.
Начнем со времени. Мы решили поместить отведенное время на наручные часы, как и текущую задачу пользователя. Получилось удобно и компактно.
Также стояла проблема визуализации необходимых действий. Текстом непонятно, а видео выклинивает пользователя из виртуальной реальности. Мы решили добавить проекцию действий игрока, как в казуальных играх. Получилось понятно и не выбивается из общей задумки.
Продвинулись мы и по визуальной части. Времени дали предостаточно, и наша команда поменяла подход к делу. Составили подробные критерии и пайплайн оценивания. Наглядная разница между двумя нашими проектами – «Эндоскопия» и «Биотехнологии».
Фанатизм дошел до того, что мы взяли радио из операционной и внедрили его в приложение. Мелочь, а приятно, заказчик это оценил.
Естественно, мы не забывали про приоритеты, слаженная работа и грамотный тайм-менеджент дали свои плоды.
В завершении
В каждом проекте мы стремились показать лучшее качество. Некоторые из них, откровенно говоря, получались не очень, но нам не стыдно показать их. Это наш опыт.
То, какой вышла «Эндосокпия», гораздо лучше, чем было 6 месяцев назад, когда мы работали над «Биотехом». Через еще 6 месяцев проекты будут еще лучше, и это лишь вопрос времени. По итогу заказчику понравился проект, мы внесли последние правки и сдали его.
Мы всегда стремились, стремимся и будем стримится создавать лучше, чем было «6 месяцев назад».
Виртуальная реальность, может изменить представления о будущем. Мы может изменить представление о виртуальной реальности.
В течении всего периода разработки заказчик давал фидбек, так что проблем с корректностью VR-симулятора не было. Показывали и рассказывали про процесс проведения операции уже мы, поскольку за время разработки мы стали частью этого симулятора и понимали его от и до.
P.S. Проект на этом не закончился. На данный момент активно занимаемся портом на Oculus Quest 2.
* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».