ITPRO

Магия оживления картинки или как отрисовываются приложения

2022-10-04T06:52:26.986Z

По техническому определению рендеринг

Рендеринг — это процесс получения 2D-изображения по заданным требованиям.

Как это работает?

Движок рендера выполняет огромное количество вычислений. На основе математических данных о сценах и моделях, которые есть в программе, происходит обработка и превращение в плоское изображение.

В процессе обработки модели обретают четкие цвета, линии и оттенки, реалистичные тени и отражения, основанные на физике и расположении других объектов в сцене. Так, внешний вид становится завершенным и цельным, когда каждый пиксель изображения становится доработанным.

Немного про оптимизацию. Что такое FXAA, DLSS, TAA?

Это виды сглаживания, которые используются чуть ли не в каждой игре. Сглаживание требуется для того, чтобы убрать резкий переход между двумя пикселями или же по научному антиалиасинг.

Кстати DLSS от NVIDIA и FSR от AMD тоже являются видами сглаживания, но методы у них другие.

Методы сглаживания можно разделить на 2 категории:

· Работают во время рендеринга

· Работают в уже построенном изображении

Для чего требуется мощный компьютер

От мощности вашего компьютера зависит качество и быстрота работы рендера. Количества ядер вашей видеокарты и быстроты памяти - немаловажный фактор. Он влияет насколько быстро и приятно будет подгружаться изображение.

Дело в том, что процесс рендера задействует ядра вашей видеокарты, и чем их больше – тем быстрее прогружаются текстуры и освещение. Именно поэтому у слабых компьютеров в одном приложении будет выдавать 30 кадров в секунду (FPS), а в мощном, при тех же настройках, 60 FPS.

К слову FPS расшифровывается как Frame Per Rate, то есть картинок в секунду. Ваша видеокарта может отрисовывать 60 картинок секунду, а в некоторых случаях даже больше.

Как использование этих прототипов очков XR убедило меня в играх со смешанной реальностью

2022-09-04T18:43:31.505Z

Я, мягко говоря, скептически отнесся к идее игр на очках XR. У меня в голове крутились вопросы о том, как я буду их использовать, почему я буду их использовать, и циничные ответы на оба.

Но все эти вопросы отошли на второй план, когда я получил возможность испытать это на себе. У меня было несколько дней, чтобы поэкспериментировать с прототипом очков Viture One XR – и какой бы диковинной ни казалась концепция, она действительно работает.

Это не будущее игр для всех. Над прототипом, который я попробовал, предстоит проделать большую работу, но, несмотря на все мои предположения, он может стать первым шагом в новой захватывающей категории игр.

Огромный экран в любом месте

Добавьте описание

Viture Ones дает вам эквивалент 120-дюймового экрана, и хотя у него нет характеристик одной из лучших гарнитур виртуальной реальности , в этом нет необходимости. По словам Viture, вы получаете плотность пикселей 55, полный сигнал 1080p со скоростью 60 кадров в секунду и пиковую яркость 1800 нит. Я не смог прикрепить измеритель яркости внутри рамок, чтобы проверить 1800 нит, но экран был достаточно ярким, чтобы бороться даже с прямым солнечным светом через окна моей гостиной.

Добавьте описание

Devil May Cry 5 — это то, что меня насторожило. Я играл в нее на своей Steam Deck, подключенной напрямую к очкам через кабель USB-C, и мне казалось, что играешь в игру на обычном дисплее с частотой 60 Гц. Я также посмотрел несколько видео на YouTube и немного на Netflix на своем диване, что позволило мне лечь или отдохнуть, при этом мои медиафайлы всегда были в центре моего поля зрения.

Добавьте описание

Наличие экрана в любом месте — огромный плюс. Я не могу вам сказать, сколько раз мне приходилось неловко опускать голову во время игры или просмотра фильма, когда я хочу отдохнуть и все еще видеть экран, и обычно это настолько неудобно, что я просто не делаю этого. Viture Ones решают эту проблему в отличие от любого устройства, которое вы можете купить прямо сейчас, с тактовой частотой всего 78 граммов, поэтому они никогда не кажутся тяжелыми.

Домашние впечатления отличные, но мне бы очень хотелось увидеть очки в действии на самолете. Солнцезащитные очки в самолете могут выглядеть глупо, но я не могу смотреть на свой телефон, чтобы посмотреть фильм, или на свою коллекцию Steam, чтобы поиграть в игру в самолете. Эти очки кажутся огромным выигрышем, если вы много путешествуете.

XR-очки может стать взглядом в будущее игр, по крайней мере, для таких энтузиастов, как я, которые не возражают привязывать сумасшедшие технологии к своим лицам. Это взгляд в будущее, но мы еще к этому не пришли.

Растущая боль

Любые ранние прототипы поставляются с длинным списком проблем, и Viture прислал список проблем, о которых он знает и над которыми работает. Я больше сосредоточен на препятствиях, возникающих при разработке уникального продукта, и надеюсь, что Viture решит эти проблемы до запуска второй версии.

Прежде всего, размер является проблемой. Мне дали три носоупора разного размера, но ни один из них не подходит к моему (правда, большому) носу. Комфорт здесь тоже не при чем. Если очки неправильно расположены на вашем лице, вы не сможете видеть весь экран. Я прекрасно понимаю, как неуклюже смотрятся очки на моем лице, но это был единственный способ, которым я мог их надеть и по-прежнему видеть экран.

Есть причина, по которой обычные очки имеют так много точек регулировки, и трудно иметь такую гибкость с тем, сколько технологий внутри Viture Ones. Эргономика определенно нуждается в большей настройке и большей гибкости для больших головок.

Сами по себе очки не обладают большой вычислительной мощностью. Если вы хотите получить доступ к операционной системе Android TV, вам необходимо подключить очки к шейному ремню. Ремешок очень удобный и легкий, а все элементы управления легко доступны. Через пару часов я знал, где что находится, не задумываясь.

Добавьте описание

Фактическая вычислительная мощность находится внутри шейного обода, и он активно охлаждается. Шейный ободок нагревается, и слышно, как внутри работает вентилятор, который пытается поддерживать прохладу при минимальной вентиляции. Это не неудобно, но с тусклыми встроенными динамиками создается впечатление, что шум вентилятора и динамики борются друг с другом.

Мне не удалось опробовать дополнительную мобильную док-станцию, которая является третьей частью Viture Ones. Эта док-станция предназначена исключительно для Nintendo Switch и подключается непосредственно к консоли. Вероятно, он работает так же хорошо, как Steam Deck, который великолепен, и Viture говорит, что он может даже повышать разрешение с 720p при 30 кадрах в секунду до 1080p. Компания заявляет 1080p при 60 кадрах в секунду, но здесь мы говорим о Nintendo Switch.

Гонка к финишу

Добавьте описание

Viture Ones — это первый шаг к тому, что может стать популярной категорией в течение следующих нескольких лет, особенно когда мы видим, что очки, такие как Lenovo Glasses T1 , начинают появляться.

Есть некоторые проблемы с удобством использования, которые нужно преодолеть, но Viture явно много сделал для того, чтобы выпустить свою первую версию прямо из ворот. Очки работают, и это почти все, о чем я могу просить прямо сейчас.

Перевод статьи Digitaltrends.

Чего ожидать от презентации Apple?

2022-08-25T14:31:23.108Z

До презентации Apple осталось всего несколько недель, и ожидается, что на ней будет представлен ряд новых устройств, а не только новый iPhone. Мы также нашли три (да, именно три) новые модели Apple Watch и даже пару обновленных наушников AirPods Pro.

Apple проведет небольшое личное мероприятие в своем кампусе Apple Park и будет транслировать шоу онлайн, аналогично тому, что было сделано с WWDC в июне. Вот что мы можем увидеть на мероприятии Apple, посвященном аппаратному обеспечению, которое запланировано на 7 сентября 2022 года в 20:00 по московскому времени.

IPhone 14 Pro и Pro Max получили несколько серьезных обновлений

Apple, конечно, представит новый iPhone 14 в сентябре, но стандартная модель, скорее всего, не станет звездой шоу. Ожидается, что iPhone 14 Pro и Pro Max будут нести большую часть новых и интересных функций.

Фото Вьерана Павича / The Verge

Ожидается, что в 14 Pro и Pro Max ожидаются три важные функции:

Постоянно включенный дисплей (функция, которую телефоны Android имели в течение многих лет)
48-мегапиксельная задняя камера с большим сенсором
Экран, который избавлен от выемки в пользу меньших вырезов для камеры.

Телефон также должен получить обновленный процессор A16 . Это впечатляющий список функций, которые Apple может использовать, чтобы оправдать слухи о повышении цен .

Однако не похоже, что в стандартной версии iPhone 14 будет много серьезных изменений. Ожидается, что самым большим обновлением непрофессиональной модели станет появление более крупного 6,7-дюймового дисплея. Предыдущие слухи от аналитика Минг-Чи Куо указывают на то, что iPhone 14 (Pro и Pro Max) также может иметь лучшую селфи-камеру, использующую автофокус . С точки зрения производительности базовый iPhone 14, скорее всего, будет использовать тот же процессор A15, что и в серии iPhone 13.

И если вы мелкий любитель телефонов, мне жаль говорить, что новый Mini, скорее всего, не появится в этом году.

Новые модели Apple Watch: Series 8, SE и «Pro»

Apple готовится к выпуску трех новых моделей Apple Watch:

Watch Series 8
Обновленный SE
Новая прочная модель «Pro», предназначенная для спортсменов, занимающихся экстремальными видами спорта

Начнем с Series 8. По словам репортера Bloomberg Марка Гурмана, часы следующего поколения будут оснащены новым чипом S8, но они не будут предлагать заметного повышения производительности по сравнению с чипами S7 и S6. Хотя Apple пока не планирует включать в себя способ контроля артериального давления, она может поставляться с датчиком температуры, который определит, есть ли у вас лихорадка.

Фото Вьерана Павича / The Verge

Между тем ожидается, что новые Apple Watch SE заменят бюджетные Watch Series 3. Скорее всего, он будет оснащен тем же чипом S8, что является обновлением по сравнению с чипом S5, который используется в модели SE 2020 года. Кроме этого, не похоже, что в магазине ожидаются какие-либо другие огромные изменения – ожидается, что он сохранит тот же размер дисплея, что и текущий SE.

Что касается слухов о прочных часах Apple Watch «Pro», Гурман считает, что они могут быть оснащены более крупным «почти 2-дюймовым дисплеем», который «более устойчив к ударам». Он также может иметь «прочный металлический» корпус вместо прорезиненного корпуса, на который намекали ранее. Но не ожидайте, что эти часы будут дешевыми – Гурман ожидает, что они будут стоить от 900 до 999 долларов.

Следующее поколение Airpods Pro

AirPods Pro не получали обновлений с момента их первого запуска в 2019 году. Теперь, спустя почти три года, мы, наконец, можем увидеть выпуск AirPods Pro 2.

Во-первых, ожидайте, что они будут выглядеть по-другому. Новые AirPods Pro могут напоминать Beats Fit Pro, возможно, с конструкцией наконечника в виде крылышка, которая опускает стержень. Они также могут сосредоточиться на отслеживании фитнеса благодаря возможностям модернизированных датчиков движения.

Куо также намекнул на возможность того, что AirPods Pro будут поддерживать звук без потерь , что позволит воспроизводить звук более высокого качества. Это также сделало бы AirPods Pro 2 первой моделью, использующей аудиокодек Apple Lossless Audio Codec (ALAC) — даже высококлассные AirPods Max не поддерживают его. Если AirPods Pro 2 в конечном итоге будет поддерживать аудиокодек Apple Lossless, будет интересно посмотреть, как Apple удастся обойти ограничения Bluetooth, который обычно требует сжатия качества звука.

Фото Криса Уэлча / The Verge

Чехол для зарядки AirPods Pro 2 также может получить обновление. Он может поставляться с небольшим динамиком, который издает звук, когда вы пытаетесь найти его через приложение «Локатор». Только сами AirPods издают звук прямо сейчас, и добавление возможности к чехлу может пригодиться, если он когда-либо будет отделен от ваших AirPods.

Мы можем узнать даты запуска IOS 16 И watchOS 9

Мы впервые услышали об iOS 16, когда Apple анонсировала ее в июне, и у нас есть довольно хорошее представление о том, чего ожидать, исходя из того, что мы видели в публичной бета-версии. Гурман говорит, что Apple завершила разработку на прошлой неделе, и компания, скорее всего, выпустит финальную версию iOS 16 примерно через неделю после презентации iPhone 14.

iOS 16 предлагает ряд новых функций, в том числе возможность редактировать и отменять сообщения, а также настраиваемый экран блокировки. Он также представляет измененные уведомления, которые появляются в нижней части экрана блокировки, и виджет экрана блокировки «Живые действия», который предоставляет обновления о событиях в реальном времени, таких как спортивные результаты или ход доставки еды. Ах да, и процент заряда батареи вернулся ... но не так, как вы могли бы ожидать (или вроде того).

Фото Виктории Сонг / The Verge

В дополнение к iOS 16 Apple также может выпустить watchOS 9 вместе со своими тремя новыми умными часами. Бета - версия watchOS 9 выходит уже пару месяцев, и она должна внести немало улучшений в Apple Watch. Это включает в себя новые показатели бега, напоминания о приеме лекарств, отслеживание стадий сна, пассивный мониторинг мерцательной аритмии и расширенную настройку циферблата.

И это всё?

Похоже, что это всё будет на этм мероприятии Apple, но, к счастью, нам не придется долго ждать еще одного выпуска новых продуктов Apple. Ожидается, что Apple вернется к своему старому допандемическому графику проведения мероприятия по iPhone в сентябре, а затем отдельного мероприятия в октябре, чтобы продемонстрировать свои новые iPad и Mac.

Именно тогда мы можем ожидать новый iPad Pro с M2, а также iPad начального уровня с чипом A14. По слухам, Apple также выпустит три новых компьютера Mac, включая Mac Mini, Mac Pro и MacBook Pro, все с чипом Apple M2. Примерно в это же время появятся iPadOS и macOS Ventura.

Мы все еще ждем появления гарнитуры смешанной реальности от Apple, о которой давно ходят слухи, и было бы слишком далеко ожидать, что компания продемонстрирует ее в этом году. Однако похоже, что Apple добилась некоторого прогресса. Сообщается, что его совет директоров протестировал устройство в начале этого года, но Куо предсказывает, что устройство не будет запущено до января 2023 года.

Перевод статьи The Verge

Эндоскопия в VR или как мы создали конкурентоспособный продукт

2022-08-17T15:54:45.286Z

Мы хотим создать одну из лучших VR компаний, которая сможет раскрыть всю суть виртуальной реальности и воплотить идеи и мечты людей. Об одной из таких идей мы сегодня расскажем.

С чего все началось

В марте 2022 года нам пришло коммерческое предложение на разработку VR-симулятора в медицине. У нас есть опыт в разработке обучающих VR-приложений, но в промышленной сфере, поэтому предложение нам приглянулось.

Наш проект - Термопластавтомат в VR

Нашим заказчиком оказался один из самых крупных медицинских учреждений России - главный военный госпиталь им. Бурденко.

Причин для разработки тренажера было несколько:

Нехватка свободного оборудования для обучения специалистов, так как в большинстве оно импортное.
Операционная не всегда доступна. Процесс подготовки к операции очень долгий. От согласования и дезинфекции помещения до проведения самой операции.
Никто не будет подпускать студента за оперирование настоящего пациента без должного контроля. Только спустя годы практики.

VR-симулятор позволяет обучать сотрудников проведению эндоскопии позвоночника, учитывая инфраструктуру операционной и ее оснащение. А в дальнейшем демонстрировать проект как способ эффективного обучения.

Переговоры и экскурсия к заказчику

Мы договорились о встрече с ведущим хирургом госпиталя, чтобы составить техническое задание и, конечно, познакомиться лицом к лицу.

Довольно сложно вникнуть в сферу деятельности заказчика за 6 часов переговоров. Мы вместе описали требования к продукту, примерные сроки выполнения и договорились посетить госпиталь.

Для нас было важно узнать подробности процесса проведения операции от хирургов и заодно заснять окружение в качестве референсов для 3D-моделей. Пообщались с персоналом, изучили инструменты и оборудование.

Благодаря всем сложившимся факторам, техническое задание получилось объемным и подробным.

Начало разработки

С выбором движка у нас не было трудностей. Разработка велась на Unity в URP. Производительность компьютеров далека до виртуальной реальности в HDRP.

А вот с выбором шлема возникли вопросы. Если нужна портативность, то беспроводной Oculus Quest 2. Если реалистичная графика, то проводной HTC VIVE или Valve Index. Заказчики решили выбрать Oculus Quest 2, так как он дешевле в стоимости. А так как беспроводные шлема работают на своих мобильных процессорах, сделать реалистичную графику довольно трудно, но возможно.

Oculus Quest 2

Для параллельной разработки мы разделили проект на несколько блоков. Всего их было 8. Каждый отличался только функционалом, визуальная составляющая на них была общая – операционная палата и оборудование.

Итоговая графика

Meta* запретили через несколько дней после начала разработки. Это означало и полный запрет их шлемов. Заказчик опасался того, что госпиталь получит запрет на их закупку и не сможет в дальнейшем реализовывать разработанное приложение.

В свою очередь после компоновки визуального окружения и скриптов (программисты до этого делали на примитивах), мы поняли, что нужно больше времени на оптимизацию под Oculus Quest 2. Приложение выглядело реалистично, но были просадки до 10 fps, дело доходило даже до вылетов. Проблема была не только в моделях, но и в самом функционале. Симуляция ткани и проводов съедает большую часть производительности. А процесс работы в приложении тесно связан с тканью и проводами.

Симуляция провода

С связи со сложившимися обстоятельствами мы в быстром темпе поменяли фреймворк. Под Oculus использовался универсальный OpenXR, под проводные шлема SteamVR.

В дальнейшем наша команда отказалась от SteamVR, так как он морально устарел. Сейчас разработка под все VR-шлема ведется исключительно на OpenXR.

Внутреннее стремление команды

Неопытному пользователю весьма трудно ориентироваться в виртуальной реальности. В прядущих проектах мы не вникали в искусство UX-дизайна, использовали текстовые подсказки и обводку, но не более.

Суть виртуальной реальности заключается в максимальном погружении пользователя в моделированную реальность и минимизации интерфейса.

Команда разработки решила исправить этот недочет и тщательно переосмыслить UX в виртуальной реальности.

Начнем со времени. Мы решили поместить отведенное время на наручные часы, как и текущую задачу пользователя. Получилось удобно и компактно.

Также стояла проблема визуализации необходимых действий. Текстом непонятно, а видео выклинивает пользователя из виртуальной реальности. Мы решили добавить проекцию действий игрока, как в казуальных играх. Получилось понятно и не выбивается из общей задумки.

Проекция рук

Продвинулись мы и по визуальной части. Времени дали предостаточно, и наша команда поменяла подход к делу. Составили подробные критерии и пайплайн оценивания. Наглядная разница между двумя нашими проектами – «Эндоскопия» и «Биотехнологии».

Фанатизм дошел до того, что мы взяли радио из операционной и внедрили его в приложение. Мелочь, а приятно, заказчик это оценил.

Естественно, мы не забывали про приоритеты, слаженная работа и грамотный тайм-менеджент дали свои плоды.

В завершении

В каждом проекте мы стремились показать лучшее качество. Некоторые из них, откровенно говоря, получались не очень, но нам не стыдно показать их. Это наш опыт.

То, какой вышла «Эндосокпия», гораздо лучше, чем было 6 месяцев назад, когда мы работали над «Биотехом». Через еще 6 месяцев проекты будут еще лучше, и это лишь вопрос времени. По итогу заказчику понравился проект, мы внесли последние правки и сдали его.
Мы всегда стремились, стремимся и будем стримится создавать лучше, чем было «6 месяцев назад».
Виртуальная реальность, может изменить представления о будущем. Мы может изменить представление о виртуальной реальности.

В течении всего периода разработки заказчик давал фидбек, так что проблем с корректностью VR-симулятора не было. Показывали и рассказывали про процесс проведения операции уже мы, поскольку за время разработки мы стали частью этого симулятора и понимали его от и до.

P.S. Проект на этом не закончился. На данный момент активно занимаемся портом на Oculus Quest 2.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Как дизайнеры делают VR проще

2022-07-25T08:46:04.907Z

У каждой технологии есть свой период принятия. Раньше мобильный телефон был роскошью и выглядел как кирпич. Сейчас же мы не можем, представить нашу жизнь без смартфонов.

Что есть UX

С того времени технологии стали доступнее, а сам процесс использования удобнее.

Именно за то, как быстро пользователь быстро освоится в технологии или в продукте, отвечают UX-дизайнеры. Дословно UX расшифровывается как User Experience, опыт пользователя. Главная цель UX-дизайна:

Решить потребность пользователя комфортно и за минимальное количество шагов

Адаптируемся к виртуальной реальности

Перейдем к виртуальной реальности. Самая главная проблема VR – это привыкание к новой реальности. У кого-то это получается быстро, всё зависит от опыта использования подобных технологий. Рассмотрим несколько аспектов.

1. Скевоморфизм как способ формирования UX

Это добавление в интерфейс знакомых нам элементов. Возьмем электрогитару, её часто делают форме акустической. Хотя звуку не нужно гулять по её изгибам.

Внутри гитары нет пустоты, но в дань уважения классике оставили так

Зачем это нужно? Мы рабы своих привычек, нам проще адаптироваться к новому дизайну основанному на старом.

Так же и в VR взаимодействие с интерфейсом происходит при помощи стандартных кнопок. Отличие в том, что мы не кликаем на них, а нажимаем контроллером.

Руки нам заменяют контроллеры, а основные механики взаимодействия остались

2. Перемещение в пространстве

Вторая основная проблема в VR – это укачивание. Главное задача подобрать способ перемещения в зависимости от проекта. Самый распространенный метод является телепортация. Мгновенное перемещение в ту точку, куда пожелает пользователь или куда посчитает нужным разработчик.

Если же это какой-нибудь шутер, то и вовсе оставить игрока на одном месте, а объекты двигать в его сторону, как это сделано в Pistol Whip.

Кстати, игра довольно интересная и заставит вас попотеть

На примере наших приложений разберем основные методы взаимодействия. В приложении «Термопластавтомат» нужно показать пользователю, с какими объектами он может взаимодействовать. Это решается при помощи подсветки или обводки объекта, когда мы подносим руку к объекту.

В дальнейшем мы развили тему UX в проекте «Эндоскопия».

Подсказки чаще всего выполняются в виде стрелок, чтобы пользователь мог понять куда нужно подойти и с чем нужно взаимодействовать.

Если в приложении предусмотрен таймер, то его можно реализовать на наручных часах. Таким образом мы увеличиваем погружение в виртуальную реальность и минимизируем UI. Когда таймер не работает, часы отображают задачу, которую необходимо выполнить, что довольно удобно.

А чтобы показать, как это нужно сделать, наши разработчики реализовали визуализацию движений. Пользователю же их нужно повторить. Ниже оставим демонстрацию этих фич в проекте «Эндоскопия».

4. Устройства ввода

Расскажем про контроллеры. У каждого шлема они немного отличаются. Возьмем 2 модели шлемов - проводной HTC VIVE Pro и беспроводной Oculus Quest. Их контроллеры выглядят так:

Контроллеры HTC Vive

Контроллеры Oculus Quest

В итоге у нас остается 2 свободные кнопки – кнопка захвата и триггер. Обычно именно они отвечают за взаимодействие с контентом. Остальные чаще всего отвечают за телепорт или вызов меню.

Здесь и заключается главная проблема ввода – количество кнопок сильно ограничено. Это и понятно, чтобы пользователь не запутался в управлении, а контроллеры были эргономичными.

Когда мы берем какой-нибудь инструмент при помощи триггера, боковые кнопки будут отвечать за его функционал.

Однако контроллеры скоро останутся в прошлом. В шлем теперь встраивают специальные датчики для отслеживания. Vive PRO Eye позволяет управлять глазами, а Oculus Quest 2 руками, хоть и с некоторыми ошибками.

При таком темпе развития, кроме шлема, нам ничего не понадобится

Итог

В заключении статьи хочется донести, что рано или поздно технологии виртуальной реальности станут доступны всем. 5 лет назад VR комплект стоял неподъемных для среднего потребителя денег и мощного компьютера. Сейчас же автономную систему можно купить по цене игровой приставки. Технологии и дальше будут развиваться, а VR станет обыденным, благодаря грамотному и продуманному UX-дизайну.