Цифровые аватары в прайм-тайм. Как создавалось музыкальное шоу Alter Ego

Alter Ego - музыкальное шоу на канале Fox, в котором на сцене вместо людей выступают их цифровые аватары. Российская адаптация этого шоу выйдет на телеканале Пятница.

Формат новый, и перед создателями проекта стоит сложная задача по созданию виртуальных аватаров в прямом эфире. Разобраться в том, как же это шоу сделали в Америке, мы пригласили эксперта в области виртуального производства - руководителя студии TDS Virtual Production (https://vds-pro.com) Константина Герасимова.

Alter Ego - проект, который во многом опередил свое время. Создать 10 поющих аватаров не проблема. Но вот снять 10 номеров с ними в прямом эфире, при этом уложиться в бюджет и организовать работу максимально просто - это казалось невозможной задачей.

За создание аватаров и захват движений отвечала компания Silver Spoon Animation. Они создали для шоу 20 цифровых персонажей, которые не только пели, но взаимодействовали с аудиторией и судьями. Для этого команда из 50 художников работала индивидуально с каждым участником над созданием персонажа, который точно отражал бы его уникальный сценический образ. У каждого аватара было 4 варианта гардероба и индивидуальные визуальные эффекты.

Во время выступления участники шоу находились за кулисами в mocap-костюмах. Датчики считывали их малейшие движения и передавали виртуальному двойнику. Цифровой аватар всегда точно отражал то, что делал артист. Когда участник плакал, аватар тоже плакал. Или краснел, запускал пальцы в волосы.

Каждый номер снимался в прямом эфире с помощью 14 камер, 8 из которых были оснащены технологией трекинга stYpe. Данные захвата движения, данные камер, а также данные аватара, включая цвет глаз, рост и спецэффекты отправлялись в центр Pixotope - программного обеспечения на базе Unreal Engine для создания виртуальной графики.

Во время съемок все выступления можно было увидеть через мониторы, что позволяло зрителям в студии взаимодействовать с аватарами и не чувствовать себя оторванным от истории из-за созданных компьютером изображений.

Ключевую роль в этом шоу сыграл DMX. Он давал художнику по свету, режиссеру и продюсеру невероятный контроль над персонажами. С помощью Pixotope и Unreal Engine они могли в режиме реального времени делать то, что обычно занимает много времени в постпродакшн - менять цвет волос, глаз и управлять эффектами по DMX. Никогда ранее DMX так не использовался в режиме реального времени. И именно этот протокол позволил работать в таком быстром графике. Благодаря тому, что управление виртуальным и реальным светом происходило с одной консоли, а цифровыми персонажами с другой, удалось снимать 10 уникальных выступлений в день.

С помощью системы Unreal Engine Live Link происходила потоковая передачи данных из более чем десяти экземпляров mocap в аватары. Практически без задержек система отображала анимацию, снятую с актеров, на аватарах в режиме реального времени. Live Link также использовался для лицевой анимации. С помощью специального мобильного приложения Live Link Face, установленного на iPhone, происходил захват движений лица и данные в режиме реального времени отражались в движке. Использование Live Link избавило от необходимости писать специальный плагин для пакетов данных Vicon, предоставив команде свободный способ анимации своих моделей.

К концу проекта было создано более 80 уникальных номеров и 12 часов контента и все это без необходимости постобработки. Ничего подобного в режиме реального времени и в таком масштабе ранее не делалось.

Шоу показало, что технология создания виртуальных аватаров готовы к прайм-тайму. Так что мешает следующему сезону или другому шоу стать еще масштабнее?