LED-экраны и виртуальный продакшн: как технологии меняют кино и рекламу
Мы побеседовали со студией XOVP о LED-экарнах, их роли в современном продакшене и о том, как технологии Virtual Production переворачивают индустрию, разобрали кейс Яндекс ПРО. Узнали, как светодиодные панели заменяют хромакей, почему Unreal Engine становится стандартом в кино и рекламе, и как искусственный интеллект уже сегодня помогает создавать реалистичные сцены в реальном времени. Если вы думаете, что будущее кинопроизводства — это только зеленые экраны и долгий постпродакшн, то этот материал заставит вас взглянуть на процесс создания контента по-новому.
Основы LED-экранов и их роль в продакшене
Андрей Штанев – технологический директор XOVP
• Принцип работы LED-панелей: пиксельная структура и плотность (PP)
Каждый пиксель LED-панели состоит из трех базовых светодиодов: красного (Red), зелёного (Green) и синего (Blue), объединённых в структуру RGB. Современные технологии дополняют пиксели дополнительным белым диодом (W), что улучшает яркость и цветовой баланс изображения.
Плотность пикселей измеряется количеством пикселей, размещённых на определённой площади, например, на квадратном метре. У нас используют термин «Пиксель Питч» (Pixel Pitch), который описывает расстояние между центрами двух соседних пикселей.
Например, если шаг пикселя составляет 2,6 мм, то: в одном метре (1000 мм) укладывается 1000/2,6≈384 пикселя на метр.
Чем меньше шаг пикселя, тем выше плотность пикселей и, соответственно, более высокая детализация изображения.
• Разновидности LED-дисплеев: SMD и COB, их особенности и специфика
Большинство LED-экранов выполнены по технологии SMD (Surface-Mounted Device), или поверхностного монтажа. Это означает, что светодиоды монтируются непосредственно на панель экрана.
COB (Chip On Board) — более современная технология, при которой несколько светодиодов объединяются в один модуль и устанавливаются на общую подложку. Затем эта подложка монтируется на панель LED-экрана. Однако такие экраны сложнее ремонтировать, поскольку замена одного пикселя требует работы с цельным модулем.
• Отличие от хромакея: преимущества в реалистичности, освещении и интерактивности
Основное отличие от хромакея заключается в том, что светодиодный экран сам является источником света. Например, если на экране отображается закат на море, то экран осветит героя именно этими цветами – будь то свет сзади, сбоку или сверху, в зависимости от расположения экрана. Благодаря этому камера сразу фиксирует изображение с объектом съемки в правильных тонах.
При работе с хромакеем нам еще пришлось бы освещать актера так, чтобы это соответствовало изображению, которое мы затем хотим поместить на фоне. Если мы используем экран часть этой задачи он берет на себя.
С использованием светодиодного экрана постпродакшн значительно упрощается (за исключением, возможно, цветокоррекции) дополнительные работы могут быть исключены. Это существенно ускоряет процесс создания финального результата.
Константин Королев – арт-директор XOVP
Ключевое преимущество светодиодных экранов – это возможность работы в реальном времени. Вся творческая группа видит использование компьютерной графики «здесь и сейчас», непосредственно в кадре, причём уже с нюансами композитинга. Кадр компонуется прямо в плейбэке: фон интегрируется с героем в режиме реального времени.
Ну и, соответственно, если мы говорим про стеклянные, зеркальные, глянцевые поверхности, то, конечно же, LED экран отрабатывает в разы эффективнее, а именно, не только улучшает визуальный результат, но и существенно экономит время, ресурсы и бюджет.
Виртуальные съемочные площадки на LED-экранах
• Как создается цифровая сцена?
Константин Королев – арт-директор XOVP
Помимо базовых инструментов самого движка Unreal Engine, в котором создаётся контент, студия XOVP активно занимается разработкой и использованием собственных 3D-ассетов. Для каждого проекта мы подбираем и создаём уникальный контент, точечно подстраиваясь под конкретные задачи.
Мы сотрудничаем с маркетплейсами 3D-ассетов и привлекаем собственных художников для разработки материалов. Работа основывается на референсах от художника-постановщика или других материалов, предоставленных заказчиком. Такой подход позволяет добиться максимально точного соответствия визуальных решений под задачи проекта.
Какие физические элементы важны?
Я думаю, что самый важный элемент — это общее понимание всей композиции, даже когда мы её ещё не видим. Финальное представление композиции становится ясным только на этапе прелайта, а всё, что будет до этого момента, представляет собой превиз.
Важно обращать внимание на множество элементов: декорации, свет, движение камеры. Например, физические декорации играют ключевую роль, потому что LED-экран — это всего лишь второй или третий план. LED-экран сам по себе не заменяет полноценную декорацию. Это важно понимать и учитывать при создании сцены.
Что касается освещения – оно должно быть максимально согласовано с физическим светом на площадке. От того, как свет будет правильно установлен и совместим с реальной площадкой, напрямую зависит реалистичность итоговой картинки. Это действительно важный аспект, который требует много внимания и точности.
Почему LED-экраны позволяют сократить пост-продакшен?
Видео, снятое на фоне LED-экранов в рамках виртуального продакшна по технологии In-Camera VFX, позволяет получить практически готовый результат прямо на съёмочной площадке. Практически сразу после съёмки материал оказывается готовым к работе и требует лишь минимальных доработок, таких как незначительная цветокоррекция.
Это очень важно, так как весь процесс пост-продакшна значительно упрощается и ускоряется. Кроме того, при необходимости можно легко доработать отснятое с LED-экранами, выполняя, например, композитинг дополнительных элементов поверх изображения с LED-экранов, чтобы достичь желаемого финального результата.
Фактически, мы получаем финальный вид сцены уже на площадке. Таким образом, большая часть работы, которая традиционно выполнялась на этапе пост-продакшна, переносится на препродакшн и на сам этап съёмок. Это позволяет существенно сократить общий производственный цикл и сделать процесс более эффективным
Простая интеграция с камерами и трекинг-системами.
Техническая подготовка сцены в Unreal Engine
Андрей Штанев – технологический директор XOVP
Unreal Engine сам по себе представляет собой среду разработки. Это не готовая программа, а платформа с открытым исходным кодом, которая позволяет вносить изменения и добавлять нужный функционал при необходимости. Например, если возникает задача интеграции с какой-либо системой или устройством, с которым нужно иметь связь, это можно достаточно быстро и легко реализовать на базе Unreal Engine.
Кроме того, Unreal Engine изначально поддерживает множество популярных и широко распространенных протоколов и интерфейсов. В дополнение к встроенным инструментам для работы с различными периферийными видеоустройствами движок позволяет создавать собственные модули или плагины. Это дает возможность использовать оборудование или устройства, которые изначально не поддерживаются, расширяя функционал под конкретные задачи.
Как камеры взаимодействуют с LED-экраном?
• Особенности работы с разными фокусными расстояниями.
Если сфокусировать камеру на экране, может возникнуть эффект муара, который визуально проявляется в виде цветных полос. Эти полосы могут быть как прямыми, так и дугообразными. Эффект возникает из-за наложения матрицы камеры на сетку (матрицу) экрана.
Чтобы избежать этого эффекта, не следует фокусировать камеру непосредственно на экране. В таких случаях мы применяем правило: объект съёмки должен находиться на расстоянии не менее трёх метров от экрана. Это позволяет избежать попадания экрана в фокус камеры.
Если мы выводим статическое изображение на экран, и камера начинает двигаться, человеческий глаз сразу распознает, что это статичное изображение, а не реальный мир. Причина в отсутствии эффекта параллакса.
Что такое параллакс?
Это явление, при котором объекты на разных расстояниях относительно друг друга перемещаются при изменении точки обзора. Иными словами, когда камера движется, объекты на переднем плане и на заднем плане меняют своё взаимное расположение в зависимости от точки зрения камеры.
Однако для статичного изображения этот эффект отсутствует, поэтому воспринимается, что это не реальная сцена, а просто картинка.
При съемке в Virtual Production – высококачественная 3D сцена выводится на диодный экран, благодаря системе отслеживания камеры, перспектива на 3D фоне подстраивается в режиме реального времени в зависимости от положения камеры, что максимально обеспечивает эффект присутствия актеров в локации и создает эффект параллакса.
Использование AR-элементов для расширения сцены.
Андрей Штанев – технологический директор XOVP
Расширение сцены – в нашей терминологии мы называем "extension set". В контексте AR, это относится к передним планам сцены. Если же мы говорим о расширении пространства — например, увеличении ширины или высоты сцены (создании иллюзии расширенного пространства за пределы физической сцены), это также называется "extension set".
Важно понимать, что AR-элементы — это всегда элементы, находящиеся на переднем плане. Например, представим, что у нас есть экран, на фоне которого мы снимаем человека. Если мы хотим добавить какие-то AR-объекты, например элементы декорации, они всегда будут расположены перед нашим объектом съемки.
Однако есть нюанс: хотя наш человек или объект съемки теоретически может оказаться перед AR-объектами, для этого потребуются дополнительные шаги. Необходимо трекинговать человека и в идеале создавать маску по его силуэту, чтобы отделить его от заднего плана и AR-элементов. Этот процесс технически сложен и пока дает не слишком качественные визуальные результаты, которые сложно применить в реальных условиях. На практике такие решения крайне редко используются. Лично я не встречал их в коммерческой эксплуатации. Все коммерческие примеры использования AR, с которыми я сталкивался, предполагают наличие AR-объектов строго по переднему плану.
По сути, AR и XR-решения больше востребованы для концертных мероприятий и ситуаций, где крайне важна реал-тайм-графика, например, во время прямых эфиров. Если же речь идет о рекламе или о любом продукте, который потом пройдет стадию пост-продакшна, то использование AR или XR в реальном времени пока не может дать такого уровня качества, как традиционная графика на этапе пост-продакшна. Поэтому большинство таких проектов проще и эффективнее выполнить уже в пост-продакшн-этапе, где качество изображения, детализация и интеграция будут куда более проработанными.
Кейс: новогодняя кампания Яндекса PRO.
Ростислав Мусаев – исполнительный директор XOVP
Если бы мы использовали обычные футажи или традиционные методы, всё выглядело бы точно так же, как в большинстве других проектов. Однако использование Unreal Engine дало нам новые возможности, свежий взгляд на процесс и открыло дополнительные опции работы.
На проекте для Яндекс ПРО. Для одной из сцен была задача, связанная с весьма сложным движением камеры. В кадре присутствовало много динамики и движений. Чтобы добиться эффекта параллакса и правильно передать все необходимые отражения, перспективу и взаимодействие объектов в сцене, мы использовали игровой движок — Unreal Engine.
Константин Королев – арт-директор XOVP
Мы работали очень тесно с оператором. Нам нужно было иметь инструменты для гибкой манипуляции над контентом в реальном времени, в частности, по освещению и деталям сцены. Именно этим мы занимались на этапе прелайта.
На этапе подготовки мы корректировали освещение, дорабатывали тональную перспективу и прорабатывали мелкие детали, создающие динамическую глубину сцены. Например, мы настраивали яркость и композицию окон зданий, чтобы все элементы выглядели органично и соответствовали замыслу режиссера.
Ростислав Мусаев – исполнительный директор XOVP
Одним из самых сложных моментов был переход в ролике Ладо Кватании, когда начинается дождь, сверкает молния и сменяются сцены. Этот переход был очень необычным и технически сложным для реализации.
Гибкость движка Unreal Engine позволила нам редактировать любые параметры сцены: движение объектов, скорость эффектов, интенсивность молний и многое другое прямо во время работы. Это дало нам возможность адаптировать материал под требования режиссера, оператора и клиента непосредственно на съемочной площадке.
Если бы мы использовали традиционные футажи или постобработку, подобных возможностей у нас бы не было. С Unreal Engine мы смогли добиться необходимой вариативности и идеального совпадения всех элементов сцены с задумкой.
Оптимизация ассетов: LODы, текстуры, полигональность
Константин Королев – арт-директор XOVP
В целом по проекту: Количество полигонов достигает до 2.500.000 – суммарно распределены на всю сцену, но поликаунт и режимы LOD не являются базовыми параметрами оптимизации сцены, важны и другие аспекты оптимизации: время тика, разрешение текстур использования нанитов и новой системы освещения.
Для сцены со снежинкой из истории Леши Смирнова мы взяли за основу фотографии реального двора. На этапе совместной работы на площадке CG супервайзер вместе с оператором добавлял в сцену аптеку, светофоры, а также рекламные вывески, которые должны были мигать. Всё это аккуратно расставлялось вручную, с тщательной проработкой света.
Ростислав Мусаев – исполнительный директор XOVP
Команде очень понравился этот двор, но снимать там в реальных условиях было невозможно — перекрыть двор на всю ночь оказалось слишком сложно. Мы отправились на место, сделали фотографии, и на их основе воссоздали этот двор в цифровом виде, чтобы можно было комфортно и контролируемо работать с ним на LED-экране.
Будущее LED экранов и Unreal Engine
• Улучшение LED-дисплеев (MicroLED, гибкие экраны)
Андрей Штанев – технологический директор XOVP
У нас, во-первых, постепенно уменьшается пиксель-питч, и это становится все доступнее по цене. Постепенно появляются гибкие экраны, которые позволяют создавать и строить экраны разных форм.
Однако важно понимать, что при уменьшении пиксель-питча (например, до 1.5 или 1.9 мм) сами диоды становятся меньше, их яркость заметно снижается, а общая яркость экрана на квадратный метр падает. Мы неоднократно сталкивались с тем, что для решения некоторых творческих задач при небольшом пиксель-питче яркости экрана может просто не хватать.
Кроме того, уменьшение пиксель-питча, то есть увеличение количества пикселей на той же площади, приводит к росту разрешения экрана. Это, в свою очередь, требует больше вычислительных мощностей для вывода изображения, что удорожает весь сетап.
Таким образом, несмотря на очевидный технический прогресс — экраны действительно становятся лучше, пиксель-питч уменьшается, появляется гибкость экранов, — за этим следуют и некоторые негативные последствия.
– Экран с пиксель-питчем 1.5 мм будет значительно дороже, чем экран с пиксель-питчем 2.6 мм.
– При этом он будет менее ярким, что уже может стать проблемой для решения отдельных задач.
– С увеличением разрешения возрастает потребность в вычислительных ресурсах, а это значит дополнительные затраты.
LED-экраны продолжают развиваться и совершенствоваться, но эти улучшения не всегда выгодны с точки зрения производительности и затрат.
Возможности облачного рендеринга для снижения стоимости оборудования.
Я считаю, что очень малая вероятность, что такое сможет стать реальностью в ближайшем будущем – есть несколько проблем с этим подходом.
Во-первых, все облачные сервисы и потоковые видео, которые мы используем сейчас, на самом деле работают с очень низким качеством изображения. Вся картинка подвергается сжатию и компрессии. Даже если мы смотрим видео на YouTube в 4K, то возникает вопрос, сколько там действительно уникальных пикселей несут информацию, а сколько из них являются результатом работы алгоритмов компрессии, которые существенно меняют оригинальное изображение.
Когда мы говорим о светодиодных экранах, мы имеем дело с огромными разрешениями — например, 10K. Соответственно, я пока не представляю, как изображение такого высокого качества может передаваться облачно с соблюдением всех современных стандартов качества, например в HDR с 10-битным цветом, в реальном времени и без потерь.
Еще один важный нюанс — это задержка. Для рендеринга в облаке требуется отправлять туда данные о трекинге камеры, что уже занимает время. На облачном сервере происходит генерация картинки, которая затем должна быть передана на экран. В результате возрастает задержка между движением камеры и реакцией изображения на экране, что критично для работы систем виртуального продакшена.
На мой взгляд, в ближайшие пару лет добиться решений такого уровня будет крайне сложно.
🤓: «Вот наша студия сейчас могла бы все серверы унести куда-то там в соседнее здание и провести съемку?»
Если речь идет о каком-то небольшом экране с низким разрешением, например, Full HD, и в приемлемом качестве, то, наверное, такое было бы возможно. Но тут возникает сразу несколько важных вопросов.
Во-первых, это отправка данных трекинга туда — насколько быстро данные будут передаваться на удаленный сервер? И как быстро эта текстура будет возвращаться обратно? И самое главное — насколько гарантированно это изображение будет доходить до экрана вовремя?
Дело в том, что современные стриминговые платформы работают по принципу, где потеря одного-двух кадров практически не критична. Например, на YouTube, как и на других потоковых сервисах, контент идет с частотой 30–60 кадров в секунду. Если какой-то кадр не успел «долететь» – для зрителя это не представляет особой проблемы, потому что мы, скорее всего, даже не заметим его отсутствие.
Но в случае со съемкой на камеру ситуация совсем другая – здесь каждый кадр должен быть строго синхронизирован с движением камеры, потому что изображение на экране должно четко соответствовать положению камеры в данный момент времени. Если синхронизации не будет, это сразу станет заметно.
На мой взгляд, реализация такой системы в текущих условиях крайне сложна. Это, скорее всего, будет возможно только для небольшого экрана с низким разрешением, но никак не для более масштабных и сложных задач.
Интеграция AI для генерации сцен в реальном времени: ее будущее в виртуальном продакшене
Константин Королев – арт-директор XOVP
Мы уже активно используем ИИ технологии для генерации 3D-ассетов для дальних планов, и они демонстрируют отличные результаты. Трёхмерная сетка, в которой создаются эти ассеты, уже сейчас вполне применима к виртуальному продакшену.
Например, в одном из роликов для Яндекс Pro. мы использовали генерацию части сцен с помощью нейросетей – облака в форме сердец.
Для этого ролика мы полностью использовали три этапа генерации фона: облака, которые формируются, облака, которые превращаются в сердце и облака, которые разлетаются — три разные анимации. Эти облака были сгенерированы нейросетью, затем интегрированы в контент и выведены на экран в процессе работы с Virtual Production.
Сейчас мы очень внимательно следим за развитием ИИ-инструментов для генерации текстур, окружений и 3D-ассетов. Учитывая, насколько быстро развиваются технологии создания контента Video2Video и Text2Video, я думаю, что уже через полгода или год появятся более мощные и удобные инструменты для генерации объектов не только для дальних, но и для средних и ближних планов.
Таким образом, интеграция AI становится важным шагом в развитии виртуального продакшена, и его потенциал действительно огромен.
Почему знание Unreal Engine становится стандартом в индустрии?
Ростислав Мусаев – исполнительный директор XOVP
Unreal Engine — один из самых популярных игровых движков в мире на сегодняшний день. Благодаря политике компании Epic Games, движок продолжает набирать популярность и завоёвывать рынок, постепенно вытесняя конкурентов.
Знание базы Unreal Engine открывает огромные возможности для работы: с его помощью можно создавать практически всё, что необходимо, — от игр до визуализации, программирования и даже полноценного видео-контента. Этот движок давно вышел за рамки игровой индустрии: он активно используется для создания сложных медиастендов, обучающих программ, а также аниматиков, синематиков, фильмов и мультфильмов.
Один из главных плюсов Unreal Engine — низкий порог входа. Начать изучение движка может практически любой человек с минимальными знаниями и базовым интересом к разработке. В интернете доступно большое количество уроков и обучающих материалов. Достаточно желания, стремления к освоению нового, и даже простой компьютер подойдёт для начала изучения.
Кроме того, Unreal Engine выделяется своей доступностью. Ранее использование движка было платным, но теперь Epic Games сделали его бесплатным для всех. Платить нужно только в случае коммерческого использования продукта, созданного на базе Unreal (например, когда проект приносит прибыль). Это даёт возможность каждому обучаться и экспериментировать без лишних финансовых затрат.
В отличие от большинства других движков, таких как Unity, Epic Games выбрали максимально user-friendly стратегию — новичок или начинающий разработчик может спокойно развиваться на Unreal Engine, не сталкиваясь с барьерами в виде сложных лицензий или высоких требований к оборудованию.
Unreal Engine — это настоящий стандарт в индустрии, настоящее и будущее технологий, определяющих развитие игр, кино, и медиа.
Как Virtual Production изменит рынок?
Технология Virtual Production уже значительно изменила рынок за время своего существования. За последние 5–6 лет, начиная с проекта «Мандалорец» она доказала свою эффективность. Сегодня всё больше продакшенов отказываются от съёмок на натуре или с использованием хромакеев, переходя на виртуальные съёмочные площадки.
Virtual Production меняет рынок тем, что позволяет создавать актуальный и своевременный контент. Мы живём в эпоху переизбытка информации, и сегодня истории устаревают очень быстро. Традиционные съёмки и постпродакшен часто занимают слишком много времени, из-за чего контент становится неактуальным ещё до своего выхода. Виртуальный продакшн решает эту проблему, давая возможность выпускать проекты своевременно, без многолетнего ожидания.
Особенность Virtual Production в том, что оно позволяет дольше готовиться к проекту, но само создание и выпуск контента происходят значительно быстрее. Это, пожалуй, одна из самых важных перемен для индустрии, так в условиях высокой конкуренции все хотят получить результат уже сегодня, а не спустя 5 лет.
Таким образом, виртуальное производство формирует новое будущее индустрии, где скорость и актуальность играют решающую роль. LED-экраны и технологии виртуального производства — это не просто тренд, а новый стандарт в индустрии. Они позволяют создавать контент быстрее, дешевле и качественнее, сокращая время на постпродакшн и открывая новые творческие возможности. С развитием таких технологий, как Unreal Engine и AI, будущее кинопроизводства становится все более гибким и интерактивным. Virtual Production уже меняет рынок, и те, кто успевает адаптироваться к этим изменениям, получают значительное преимущество. Так что, если вы еще не пробовали снимать с использованием LED-экранов и виртуальных технологий — самое время начать. Ведь будущее кинопроизводства уже здесь, и оно создается сегодня.