Цифровое бессмертие 1.2. Создание 3D аватара

Чтобы создать 3D аватара человека в настоящее время есть много различных вариантов. Рассмотрим несколько самых известных:

Iclone

Программа Iclone позволяет взять фотографию лица человека в анфас и приклеить его лицо к 3D персонажу. В версии Iclone 5 это поддерживалось из коробки, в новых версиях придется использовать плагин Headshot и программу Character Creator от Reallusion. Созданные в Iclone персонажи более походят на героев игр, или 3D фильмов чем на обычных людей. Прямо в Iclone можно создавать анимации движения персонажей, в том числе и с анимацией губ по звуковым файлам. Можно также с помощью плагинов помещать созданных персонажей в Unreal Engine.

Deepfake

Технологии Deepfake также известные как FaceWrap основаны на замене лица одного человека лицом другого человека с помощью нейросетей. Требуют достаточно большой вычислительной мощности и работают на основе нейросетей. Берутся два видео, программно разбиваются на кадры и лицо в одном видео заменяется на лицо в другом. Получается очень фотореалистично, но к сожалению пока не работает в реалтайме на слабых устройствах. Зато с помощью данной технологии можно создать фотореалистичные анимации для аватара, использовав похожего на него актера и поменяв ему лицо на требуемое.

Заранее записанные видео

Человек который хочет создать своего 3D Аватара может заранее записать много видеофайлов где он делает различные действия - говорит что-то, стоит, сидит, идёт, машет рукой и так далее. Если файлов будет достаточно много это можно использовать в различных сценариях поведения аватара просто заменяя фон на имеющихся видео. При создании видео желательно применять технологию хромакей (но, учитывая растущую мощь нейросетей для удаления фона с видео это необязательно).

Нейросети генерирующие одни видео по другим

Сейчас начинают появляться нейросети которые могут оживлять человека с видео, так что он может двигаться как угодно. Это наиболее перспективное направление создания анимаций для 3D аватаров, но пока оно слабо развито.