Лицевая анимация с помощью Metahuman animator.
Часть 1: подготовка к записи футажа (скринкаст с телефона)
- Скачать LiveLink через appstore (требования iPhone 12 и выше).
- Выбрать Metahuman animator (выбираем фпс - 30 или 60)
- Записывать футаж каждой анимации с калибровкой (голова прямо взгляд вперед, влево, вправо, показать зубы*. После этого записываем эмоции в одно видео или несколько футажей.
*Важно верхние и нижние зубы не должны соприкасаться.
Из требований: хороший свет, волосы не попадают на лицо, не закрывают уши; телефон стоит статично, не шатается.
4. Проверяем, что телефон и компьютер подсоединены к одной сети WiFi, убеждаемся, что подключение стабильное.
Часть 2: настройка проекта. (скринкаст экрана компа)
- Убедиться, что стоит в Unreal Metahuman plugin.
- Скачиваем необходимого Метахьюмана из бриджа.
- Настройки кеша:
5.Создаем папку FaceAnimation, подпапку Anim1
6.Создаем Сapture Source. Выбираем LiveLink connection и вводим IP адрес из LiveLink (скринкаст телефона), сохраняем.
7.Идем в Tools - > Capture Manager -> выбираем устройство -> Выбираем футаж -> Add to queue -> Import
8.Создаем в папке Anim1 MetaHuman identity.
9.Create Components -> From footage ->Выбираем футаж.
10.Создаем позы: анфас, лево право. Проверяем созданные трекеры, при необходимости поправляем.
11.После создания всех поз нажимаем Metahuman identity solve.
12.Выбираем необходимое тело метахьюмана и нажимаем
13.После создания добавляем позу Add Teeth и нажимаем Fit Teeth.
14.Последний шаг - нажимаем Prepare for Performance.*
Если выдает ошибку Failed to find gpu with Vulkan support решение обновить драйвер графического процессора и видеокарты до самых новых.
Часть 3: создание анимации, подготовка к экспорту, экспорт в основной проект.
- Создаем в папке Anim1 MetaHuman Performance.
- В настройках выбираем футаж, меш, движение головы отключаем,чтобы осталась только лицевая анимация.
3.Выбираем нужный промежуток и нажимаем Process. Ждем, когда анимация будет готова.
4.Экспортируем Level Sequence.
5.Открываем ее. Добавляем в секвенцию нашего метахьюмана, ставим фпс 25.
6.Нажимаем на созданного MetaHuman Identity и выбираем facemesh нужного метахьюмана.
7.Если в одном футаже записывали сразу несколько анимаций, то нужно забейкать, чтобы без проблем экспортировать в основной проект и разделять, двигать и синхронизовать анимации с анимацией тела.
8.После того как создалась анимация можем экспортировать ее и добавлять в основной проект
9.В основном проекте удаляем контрол риг лица. Добавляем анимацию и двигаем на нужно место. Если в секвенции несколько анимаций лица - обрезаем слева и справа.
Часть 4.Что делать, если анимация лица подходит, но хочется поправить какие-то моменты.
2.Запоминаем нужный промежуток анимации, нуждающейся в правках.
3.Экспортируем анимацию из Unreal.
5.Выделяем меш головы нужного метахьюмана.
6.Импортруем анимацию из анрила.
7.Меняем фпс на 25.
8.Выбираем нужный промежуток.
9.Выбираем контроллеры, которые отвечают за движение нуждающееся в исправлении.
10.Правим через граф эдитор все ключи нужных контроллеров. Для удобства запишите референс эмоции, чтобы проследить как в жизни двигаются те или иные мышцы лица или глаза, чтобы анимация выглядела натурально. Поищите подобные эмоции в фильмах или сериалах, чтобы понять как бы герой вел себя в той или иной ситуации.
11.Чтобы экспортировать снова выбираем меш головы. И нажимаем экспорт Facial fbx.
12.Для импорта обратно в анрил нам необходимо иметь control rig лица. Если мы его уже удалили для удобства манипуляций с анимациями лица - это не проблема. Чтобы не нарушить уже выставленные анимации лица в секвенции мы можем использовать тот пустой проект для создания анимаций лица из футажа. Так как там уже есть наш метахьюман без удаленный контрол ригов. Мы импортируем анимацию из майи в него, чтобы была возможность забейкать исправленный вариант и экспортировать его в удобном виде для дальнейшей работы выставления в нужное место.
