April 25, 2023

Тест-драйв Кино/VFX

Получившиеся видео

https://youtu.be/KEnPiKgbqL8

Этапы создания:

1. Продумывание идеи, концепт

Исходя из одежды актриссы в исходном материале, мне в голову пришла идея сделать что-то вроде старой фотографии улицы Нью-Йорка 1920-х.

2. Кеинг, удаление фона, ротобраш

Дальше была работа с непосредственно исходным видео, на котором я удалил зелёный фон и вырезал задний фон. Для вырезания частей, который не были на зелёном фоне я использовал ротобраш, в местах где он не справился я дошлифовыл всё масками.

3. Трекинг

Дальше нужно было дать программе понять как движеться камера относительно других объектов, для чего я удалил движущиеся элементы масками, сделал изображение болле контрастным, чтобы программе было легче просчитать точки и уже потом сделал трекинг.

4. Генерация фона, работа со Stable Diffusion

Для создания фона я использовал ИИ. Загрузил фон из видео, вписал промт и начал перебирать настройки и различные варианты, прописывая всё более рабочий промт, пока не получил результат, который мне понравился. После этого картинка была порезана на части и отправлена в тот же ИИ для улучшения качества. Для меня это был самый сложный этап, потому что добиться нужного результата было крайне сложно из-за того что фон состоял из домов, которые по итогу надо было сростить вместе и разбить на слои

5. Композитинг

Этап который также забрал значительную часть времени. Картинка была разбита на слои, которые я дальше разместил в афтер еффектс по глубине (т.к. работа была в 2.5D), после чего началась муторная подстройка домов друг к другу, но к счастью всё срослось, пусть и не без казусов, костылей и новых версий генерации. После этого я сделал небольшой цветокор и добавил мелкие детали.

Было супер интересно потыкать афтер и попробовать сделать из набора 2д изображений эффект 3д пространства.

Также было очень занимательно генерировать картнки в SD, настраивать генерацию и писать промты. Отличный пример практического использования нейронок в работе и творчестве.

Огромное спасибо команде Мастерской: Саше Калашнику, Вове Журуку, создателю Антону Исаеву и конечно-же комьюнити Мастерской!