МОДУЛЬ 4 Нейросети для создания анимаций и видеоконтента
Чтобы начать создавать видеоконтент, необходимо хорошо усвоить работу с нейросетями по созданию изображений.
Во время изучения этого модуля создавайте видео, делая домашнее задание. Только после выполнения ДЗ можете потратить бесплатные генерации для тестовой работы с нейросетью.
Вы уже знакомились с этим сервисом в предыдущем уроке, при разборе нейросетей для создания анимаций.
Сайт:https://app.runwayml.com/login
Вспомним еще раз как пользоваться этой нейронкой:
1. Регистрируемся на сайте Runway или используем свои аккаунты в Google или Apple.
2. Нажимаем кнопку с надписью «Introducing Gen-2» или ищем опцию Gen-2: Text-to-video во вкладке AI Magic Tools.
3. Создаем промт на английском языке (Google переводчик в помощь)
4. Вводим запрос и ждем результат.
Полезные функции в Runway, для создания видео:
1. Remove Backround - Удаление фона;
2. Преобразование изображения -загружаем свою картинку, описываем то, что необходимо на ней изменить и получаем измененное изображение.
3. Al Magic Tools - дорисовывает картинку, на основании автоматически сформированного промта. Промт можно написать и самостоятельно - результат будет без фантазий нейросети, точнее и лучше.
4. Expand Image- Бесконечное изображение - расширяет, дорисовывает изображение;
5. Erase and Replase - Стереть и заменить - загружаем изображение, стираем какие-то детали, пишем промпт, на что хотим их заменить и получаем готовую картинку.
6. Add color - добавляет цвет бесцветным фото
7. Video to video – преобразует стиль вашего видео в другой, Есть готовые стили, или можете создать свой стиль по промпту.
Как пользоваться Runway Gen-2:
В пробной версии можно получить лишь 125 кредитов для создание клипа Одна секунда генерации ролика стоит 14 кредитов. Еще существует ограничение на использование только 3 видеопроектов и 3 редакторов, а также урезаны возможности экспорта.
Редактор предлагает три режима работы:
1. Text — генерация по текстовому запросу.
2. Image — генерация по изображению. Загружаете картинку, которая используется как первый кадр видео, а анимацию полностью придумает нейросеть.
3. Image + description — сочетание двух предыдущих методов. Загружаете картинку, с которой начнется анимация, и прописываете движения.
Сейчас мы разберемся, как сделать все максимально грамотно
Переходим на сайт и нажимаем на кнопку «Sign Up – It’s Free»
Регистрируемся и попадаем в рабочее пространство платформы.
Переходим в раздел «Generate Videos» во вкладке «Videos»
Далее нажимаем на кнопку «Start Generating», чтобы открылось окно для создания видеороликов.
В открывшемся окне, вводим текстовый запрос (промт) или используем изображение для создания ролика. Мы рассмотрим пример текстового запроса., например «a cat walks throught a clearint» и нажимаем на кнопку «Extend 4s» в правом верхнем углу. Нейросеть начнет генерировать видеоролик.
В Gen-2 можно написать что угодно, но результат не всегда будет хорошим.Чем подробнее распишите действия, тем лучше будет результат Создаем промт по формуле.:
«стиль — жанр — кадр — объект — действие — окружение — освещение.»
Имена режиссеров и названия фильмов Gen-2 тоже не распознает, поэтому к желаемой стилистике придется стремиться вручную
Параметры, которые можно указать в запросе (на ваше усмотрение):
1. Стиль: cinematic action (кино), animation (анимация), black and white (черно-белый фильм).
2. Жанр: sci-fi film (научно-фантастическое кино), cyberpunk film (киберпанковый фильм), horror film (фильм ужасов), ad (реклама).
3. Кадр: wide angle (широкий угол), medium shot (средний план), close up shot (крупный план), extreme close up shot (очень крупный план), long shot (общий план).
4. Объект: a woman with red hair (женщина с красными волосами), a man in a blue suit (мужчина в синем костюме), a dog (собака), a mountain (гора), a boat (лодка).
5. Действие: walking (идет), running (бежит), talking (говорит), swimming (плавает), jumping (прыгает).
6. Окружение: beach (пляж), city (город), New York (Нью-Йорк), the moon (луна), volcano (вулкан).
7. Освещение: sunset (рассвет), sunrise (закат), day (день), night (ночь), horror film lighting (освещение как в хорроре), sci-fi lighting (освещение как в научной фантастике).
Закрепите Сид. ( Сид — это начальная точка, от которой нейросеть формирует изображение). По умолчанию стоит случайный параметр из десяти цифр.
Если использовать один и тот же Сид с разными запросами, будут получаться схожие по стилю результаты.
Сиды нужно использовать, чтобы сгенерировать несколько коротких роликов в общей стилистике, а потом объединить их в один.
Для этого после первой генерации кликните на настройки и поставьте замочек возле номера Сида. Не забывайте снимать замочек, когда генерируете ролики в другой тематике.
Генерация изображения на основе картинки.
Gen-2 сложно заставить генерировать детали или сложные действия, например, человека или крупный план лица.
Чтобы обойти это ограничение, можно использовать изображение для референса. Для этого добавьте картинку справа от текстового поля.
Не забудьте написать сам текстовый запрос: что вы хотите, чтобы делал персонаж с вашей картинки.
ВАЖНО! Gen-2 не принимает изображения, защищенные авторским правом, поэтому генерировать видео на основе кадров из фильмов или сериалов не получится. Но картинки со стоков или фотографии использовать можно.
Какие получаются результаты. Runway всегда генерирует сцены по четыре секунды. Другую продолжительность установить нельзя. На создание одного видео уходит около минуты.
Готовое видео нельзя редактировать, но можно увеличить продолжительность кнопкой «Extend 4s» — это добавит еще четыре секунды в ту же последовательность кадров. Одно видео можно расширять до тех пор, пока не закончатся кредиты.
Для сохранения готовых видео
Нажимаем "Export", файл сохраняется в наш кабинет "Workspace",
На главной странице выбираем папку "Assets", выбираем нужный нам файл, Нажимаем на "...", затем "Download" и скачиваем видео уже на свой компьютер
Сгенерировать с помощью Runway 1 видео, на любую тематику, с помощью "Text/Image to Video", например "Красная Шапочка, едет по утреннему лесу".
Сформулируйте промпт по формуле «стиль — жанр — кадр — объект — действие — окружение — освещение.»
Сгенерируйте видео и отправьте его на проверку куратору.