Урок 4.8.
Модуль 4. Генерация контента
Урок 8. Нейросети для работы с видео.
Runway
ВАЖНО! Если с прошлого урока у вас не уложились и не усвоились некоторые вещи, то вернитесь на прошлый урок и пройдите его заново.
Чтобы работать с видео, необходимо уметь работать с изображением.
! Во время изучения урока не генерируйте видео, так как бесплатных генераций не много, вы попрактикуетесь делая домашнее задание. Сделав дз вы сможете потратить бесплатные генерации для тестовой работы с нейросетью.
Этот сервис включает в себя множество разных нейросетей, он работает без ВПН, на сайте без сторонних приложений, имеет свой полноценный видео-редактор.
Редактор платный, бесплатное использование возможно, но с ограничениями.
Вот как воспользоваться сервисом:
- Зарегистрируйтесь на сайте Runway или войдите через аккаунт Google или Apple.
- Нажмите Introducing Gen-2 либо найдите опцию Gen-2: Text-to-video во вкладке AI Magic Tools.
- Введите запрос на английском языке и дождитесь генерации.
- Remove Backround - Удаление фона;
- Переводить текст в изображение, включает в себя готовые стилистики и настройки;
- Преобразование изображения в изображение, загружаем свою картинку, пишем характеристики и получаем измененное изображение.
- Al Magic Tools - дорисовывает картинку, формируя промпт автоматически, если промпт писать самостоятельно, то результат будет точнее и лучше. (пример фото ниже)
5. Режим интерполяции - одно изображение плавно превращается в другое изображение (загружаем 4 одинаковых фото, с разными деталями, как наши фото сверху, девушки за столом) и генерируем задачу.
Нажимаем "Export", файл сохраняется в наш кабинет "Workspace", на главной странице выбираем папку "Assets", выбираем нужный нам файл, нажимаем на "...", затем "Download" и скачиваем видео уже на наш пк.
6. Expand Image- Бесконечное изображение - расширяем, дорисовываем наше изображение;
7. Erase and Replase - Стереть и заменить - загружаем изображение, стираем какие-то детали, пишем промпт, на что хотим их заменить и получаем готовую картинку.
Попросим нейросеть заменить Статую свободы на Эйфелеву башню.
8. Удаление ненужных объектов с видео.
9. Сверхмедленная съемка - дорисовывает недостотующие кадры, можно из 2-ух секундного видео, сделать 10-и секундное.
10. Чистый звук - чистит звук от лишнего шума в видео.
11. Add color - добавляет цвет бесцветным фото
12. Отслеживание движения - выбираем движущийся объект на видео для отслеживания, затем переходим в редактор видео и, например, добавляем надпись, которая будет двигаться за нашим отмеченным объектом.
13. Одна из самых крутых фишек - Gen-1: Video to video - преображает ваше видео в другой стиль, например, в мультяшный, в ней уже есть готовые стили, либо мы можем самостоятельно сформулировать промпт.
Как генерировать видео в Runway Gen-2.
Text/Image to Video
По простым запросам в Gen-2 очень сложно получить красивые ролики, которые встречаются в соцсетях.
Сейчас мы разберемся, как сделать все максимально грамотно.
2. Включите интерполяцию. Под полем, куда нужно вводить текстовый запрос, есть кнопка с настройками: там можно выставить сид, увеличить разрешения изображения и убрать вотермарку. Поставьте галочку возле интерполяции — эта настройка сгладит картинку.
3. Пишите запрос по формуле. В Gen-2 можно написать что угодно, но результаты не всегда будут хорошими.
Имена режиссеров и названия фильмов Gen-2 тоже не распознает, поэтому к желаемой стилистике придется стремиться вручную.
Запрос стоит формулировать так: стиль — жанр — кадр — объект — действие — окружение — освещение. Если нам нужно сгенерировать сцену из киберпанк-фильма, где едет машина, то запрос будет выглядеть так: Cinematic action, cyberpunk film, car driving, city, night lighting.
Вот какие параметры можно указать в запросе:
- Стиль: cinematic action (кино), animation (анимация), black and white (черно-белый фильм).
- Жанр: sci-fi film (научно-фантастическое кино), cyberpunk film (киберпанковый фильм), horror film (фильм ужасов), ad (реклама).
- Кадр: wide angle (широкий угол), medium shot (средний план), close up shot (крупный план), extreme close up shot (очень крупный план), long shot (общий план).
- Объект: a woman with red hair (женщина с красными волосами), a man in a blue suit (мужчина в синем костюме), a dog (собака), a mountain (гора), a boat (лодка).
- Действие: walking (идет), running (бежит), talking (говорит), swimming (плавает), jumping (прыгает).
- Окружение: beach (пляж), city (город), New York (Нью-Йорк), the moon (луна), volcano (вулкан).
- Освещение: sunset (рассвет), sunrise (закат), day (день), night (ночь), horror film lighting (освещение как в хорроре), sci-fi lighting (освещение как в научной фантастике).
4. Закрепите сид. Сид — стартовая точка, из которой нейросеть затем формирует изображение. По умолчанию стоит случайный параметр из десяти цифр. Если использовать один и тот же сид с разными запросами, будут получаться схожие по стилю результаты. А если использовать один сид с одинаковым запросом, будут генерироваться идентичные видео.
Сиды нужно использовать, чтобы сгенерировать несколько коротких роликов в общей стилистике, а потом объединить их в один. Для этого после первой генерации кликните на настройки и поставьте замочек возле номера сида. Не забывайте снимать замочек, когда генерируете ролики в другой тематике.
5. Генерируйте на основе картинки. Gen-2 сложно заставить генерировать детали или сложные действия, например, человека или крупный план лица. Чтобы обойти это ограничение, можно использовать изображение для референса. Для этого добавьте картинку справа от текстового поля. Не забудьте написать сам текстовый запрос: что вы хотите, чтобы делал персонаж с вашей картинки.
ВАЖНО! Gen-2 не принимает изображения, защищенные авторским правом, поэтому генерировать видео на основе кадров из фильмов или сериалов не получится. Но картинки со стоков или фотографии использовать можно.
6. Готовьтесь перезапускать генерацию. Часто будет получаться не то, что вы представляли.
Как многие нейорсети, Gen-2 не справляется с пальцами и глазами, отрывает конечности, не понимает сложные запросы, генерирует лишние объекты. Чтобы добиться хорошего результата, нужно запастись терпением.
7. Как сохранить видео. На готовое видео, наводим мышь и в верхнем правом углу появятся 3 иконки, нажимаем на "Download".
Video to Video
3. Справа мы видим меню настроек, там можно выбрать изображение, посмотреть и наложит готовые пресеты и написать промпт.
4. После того, как вы написали промпт по формуле, которую мы использовали в прошлом задании, нажимаем кнопку "Upgrade to generate", ждем пару минут и получаем готовое видео.
Домашнее задание:
Сгенерировать с помощью Runway 1 видео, на любую тематику, с помощью "Text/Image to Video", например "Красная машина, едет по городу на закате".
Сформулируйте промпт по формуле, сгенерируйте видео и отправьте его на проверку куратору.
Если вы обладатель пакета с персональной обратной связью, пожалуйста, предоставьте свое домашнее задание куратору, перейдя по ссылке в меню бота.