Модуль 4. Генерация контента

Урок 7. Нейросети для работы с видео.

Runway

ВАЖНО! Если с прошлого урока у вас не уложились и не усвоились некоторые вещи, то вернитесь на прошлый урок и пройдите его заново.

Чтобы работать с видео, необходимо уметь работать с изображением.

! Во время изучения урока не генерируйте видео, так как бесплатных генераций не много, вы попрактикуетесь делая домашнее задание. Сделав дз вы сможете потратить бесплатные генерации для тестовой работы с нейросетью.

Runway

https://app.runwayml.com/

Этот сервис включает в себя множество разных нейросетей, он работает без ВПН, на сайте без сторонних приложений, имеет свой полноценный видео-редактор.

Редактор платный, бесплатное использование возможно, но с ограничениями.

Вот как воспользоваться сервисом:

Зарегистрируйтесь на сайте Runway или войдите через аккаунт Google или Apple.

Нажмите Generative Session в боковом меню.

Выбираем TURBO модель, вставляем изображение интересующее нас (возможно сгенерированное нами также через сервисы по генерации изображений, изображение должно быть без недочетов) .

Далее указываем запрос который опишет все происходящее.

Структура запроса (формула)

Промпт должен содержать несколько ключевых элементов, которые помогут модели понять, какой эффект анимации вы хотите получить.

Формула промпта:

[Ключевой объект] + [Действие] + [Окружение] + [Стиль (опционально)] + [Настроение (опционально)]

📌 Разбор элементов промпта:

1. Ключевой объект – кто или что будет в центре внимания (например, "волны", "человек", "автомобиль").
2. Действие – как объект должен двигаться (например, "плавно движется", "развивается на ветру", "приближается").
3. Окружение – где происходит действие (например, "на закате", "в тумане", "под водой").
4. Стиль (опционально) – реалистичный, аниме, кинематографический, акварельный и т. д.
5. Настроение (опционально) – какая атмосфера должна быть передана (например, "спокойная", "захватывающая", "мистическая").

Основные правила составления промпта

✅ Будьте конкретны – избегайте слишком абстрактных описаний.
✅ Используйте динамичные глаголы – "волны накатываются", а не просто "волны".
✅ Добавьте контекст – опишите окружение, чтобы анимация выглядела естественной.
✅ Не перегружайте детали – слишком сложные промпты могут снизить качество результата.
✅ Указывайте желаемый стиль (если важно) – например, "кинематографический стиль" для реалистичного эффекта.

Примеры промптов для разных эффектов

1. Оживление изображения океана (спокойные волны)

Gentle ocean waves rolling onto a sandy shore, soft movement, cinematic lighting, realistic style.

💡 Что происходит?

• "Gentle ocean waves" – ключевой объект (волны).
• "Rolling onto a sandy shore" – действие (движение волн).
• "Soft movement" – плавная динамика.
• "Cinematic lighting, realistic style" – стиль (кинематографичный, реалистичный).

2. Динамичный океан во время шторма

Powerful ocean waves crashing against the shore, high winds, stormy weather, dramatic lighting, cinematic style.

💡 Что происходит?

• "Powerful ocean waves" – мощные волны (ключевой объект).
• "Crashing against the shore" – действие (разбиваются о берег).
• "High winds, stormy weather" – окружение (шторм).
• "Dramatic lighting, cinematic style" – стиль (драматический, кинематографический).

3. Камера движется вперед (эффект дрона)

Aerial drone shot moving forward over the ocean waves, realistic water physics, cinematic style.

💡 Что происходит?

• "Aerial drone shot" – вид съемки.
• "Moving forward over the ocean waves" – движение камеры вперед.
• "Realistic water physics" – реалистичное поведение воды.
• "Cinematic style" – стиль (кинематографический).

4. Эффект приближения (зум)

Slow zoom into the crashing ocean waves, dramatic tension, ultra-realistic details.

💡 Что происходит?

• "Slow zoom" – приближение камеры.
• "Crashing ocean waves" – действие (разбиваются волны).
• "Dramatic tension" – передается напряжение.
• "Ultra-realistic details" – детализированное изображение.

Теперь переходим к настройкам камеры:

В Runway (Gen-3) доступно несколько параметров камеры, которые помогают создать реалистичное движение. Давайте разберем, что они означают, как влияют на видео и когда их лучше применять.

Основные настройки камеры:

1. Horizontal (Горизонтальное движение)

Описание: Двигает камеру влево (-) или вправо (+) по горизонтали без изменения угла.
Применение:

• Для панорамных сцен – если нужно показать большую часть пейзажа.
• Для создания эффекта движения – например, если камера "едет" за движущимся объектом.

Пример:

• Horizontal = 0.3 → Камера плавно смещается вправо.
• Horizontal = -0.3 → Камера смещается влево.

🔹 Когда использовать?

• Для съемки пейзажей и панорамных сцен.
• Для анимации объектов, например, движения автомобиля.

2. Vertical (Вертикальное движение)

Описание: Поднимает камеру вверх (+) или опускает вниз (-) без изменения угла наклона.
Применение:

• Для дрон-съемки – можно симулировать взлет или спуск.
• Для плавных переходов – например, переход от земли к небу.

Пример:

• Vertical = 0.4 → Камера поднимается вверх (эффект дрона, взлетающего над пейзажем).
• Vertical = -0.4 → Камера опускается вниз (можно использовать, чтобы показать детали объекта сверху вниз).

🔹 Когда использовать?

• Для динамических кадров с высоты (например, над океаном).
• Для эффекта плавного раскрытия сцены (например, камера медленно опускается, открывая вид на пейзаж).

3. Zoom (Приближение/Отдаление)

Описание: Увеличивает (+) или уменьшает (-) масштаб сцены.
Применение:

• Для акцента на деталях – например, плавное приближение к лицу персонажа.
• Для создания драматического эффекта – например, когда камера "зумит" на важный объект.

Пример:

• Zoom = 0.5 → Медленное приближение (например, к водопаду).
• Zoom = -0.5 → Медленное отдаление (например, чтобы показать весь город с высоты).

🔹 Когда использовать?

• Когда нужно подчеркнуть важность объекта (например, акцент на выражении лица).
• Для создания кинематографического эффекта, когда сцена становится шире или уже.

4. Pan (Поворот камеры влево/вправо)

Описание: Вращает камеру влево (-) или вправо (+) вокруг вертикальной оси.
Применение:

• Для съемки панорамных сцен – например, чтобы показать город.
• Для сопровождения движущегося объекта – например, камера поворачивается вслед за машиной.

Пример:

• Pan = 0.3 → Камера медленно поворачивается вправо.
• Pan = -0.3 → Камера медленно поворачивается влево.

🔹 Когда использовать?

• Для кинематографических кадров с обзором ландшафта.
• Для динамических сцен, например, слежение за движущимся объектом.

5. Tilt (Наклон камеры вверх/вниз)

Описание: Наклоняет камеру вверх (+) или вниз (-).
Применение:

• Для изменения перспективы – например, взгляд на небо или землю.
• Для дрон-эффекта – наклон вниз создает ощущение высоты.

Пример:

• Tilt = 0.3 → Камера наклоняется вверх (например, чтобы показать небо).
• Tilt = -0.3 → Камера наклоняется вниз (например, чтобы показать волны на берегу).

🔹 Когда использовать?

• Для съемки с высоты (например, дрон снимает пейзаж под собой).
• Для акцента на деталях (например, съемка снизу вверх для эпичного эффекта).

6. Roll (Крен камеры)

Описание: Поворачивает камеру вокруг оси (вращение изображения).
Применение:

• Для стилистических эффектов – например, эффект "штормового моря".
• Для экшен-сцен – например, вращение камеры при падении.

Пример:

• Roll = 0.2 → Камера слегка поворачивается по часовой стрелке (динамика).
• Roll = -0.2 → Камера слегка поворачивается против часовой стрелки.

🔹 Когда использовать?

• В экшен-сценах, например, для эффекта тряски.
• В фантастических сценах, например, для сюрреалистического эффекта.

Когда и какие настройки использовать?

1. Дрон-съемка пейзажа (вид сверху)

• Vertical: -0.3 (камера спускается)
• Zoom: 0.2 (медленное приближение)
• Tilt: -0.2 (камера слегка наклонена вниз)

🔹 Эффект: Камера будто летит над океаном, плавно спускаясь.

2. Динамическая погоня (вид от первого лица)

• Horizontal: 0.5 (камера движется влево/вправо)
• Pan: 0.4 (камера поворачивается в сторону движения)
• Roll: 0.2 (добавляет эффект экшена)

🔹 Эффект: Камера имитирует вид от первого лица, создавая реалистичное движение.

3. Кинематографический эффект (эффект приближения)

• Zoom: 0.4 (медленное приближение)
• Pan: 0.2 (легкий поворот)
• Tilt: -0.1 (незначительный наклон вниз)

🔹 Эффект: Камера плавно приближается, создавая кинематографическое ощущение.

Если мы хотим зафиксировать генерацию и в дальнейшем с ней работать (изменять запрос и ожидать результат более предсказуемым), чтобы не было сильных изменений, то делаем фиксированный сид. Здесь так же выбирает ориентацию видео.

И теперь запускаем.

Runway — это инновационная платформа, предоставляющая широкий спектр инструментов на основе искусственного интеллекта для создания и редактирования мультимедийного контента. Основные возможности и сервисы Runway включают:

1. Генерация видео и изображений:
• Gen-1: Инструмент для преобразования существующих видео в новый стиль, применяя композицию и стиль изображения или текстового запроса к структуре исходного видео.
• Gen-2: Мультимодальная система ИИ, способная создавать новые видео на основе текстовых описаний, изображений или видеоклипов.
• Gen-3 Alpha: Последняя версия модели, обеспечивающая улучшенную четкость, согласованность и движение по сравнению с предыдущими версиями.
2. Редактирование видео:
• Удаление фона (Remove Background): Позволяет автоматически удалять фон из видео без необходимости использования хромакея.
• Удаление объектов: Инструмент для удаления нежелательных объектов из видео с последующим заполнением фона.
• Сверхмедленная съемка: Создает эффект замедленного движения, добавляя недостающие кадры для плавности.
• Отслеживание движения: Позволяет отслеживать движущиеся объекты в видео и добавлять к ним элементы, такие как текст или графика, которые будут следовать за объектом.
3. Редактирование изображений:
• Преобразование текста в изображение: Генерация изображений на основе текстовых описаний с использованием различных стилей и настроек.
• Преобразование изображения в изображение: Изменение загруженных изображений на основе заданных характеристик.
• Расширение изображения (Expand Image): Расширение границ изображения с автоматическим дорисовыванием деталей.
• Стирание и замена (Erase and Replace): Удаление определенных деталей на изображении и замена их на основе текстового запроса.
4. Аудиообработка:
• Чистый звук: Удаление лишнего шума из аудиодорожки видео для улучшения качества звука.
5. Дополнительные функции:
• Интерполяция: Плавное преобразование одного изображения в другое, создавая эффект морфинга.
• Добавление цвета: Раскрашивание черно-белых фотографий с использованием ИИ.

Как сохранять готовые видео.

Возвращаемся на главную страницу и нажимаем в боковом меню пункт "Private" и выбираем интересующее нас готовое видео.

Выбираем значок скачивания и нажимаем MP4.

Домашнее задание:

Сгенерировать с помощью Runway 2 видео, на любую тематику, с помощью "Image to Video", сначала создав подробную картинку через изученные ранее сервисы по созданию изображений и направить сначала изображение и запрос к картинке.

Сформулируйте промпт по формуле, сгенерируйте видео и отправьте его на проверку куратору.

Готовое домашнее задание присылайте куратору @evgeny_ai_skills в личные сообщения.

При отправке домашнего задания, обязательно напишите номер модуля и урока, по которому вы выполнили Д/З.