Dream Machine от Luma: как пользоваться нейросетью для оживления фото и создания крутых видео

Новый инструмент для самых смелых творческих экспериментов.

Что такое Dream Machine и что она умеет

Dream Machine — это генеративная нейросеть от стартапа Luma, которая предназначена для создания по текстовым инструкциям и фото реалистичных или фэнтезийных видео высокого качества. Она имеет мультимодальную архитектуру и специально обучена на видеороликах.

Dream Machine работает по сценариям photo to video и text to video, позволяя оживлять статичные изображения, генерировать видео по ключевым кадрам или создавать их с нуля по описанию. Нейросеть даёт возможность изменять эмоции, добавлять в сцену действие, указывать перемещение камеры. На выходе получаются пятисекундные ролики, которые генерируются всего за пару минут.

Как пользоваться Dream Machine

Для работы с сервисом понадобится аккаунт, который можно завести бесплатно. Для этого перейдите на главную страницу, кликните Try Now, а затем Sign in with Google и войдите в свою учётную запись. Интерфейс и взаимодействие с Dream Machine — на английском языке, но сложных технических нюансов здесь нет, поэтому разобраться будет легко. В составлении промптов в крайнем случае поможет переводчик или специальные инструменты.

Все варианты генерации осуществляются через единый интерфейс. Это строка для ввода промпта с кнопкой загрузки изображений и счётчиком оставшихся токенов (1 токен = 1 видео). Каких-либо дополнительных разделов в Dream Machine нет, поэтому созданные креативы отображаются здесь же, чуть ниже.

Как создать видео по текстовому промпту

Чтобы нейросеть сгенерировала ролик по текстовым инструкциям, просто опишите желаемую сцену: перечислите, кто находится в кадре, где происходит действие и что меняется по ходу видео. Кликните по кнопке со стрелкой или просто нажмите Enter и ждите. Готовый креатив появится через пару-тройку минут на этой же странице, где его можно будет оценить и скачать.

Разработчики рекомендуют использовать опцию улучшения промпта (Enhance prompt), которая включена по умолчанию. В этом случае достаточно краткие формулировки в одно предложение нейросеть автоматически расширит. Слишком подробные запросы из трёх-четырёх предложений часто воспринимаются некорректно, так что иногда полезно отключить помощь и попробовать свой детализированный промпт. Когда результат не очень, есть смысл сделать ещё одну попытку по тому же запросу, часто она выходит удачнее.

Как создать видео из фото

Данный режим хорош, когда нужно ограничить полёт фантазии нейросети, чтобы она создавала сцену не с чистого листа, а из какой-то отправной точки. Для этого кликните по кнопке с фото или просто перетащите любое изображение в строку промпта. Далее введите инструкции для Dream Machine и нажмите Enter.

Для наилучшего результата в промпте желательно описать, что находится на картинке, а затем уже развитие сюжета и какие изменения вы хотите получить. Лучше всего использовать исходники с соотношением сторон 16 : 9, поскольку именно на таких обучали модель. Как и в предыдущем случае, опцию Enhance prompt можно отключать, если выходит не очень.

Как создать видео по ключевым кадрам

Dream Machine умеет делать морфинг, преобразовывая одно изображение в другое и дорисовывая промежуточные кадры согласно заданным условиям. Для этого во время ввода промпта добавьте первую картинку, а затем вторую. Всё так же жмите Enter и ждите окончания генерации.

В теории так можно создавать крутые ролики, объединяя в одном сюжете героев разных мемов или добавляя неожиданные продолжения знакомых сцен. Результат во многом зависит от того насколько сильно отличаются изображения от вашего промпта. Повторные попытки, как правило, повышают шансы на успех.

Как расширить видео

По умолчанию Dream Machine генерирует 120 кадров анимации, то есть пятисекундный ролик с частотой 24 к/с. При желании любое созданное видео можно продлить, увеличив его длительность ещё на 5 секунд, это стоит 1 токен. Для расширения найдите нужный ролик и кликните кнопку Extend под ним. Введите тот же запрос, чтобы продолжить происходящее в кадре действие, или дайте новые инструкции с указанием, что нужно изменить. Запустите генерацию, нажав клавишу Enter.

В данном режиме нейросеть бесшовно продолжает ролик, сохраняя сцену и действующих персонажей — при условии, что в новом промпте не было явных инструкций на другие изменения и детали. Увеличение длительности поможет достичь более плавных переходов и повысить общее качество видео.