Как анимировать изображения в нейросети Luma  — инструкция

Итак, для использования Luma вам потребуется исходное изображение, качество которого вас полностью устраивает, это может быть как фотография, так и генерация, сделанная в нейросети, например, в Midjourney, Stable Diffusion, Dalle и др.

О том, как генерировать изображения в этих нейросетях, мы рассказываем на нашем форуме:

• Статьи - Midjourney
• Статьи - Stable Diffusion
• Статьи - Dalle-3

Способы анимации изображений в Luma

1️⃣ Анимация по картинке и промту (текстовому описанию)

Этот способ является одним из самых популярных и простых.

• Откройте в мессенджере Телеграм @yes_ai_bot
• В нижнем меню нажмите на "Нейросеть: ... [изменить]"
• В сообщении активируйте "Yes Video"

• Там же выберите метод "Ani-Image" (анимация изображений)
• Отправьте боту любую картинку, размер которой (по высоте и ширине) не превышает 2000 пикселей
• В появившемся меню выберите нейросеть "🐠 Luma"

• Нажмите кнопку "Prompt" > "♻️ Изменить"

• Отправьте краткое описание того, что должно происходить в кадре

Лучше всего нейросеть справляется с анимацией объектов, людей и животных, но вам ничего не мешает проводить эксперименты с необычными образами. Сразу скажем, что Luma делает анимацию не идеально, а то, что написано в вашем промте, может быть ей частично проигнорировано.

• После отправки промта нажмите кнопку "↖️ Вернуться назад"
• Если вы хотите сделать бесконечное циклическое видео, то активируйте опцию "✅ Зациклить видео" (если это не требуется, то оставьте опцию отключенной)

• Запустите генерацию нажатием кнопки "🎞️ Анимировать изображение"

Процедура анимации займет всего несколько минут, а в результате вы получите ролик длительностью 6 секунд.

Например: девушка идет по улице

Кстати, в Yes Ai Bot вы можете писать промт на любом языке, в том числе на русском.

Опишите движение камеры: приближение камеры (zoom in), отдаление камеры (zoom out), движение камеры влево / вправо / вверх / вниз и пр.

Опишите окружение, освещение и прочие детали.

Пример: девушка в голубом платье идет по улице, девушка смотрит вперед, синий шарф сдувает ветром, ярко светит солнце, камера отдаляется, блики света отражаются от окон домов

Обратите внимание, что при выборе подробного описания анимации, вам предстоит достаточно внимательно отнестись к описанию объектов, людей, окружения и прочих деталей, так как нейросеть Luma не будет пытаться доработать ваш промт. Описывать нужно не только то, что находится в кадре, но и то, как эти объекты должны себя вести или взаимодействовать друг с другом (ходить, прыгать, танцевать, летать и т.д.).

В большинстве случаев качественные результаты получаются не с первых попыток, вам предстоит набраться опыта в написании промтов и в правильном подборе исходных изображений. От стартовой картинки зависит очень многое, лучше всего выбирать те, на которых отчетливо видны объекты, люди и пр. Размытые и искаженные изображения будут анимированы с большим числом ошибок.

2️⃣ Анимация по исходному изображению и финальному кадру

Гораздо более стабильные результаты вы будете получать, если в обоих кадрах (в стартовом и в финальном) будет присутствовать один и тот же персонаж (или похожие персонажи), но в разных ракурсах, позах и пр.

Очень простое правило: чем выше степень согласованности исходных кадров, тем более стабильные результаты вы получите.

Как сделать анимацию в Luma с использованием двух картинок:

• Снова зайдите в @yes_ai_bot > "Yes Video" > "Ani-Image"
• Отправьте ему картинку, которая должна являться первым кадром анимации
• В появившемся меню нажмите кнопку "Финальный кадр" > "📥 Загрузить"

• Отправьте боту картинку, которая должна являться последним кадром анимации
• После отправки промта нажмите кнопку "↖️ Вернуться назад" и запустите генерацию

Рекомендуем потренироваться с различными стилями изображений: реализм, аниме и пр. Не забывайте делиться успехами отправляя репосты в специальную ветку для Luma на нашем форуме в Телеграм — https://t.me/yes_ai_chat/69278

3️⃣ Анимация изображения по промту и финальному кадру

По сути этот метод является комбинацией первых двух, то есть вы можете указать и промт и финальный кадр при подаче задания. Такой подход позволит сделать анимацию более предсказуемой.

Пояснять тут что-то еще не требуется, просто следуйте инструкциям из первых двух пунктов.

Как продлить видео, созданное в Luma

• Дождитесь результата генерации по поданному ранее заданию
• В меню под видео нажмите кнопку "⏩️ Продлить видео", а затем "⏩️ Продолжить видео"
• Система запросит введения текстового описания того, что должно происходить в следующих 5 секундах видео, напишите промт следуя выше изложенным инструкциям и отправьте его боту
• Дождитесь результата генерации

Вы можете продолжать видеоряд несколько раз, в результате каждого повторения процедуры ролик будет дополняться пятью секундами анимации. Каждый из сегментов может быть анимирован с использованием разных промтов.

Если вам не понравилась анимация очередного фрагмента, то вернитесь к предыдущему заданию и продлите видео с использованием более корректного промта.

Управление движением камеры в Luma 1.6

🚩 [Обновление от 4 сентября 2024] Для нейросети Luma Dream Machine вышло обновление 1.6, в котором разработчики добавили поддержку поворотов камеры при анимации изображения. Чтобы опция сработала, достаточно в промте дописать команду, отвечающую за соответствующий метод движения камеры.

Команды для управления камерой в Dream Machine Luma:

• camera move left (простое движение камеры влево)
• camera move right (простое движение камеры вправо)
• camera move up (простое движение камеры вверх)
• camera move down (простое движение камеры вниз)
• camera push in (приближение камеры к объекту, zoom-in)
• camera pull out (отдаление камеры от объекта, zoom-out)
• camera pan left (поворот камеры вокруг своей оси влево)
• camera pan right (поворот камеры вокруг своей оси вправо)
• camera orbit left (вращение камеры вокруг объекта влево)
• camera orbit right (вращение камеры вокруг объекта вправо)
• camera crane up (вращение камеры вокруг объекта вверх)
• camera crane down (вращение камеры вокруг объекта вниз)

Вы можете использовать все эти команды в @yes_ai_bot, просто добавьте любой из методов работы с камерой в свое текстовое описание при отправке нового задания на анимацию в Luma.

Подведем небольшой итог

Luma более стабильно "удерживает" контекст исходных изображений, внешний вид персонажей и детали.

Но без ложки дегтя все же не обошлось:

• Luma может проигнорировать ваш промт, если не поймет, как его применить к изображению
• Лица людей могут изменяться в процессе анимации
• Движения, в частности ходьба, не всегда получаются правдоподобными

Однако, стоит отметить, что нейросети достаточно быстро развиваются, так что в недалеком будущем та же Luma может стать гораздо совершеннее.

Уже сейчас вы можете получать достаточно качественные анимации изображений с помощью нейросетей, особенно если будете применять дополнительные инструменты для постобработки.