Kling - инструкция по использованию 🎥✨
Kling — нейросеть для генерации видео. В умелых руках она превращается в профессиональный инструмент с помощью которого можно улучшить визуал в ваших социальных сетях, генерировать коммерческие видео или просто удивить родных и друзей креативным роликом.
🐝 Где в Let’s Fusion находится Kling?
Для начала заходим в бота @letsfusion_bot и нажимаем на первую кнопку справа от поля ввода текста
Затем, в открывшемся меню, нажимаем на кнопку «🎬 Видео»
🎉 Поздравляю, мы добрались до меню Kling!
🤔 Зачем существуют разные версии Kling и чем они отличаются?
Мир не стоит на месте — нейросети улучшаются с каждым днём, открывая для нас новые функции и возможности. У разных версий разное качество и стоимость генераций, а также свои нюансы работы.
🐝 Мы стараемся добавлять различные версии нейросетей чтобы вы смогли выбрать подходящий инструмент для своих задач.
- 🎬 Kling 1.6 pro (фото в видео) — принимает ваш промпт и фото и генерирует по ним видео.
- 🎬 Kling 1.6 pro (первый → последний кадр) — принимает два ваших изображения и промпт. Первое отправленное изображение будет первым кадром в сгенерированном видео, а второе — последним.
- 🎬 Kling 2.0 master — по сравнению с версией 1.6, Kling 2.0 генерирует более естественные движения и кинематографические визуальные эффекты, а также предоставляет лучший контроль над действиями. Принимает промпт и фото и генерирует по ним видео.
Перед тем как приступить к генерациям важно понимать, что у каждой нейросети своя политика относительно генерируемого контента. Kling не генерирует NSFW (18+) видео, а также видео на экстремистские темы и темы связанные с политикой.
🐝 Если при генерации возникла ошибка и вы не знаете в чём дело, вы всегда можете написать нам в поддержку — @fusion_ai_bot_support
💡 Общие советы при генерации видео
Давайте перейдём к генерации видео. Для начала нам нужно написать подходящий промпт.
💡 Промпты для генерации видео отличаются от промптов для фотографий — они проще и содержат описание действий которые должны произойти. Нейросеть лучше всего генерирует видео в котором происходит только одно действие — проще сфокусироваться на чём-то одном и сделать это хорошо. Больше действий описано в промпте = больше хаотичности на видео.
Если вы хотите сделать видео с движущимся объектом, то лучше всего сразу показать его в кадре — так результат генерации будет более предсказуемым. Если вы этого не сделали, то нейросеть сможет нарисовать этот объект, однако если это что-то сложное и большое (например верблюд или машина), то нейросеть может не справиться.
Для упрощения работы можно воспользоваться чатом GPT и попросить его написать промпт за вас. Как обучить чат GPT писать промпты можно ознакомиться в другой нашей инструкции (нажмите чтобы перейти).
А чтобы вам было ещё проще, мы предлагаем воспользоваться нашими GPT-Ассистентами. Мы заранее научили их писать промпты на разные популярные темы. Инструкция как пользоваться GPT-Ассистентами тут (нажмите чтобы перейти).
⚙️ Что такое cfg и зачем оно нужно?
При генерации видео Kling учитывает ещё одну важную настройку — cfg (classifier guidance scale).
Если говорить простыми словами, то cfg — это настройка которая определяет насколько сильно нейросеть будет пытаться повторить всё что написано в вашем промпте. Чем больше значение — тем меньше свободы действий у нейросети, а при самом низком значении нейросеть будет сама придумывать что нарисовать.
Чтобы поменять значение cfg нужно отправить боту сообщение «/cfg 0.2» без кавычек. Вместо 0.2 подставляем своё значение. А чтобы посмотреть текущее значение cfg отправляем боту команду «/cfg», тоже без кавычек.
Для более стабильных результатов мы рекомендуем использовать значение 0.7, а для более креативных - 0.3
🎬 Kling 1.6 pro (фото в видео)
Давайте перейдём к генерации. Для начала попробуем сгенерировать видео из фото. Для этого воспользуемся Kling 1.6 (фото в видео)
Чтобы активировать этот режим Kling нам нужно нажать на кнопку «🎬 Kling 1.6 pro»
Затем нажимаем на кнопку «🎬 Фото в видео (Kling)» и у нас активируется эта модель.
Вам придёт сообщение о том что вы активировали модель Kling 1.6 pro, режим фото в видео
Также в этом сообщении будет написана стоимость генерации и длительность генерируемого видео. Стоимость видео длительностью 5 секунд на момент написания статьи — 30 фьюзов. Подробнее про то, что такое фьюзы и как их получить можно прочитать в другой нашей статье (нажмите чтобы перейти).
Давайте детальнее разберём как писать промпты для этого режима и версии Kling.
Для вашего удобства в примерах мы будем писать промпт на английском, а ниже, в скобочках, писать перевод, но вы должны помнить, что в Kling мы пишем промпты на английском языке.
Вы можете писать промпт на русском и переводить его на английский с помощью переводчика, однако стоит учитывать, что при таком подходе некоторые детали промпта могу перевестись неправильно и исказить результат генерации.
Мы заранее сгенерировали фотографию во Flux, давайте сгенерируем из неё видео. Прикрепим фото без сжатия и напишем промпт. Нам нужно отправить это одним сообщением.
Важная составляющая промпта — это описание поведения камеры. Камера может следовать за объектом, вращаться вокруг него, а также приближаться к объекту или отдаляться. Мы собрали для вас примеры слов которые нужно добавить в промпт для настройки камеры:
- slow motion — плавное движение камеры
- camera static — камера статична
- zoom in 0.2 — приближение камеры (0.2 — коэффициент приближения, можно использовать значения от 0 до 0.5)
- zoom out 0.2 — отдаление камеры (0.2 — аналогично с приближением)
- camera right 0.2 — движение камеры вправо (используем значения от 0 до 0.5)
- camera left 0.2 — движение камеры влево (используем значения от 0 до 0.5)
Чтобы сохранить максимальное качество изображения мы отправляем фото без сжатия. Для этого при отправке сообщения нажимаем на три точки и выбираем пункт "Отправить без сжатия" (если ваше изображение в формате webp просто загрузите его картикной(без сжатия) - телеграм сам преобразует его в нужный формат)
После отправки нам придёт сообщение о том сколько фьюзов списано за генерацию и сколько фьюзов осталось на балансе.
Немного подождав получаем сообщение с видео. В сообщении также есть ссылка на скачивание видео без сжатия.
(Подробная инструкция как скачать видео без сжатия)
Также мы можем добавлять на видео различные эффекты.
[Объект] + [Эффект] + [Больше эффекта] + [Ещё больше эффекта]
Мы используем тавтологию чтобы эффект получился более выразительным
The girl turns around, blue flowers start blooming around the girl, blue flowers everywhere, everything is in blue flowers
(Девушка оборачивается, голубые цветы расцветают вокруг девушки, голубые цветы повсюду, всё в голубых цветах)
Отправляем боту фотографию вместе с промптом, и вот что у нас сгенерировалось:
Оживлять можно не только видео с предметами или людьми. Давайте сгенерируем видео, в котором камера будет плавно показывать нам интерьер комнаты.
Вот такую комнату мы сгенерировали во Flux.
Теперь просто описываем движение камеры.
И отправляем промпт вместе с изображением.
Давайте сделаем обратную перемотку этого видео с помощью видеоредактора.
Таким образом сначала нам в видео показывается просто стена, а потом открывается вид на красивый интерьер, а не наоборот.
Иногда воспользоваться видеоредактором быстрее и удобнее чем просить нейросеть. Поэтому смело используйте их для перемотки, ускорения или замедления видео.
🎬 Kling 1.6 pro (первый - последний кадр)
В Kling также есть режим, который позволяет загрузить два изображения: изображение с которого видео будет начинаться, и второе - которым видео закончится.
Чтобы активировать этот режим, в меню Kling нужно выбрать версию 1.6 pro
Затем нажать кнопку "🎬 Первый / последний кадр"
После нажатия вам придёт такое же сообщение с информацией о стоимости генерации и длине видео, как и в Kling (фото в видео).
Благодаря тому, что теперь мы можем управлять первым и последним кадром видео, можно создавать различные трансформации одного объекта в другой. Такие трансформации ещё называют морфингом (от англ. morph)
Виды трансформаций бывают разные:
Вы можете попросить ChatGpt придумать для вас варианты трансформации одного объекта в другой.
У нас во Fusion есть GPT-Ассистент которого мы уже обучили составлять промпты для морфинга.
Мы сгенерировали две фотографии с девушкой в разных платьях. Давайте сделаем так, чтобы когда девушка поворачивалась у неё менялось платье.
Присылаем боту сначала первое изображение, он вышлет уведомление о том что первый кадр загружен. Затем загружаем второе изображение, и также получаем уведомление что кадр загружен.
После этого отправляем боту промпт.
The girl turns around as her dress changes to pink
(Девушка поворачивается в то время как её платье меняется на розовое)
Получилось элегантно и необычно
Если мы хотим продлить видео, например сделать чтобы розовое платье поменялось на ещё какое-нибудь, мы можем открыть видео, перемотать в конец и сделать скриншот. После, этот скриншот можно использовать как первый кадр для следующей генерации, а потом смонтировать вместе все получившиеся видео. Таким образом можно бесконечно продлевать видео, сохраняя при этом плавность переходов.
С помощью морфинга можно делать превращения из одного предмета в другой, или даже из человека в какой-нибудь объект. Однако, если объекты морфинга будут слишком разные, нейросети будет сложно их сморфить. Возможно придётся менять настройку cfg, менять промпт или выбрать другие объекты.
Обычно чтобы добиться от нейросети желаемого результата приходится делать несколько генераций - это нормально. Чтобы сгенерировать переход со сменой платья нам понадобилось три попытки.
Некоторые идеи нейросеть может отказываться генерировать так как вам надо. Если не получается даже после третьей попытки, то лучше сменить идею или поменять исходное изображение, чтобы не зацикливаться и не тратить зря фьюзы и время.
🎬 Kling 2.0 master
Наконец-то мы добрались до Kling 2.0, давайте сгенерируем в нём видео.
Для этого в меню Kling выбираем "🎬 Kling 2.0 master 🔥" и у нас активируется эта версия Kling
Kling 2.0 отличается от версии 1.6 тем, что это более продвинутая модель, которая воспринимает более сложные и динамичные промпты. Если у Kling 1.6 могут возникнуть проблемы при генерации сложный действий, то Kling 2.0 отлично с ними справляется.
Поэтому формула промпта для Kling 2.0 более разнообразная:
[Объект] + [Действие] + [Окружение, освещение] + [Стиль/Атмосфера] + [Ракурс, настройки камеры] + [Дополнительная информация*]
* обработка, вид объектива, вид съёмки, другие доп. детали
(не обязательно использовать все элементы из формулы промпта, можно например просто описать объект, действие и окружение)
Мы опять сгенерировали изображение во Flux, давайте сделаем так, чтобы девушка спрыгивала с мостика с парашютом.
Girl jumps off the platform backwards with paragliding parachute, camera following girl, dynamic atmosphere
(Девушка прыгает с платформы спиной вперед с парашютом, камера следует за девушкой, динамичная атмосфера)
Отправляем изображение без сжатия и промпт одним сообщениием, как в Kling 1.6 pro (фото в видео)
Немного подождав получаем наше видео:
Давайте опять сделаем обратную перемотку видео. Теперь девушка не спрыгивает, а приземляется - нам кажется так выглядит более реалистично.
На этом наша инструкция подошла к концу. Мы разобрали как пользоваться каждой из добавленных во Fusion моделей Kling, обсудили нюансы написания промптов и сгенерировали красивые видео.
Не переживайте если чего-то не поняли, когда перейдёте к практике всё станет на свои места.
💡 Больше обучающих роликов вы можете найти на нашем Ютуб канале (на ссылку можно нажать)
👩💻 Если у вас остались вопросы не стесняйтесь писать нам в поддержку - @fusion_ai_bot_support