Роман Сентябрьский

Flux погружение

2024-11-23T00:30:14.073Z

Flux - это семейство диффузионных моделей от Black forest labs.

Гайд составлен для телеграм канала НейроChill о нейросетях для фриланса

Простые в использовании версии для одного файла, которые вы можете легко использовать в ComfyUI, смотрите Ниже: версия контрольной точки FP8

ComfyUI это один из самых гибких юзер интерфейсов для работы с диффузионными моделями.(Как установить и что это такое тут)

Обычная Полная Версия

Файлы для загрузки для обычной версии
Если у вас еще нет t5xxl_fp16.safetensors или clip_l.safetensors в вашем каталоге ComfyUI/models/clip /, вы можете найти их по: этой ссылке. Вместо этого вы можете использовать t5xxl_fp8_e4m3fn.safetensors для уменьшения использования памяти, но если у вас более 32 ГБ оперативной памяти, рекомендуется использовать fp16.

VAE можно найти здесь, и он должен находиться в вашей папке ComfyUI /models /vae /.

Советы, если у вас заканчивается память:

Используйте версию fp8 с одним файлом, которую вы можете найти, просмотрев ниже

Вы можете установить для параметра weight_dtype в узле “Модель распределения нагрузки” значение fp8, что снизит использование памяти вдвое, но может немного снизить качество. Вы также можете загрузить пример.

Flux Dev

Модель Flux Dev можно найти здесь. Поместите файл flux1-dev.safetensors в папку: ComfyUI/models/diffusion_models/ .

Затем вы можете загрузить или перетащить следующее изображение в ComfyUI, чтобы получить рабочий процесс:

Как перетащить?!?!??!

Flux Schnell

Flux Schnell - это дистиллированная 4-ступенчатая модель.

Вы можете найти модели Flux Schnell здесь. Этот файл должен находиться в вашей папке: ComfyUI/models /unet/.

Затем вы можете загрузить или перетащить следующее изображение в ComfyUI, чтобы получить рабочий процесс:

Гайд составлен для телеграм канала НейроChill о нейросетях для фриланса

Простая в использовании версия контрольной точки FP8

Flux Dev

Вы можете найти простую в использовании контрольную точку для dev Flux здесь, которую нужно поместить в свой каталог: ComfyUI / models / checkpoint /.

Этот файл может быть загружен с помощью обычного узла “Load Checkpoint”. Убедитесь, что вы установили CFG равным 1.0 при его использовании.

Обратите внимание, что fp8 немного ухудшает качество, поэтому, если у вас есть ресурсы, рекомендуется официальная полная 16-разрядная версия.

Затем вы можете загрузить или перетащить следующее изображение в ComfyUI, чтобы получить рабочий процесс:

Flux Schnell

Для Flux schnell вы можете получить контрольную точку здесь, которую вы можете поместить в свой каталог: ComfyUI /models / checkpoint / .

Затем вы можете загрузить или перетащить следующее изображение в ComfyUI, чтобы получить рабочий процесс:

Flux Extras

Для выполнения следующих примеров может потребоваться наличие некоторых обычных файлов flux, ссылки на которые вы можете найти в верхней части этой страницы.

Гайд составлен для телеграм канала НейроChill о нейросетях для фриланса

Fill (Inpainting) model

Загрузите файл модели flux1-fill-dev.safetensors и поместите его в папку ComfyUI/models/diffusion_models/.

Вот пример, который вы можете перетащить в ComfyUI для рисования, напоминаю о том, что вы можете щелкнуть изображения правой кнопкой мыши в узле "Загрузить изображение” и “Открыть в MaskEditor”.

Вот пример для outpainting:

Redux

Модель Redux - это модель, которая может использоваться для запроса flux dev или flux schnell с одним или несколькими изображениями.

Загрузите модель sigclip_vision_patch14_384.safetensors и поместите ее в папку ComfyUI /models / clip_vision, а также загрузите flux1-redux-dev.safetensors и поместите ее в папку ComfyUI /models /style_models.

Затем вы можете загрузить или перетащить следующее изображение в ComfyUI, чтобы получить рабочий процесс:

Canny and Depth

Они опубликованы в двух версиях, в формате полной модели: flux1-canny-dev.safetensors и flux1-depth-dev.safetensors, поместите их в папку ComfyUI/models/diffusion_models/

Вот пример для полной модели canny:

Они также публикуются в формате lora, который может быть применен к модели flux dev: flux1-canny-dev-lora.safetensors и flux1-depth-dev-lora.safetensors, поместите их в папку ComfyUI/models/loras /

Вот пример для определения глубины lora.

Community Flux Controlnets

XLab и InstantX + Shakker выпустили Controlnets для Flux. Вы можете найти файл модели InstantX Canny здесь (переименуйте в instantx_flux_canny.safetensors для примера ниже), Depth controlnet здесь и Union Controlnet здесь.

С Controlnet XLab можно ознакомиться здесь.

Поместите эти файлы в каталог ComfyUI/models/controlnet.

Попробуйте пример рабочего процесса Canny Controlnet, перетащив это изображение в ComfyUI.

Если вам нужен пример входного изображения для canny, используйте этот. Поместите его в ComfyUI / input.

Гайд составлен для телеграм канала НейроChill о нейросетях для фриланса

Позы и ракурсы

2024-06-13T22:11:56.179Z

Опытным путем были выведены максимально адекватные позы, которые работают на большинстве популярных моделях. Не забываем что не всегда все получается с первого раза. Плюс не забываем про веса и негативную подсказку.

Гайд создан Content Machine,для сообщества neurochill

airplane arms(работает лучше с весом)

all fours

animal pose

arched back

arm at (chest)

arm behind

arm hug

arm support (table)

arms up

arms at

baby carry

back to

balancing

battoujutsu stance

bent over

body bridge

bras_d'honneur

carried breast

carrying over(gold gun)

carrying under

cheek-to-cheek

claw_pose

contrapposto

cowering

crawling

crossed ankles

crossed arms

crucifixion

eye_contact

faceplant

fetal position

fighting_stance

figure four

flexing

folded

full scorpion pose

gendou pose

head tilt

heads together

jumping

kneeling

И еще куча поз без картинок:

knees_apart_feet_together

knees_to_chest

knees_together_feet_apart

leaning_back

leaning_forward

leg_lift

leg_lock

leg_up

legs_apart

legs_over_head

legs_up

letter_pose

looking_afar

looking_at_viewer

looking_to_the_side

lotus_position

lying

object_hug

ojou-sama_pose

on_back

on_side

one_knee

outstretched_arm

outstretched_hand

outstretched_leg

own_hands_clasped

paw_pose

piggyback

plantar_flexion

praise_the_sun

prostration

reaching

running

salute

seiza

shoulder_carry

shrugging

shushing

sitting

sitting_on_person

sitting_on_lap

slouching

split

spread_arms

spread_legs

squatting

standing_on_one_leg

standing_on_shoulder

standing_on_one_leg

standing_split

star_hands

straddling

stretching

stroking_own_chin

superhero_landing

symmetrical_hand_pose

t-pose

tail_hug

thigh_straddling

tiptoe_kiss

tiptoes

top-down_bottom-up

twisted_torso

upright_straddle

upside-down

v_arms

v_over_eye

victory_pose

villain_pose

w_arms

waist_hug

walking

wallwalking

wariza

waving

wing_hug

yoga

yokozuwari

Детальная разработка персонажа MJ

2024-03-26T23:38:09.788Z

Разработка персонажа в MidJourney с максимальной узнаваемостью

Показываю как через ссылки на референсы фиксированный seed и смешивание их добиваться невероятных результатов о которых еще не знают мультипликаторы. Инструкция специально разработана для комьюнити neirochill https://t.me/neirochill

Использование параметра seed (описание из официальной документации MidJourney): Бот Midjourney использует начальное число для создания поля визуального шума, такого как телевизионные помехи, в качестве отправной точки для создания исходных сеток изображений. Исходные числа генерируются случайным образом для каждого изображения, но их можно указать с помощью параметра --seed. Использование одного и того же начального номера и подсказки приведет к похожим конечным изображениям.

Многие думают, что параметр seed дает возможность максимально управлять генерацией. Но на деле это не совсем так. PROMPT переводится как ПОДСКАЗКА, не УКАЗКА и не ПРИКАЗКА, и ИИ будет пытаться СООТВЕТСТВОВАТЬ и не более чем. Вы сами можете попробовать.

Давайте к делу. В видеоуроке я показал хронологию событий. Тут будет workflow который на опыте оказался самым быстрым и эффективным. Многие начинают с разу с разверток персонажей, я начинаю с начала и первое что нужно сделать это портрет.

Из первых вариантов мне сразу понравился один. Так же если сценарий есть и в нем есть животные предметы, игрушки часто пересекающиеся с героем их стоит отработать по этому же алгоритму

Создаем портрет нашего героя, обязательно присваиваем имя, возраст, небольшие особенности если они есть в планах и сценарии. В этом workflow 'nj мальчик по имени Ivan, ему 8.

Так же после обозначения персонажа, вносим стилистику. Она может быть любой от названия фотографа до мультипликационной студии. В нашем случаи это pixar
Вот еще несколько вариантов:
cg graphics

watercolor technique (watercolor and pencils)

cyberpunk style

children's book illustration style

disney and pixar style

Промпт: ivan 8 years old boy, cube face,small black hair,big ears, green eyes, portrait of a character in pixar style

Из четырех портретов сделанных выше по этому промпту, был сделан upscale одного избранного.

Далее важный алгоритм прошу внимательно!

1.берем seed увеличенной картинки (справа сверху у каждой генерации есть место три точки , где активизируются реакции на сообщение бота).

Начинаем вводить envelope (конверт по-английски), потом у вас уже это будет частой реакцией, и достаточно будет просто нажать на иконку. Наживаем на выделенный конвертик , и под нашей генерацией появляется значок письма. Если вы на него нажмете, он пропадет. Это нормально.

Где читаем наше сообщение от бота? Или ловим всплывающее сообщение от бота справа, или сверху слева наживаем на иконку дискорда. Там в личных сообщениях от MidJourney будет наш seed. Все намного нагляднее в видео

Сохраняем номер seed себе

2.Берем нашу исходную увеличенную картинку и тащи в поле prompt. И бросаем его там. Она преобразуется в ссылку.

3) впечатываем --seed в конце prompt и вставляем скопированный номер через пробел от слова seed

4) между ссылкой и seed вставляем скопированный исходный prompt и меняем его, создаем описание, что нового нам сгенерирует нейросеть. Дальше будет несколько примеров с prompt, изменения выделены жирным

5) добавляем ratio --ar, эта утилита позволят нам менять размер кадра

Смотрим генерации, в некоторых отмечено, где seed не указан был - сравните влияние подсказки.

https://s.mj.run/z5yESe9wTnA ivan 8 years old boy,walking in the street with a dog,cube face,small black hair,big ears, green eyes, portrait of a character in pixar style

https://s.mj.run/z5yESe9wTnA ivan 8 years old boy,full length shot:: dynamic pose running down the street::2 , portrait of a character in pixar style

https://s.mj.run/z5yESe9wTnA ivan 8 years old boy, sleeping , portrait of a character in pixar style

Дальше немного меняем подход в создании prоmpt для эксперимента и у получении более детального варианта

create me an outdoor scene with ivan 8 years old boy,, reference for ivan: https://s.mj.run/z5yESe9wTnA full length shot:: dynamic pose running down the street::2 pixar style

ivan 8 years old boy, looking throught the window at the rain, cube face, pixar style, reference for a face: https://s.mj.run/z5yESe9wTnA --ar 9:16

Также обратите внимания что не во всех prompтах есть seed, экспериментируйте для лучших генераций

Дальше идут развертки персонажа с разворотными позами и разными эмоциями. В теории кадрирование и использование соответствующих отдельных ракурсов как ссылка (image prompt) может дать хороший результат при помещении персонажа в локацию.

https://s.mj.run/z5yESe9wTnA characters multiple poses turnaround sheet, ivan 8 years old boy,full length::4 pixar style --ar 7:3

create me turnaround character sheet with multiple emotions of ivan 8 years old boy, pixar style, reference for ivan:https://s.mj.run/z5yESe9wTnA --ar 5:3

Добавить в промт для получения развертки:

character turnaround sheet

character reference sheet

characters multiple poses and expressions

characters multiple poses turnaround sheet

Ну и теперь пробуем усложнять и обьеденим локацию созданную по такому же методу с нашим персонажем:

the character of an 8-year-old scientist boy running through the park after the shadows, a link to the boy: https://s.mj.run/z5yESe9wTnA Link to the street: https://s.mj.run/kE2LzpKFBJU Pixar style:: --ar 2:1

Не всегда все будет получатся с первого раза, но MJ наикрутейша ИИ которая дает наикрутейшие варианты. workflow создан для сообщества neirochill https://t.me/neirochill . Подробный видео урок ТУТ

Ну и подарок для тех то дочитал до конца. Новая функция в Midjourney появилась

Работает как в Discord так и на web версии.

Работает весьма неплохо!

Генерируете портрет нужного персонажа.

Далее в новой генерации описываете действие персонажа, затем пишите команду —cref и вставляете после команды ссылку на изображение исходного персонажа. Жмете Enter.

Ссылка может выглядеть вот так full body, boy skateboarding --cref https://s.mj.run/z5yESe9wTnA

Важно чтобы после --cref и ссылкой был пробел.

Экспериментируйте и делитесь вашими персонажами в комментах.