Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения
Друзья, ControlNet творит чудеса. И сегодня я научу вас как творить чудеса с освещением и включать несколько слоев ControlNet одновременно, это даст нам огромный простор для творчества, а еще очень понравится фотографам.
- Актуальный Automatic 1111 с установленным и активированным ControlNet в коллабе или локально.
- Изображение на котором мы будем менять свет, у меня Бунтарка, у вас может быть что угодно.
- Пресеты для света бесплатно выложены на Бусти, просто нажми скачать. Можешь нажать "отслеживать" чтобы не пропустить мои новые стримы и видео 😜
Первым делом нам понадобится сгенерировать то, с чем мы будем играться, я взял Бунтарку вот из этого сета.
Теперь отправляем все кнопкой в img2img, чтобы перенести настройки и промпт.
И тут мы делаем непривычное - загружаем не ту фотографию с которой будем работать, а маску для света из пака выше.
Затем опускаетесь в ControlNet, тут нам надо нажать галку Enable, для активации, выбрать препроцессор depth_leres и модель depth, разрешение анотатора LeReS Resolution ставьте такого же размера по самой большой стороне как и ваша фотография, у меня 768. И собственно загружаем нашу фото основу.
Задаем наши любимые параметры генерации, у меня это будет 2м Карась, выставляем размеры равные размеру нашего изображения загруженного в ControlNet. Denoising strength ставим на 0.90.
Теперь генерируем несколько вариаций с дефолтным светом и выбираем ту с которой будем играться, у меня будет вот эта
Теперь у нас есть отправная точка, фиксируем сид и изменяем свет. Для этого надо нажать на карандашик рядом с крестиком.
Генерируем, теперь свет у нас с другой стороны.
Еще раз меняем конфигурацию света, чтобы получить полностью совещенный кадр.
И если снова захотим выключить свет, то можем просто сдвинуть квадратик на черную область.
А еще мы можем загрузить совсем другие карты освещения, например в виде сердечек и в один клик получить потрясающий эффект на фото. Настройки ControlNet даже не меняем.
Или можем например сделать луну из окна и свет свечи сбоку, надо просто выбрать карту освещения по интереснее, я сейчас как раз собираю пак разных карт и фонов для ControlNet и тоже залью на бусти, так что подпишись, чтобы не пропустить.
Что мы еще можем сделать, например можем загрузить текстуру огня и устроить пожар.
А если уменьшим деноизинг еще сильнее, до 0.5, то буквально сожжем Бунтарку, как Жанну Д`арк
С учетом возможности включения многослойного ControlNet, это дает нам неограниченные возможности. Как вы не знали, что можно включить несколько слоев?
Сейчас расскажу, все очень просто. Идем в Settings, находим слева ControlNet, находим ползунок Multi ControlNet: Max models amount (requires restart), сдвигаем на сколько нам надо (помните что каждый слой это время и ресурсы видеокарты), мне пока хватает двух, но можно включить до 10 и комбинировать различные модели и препроцессоры. Для активация потребуется перезапуск web-ui.bat.
Что мы можем с этим сделать, а давайте включим еще один ControlNet, я возьму картинку из будущего пака с фонами, текстура листиков и открою её вместе с моделью depth и препроцессором depth_leres, уменьшу вес модели, выкручу вырезание фона у листиков.
И в качестве результата у меня будет свет загруженный в img2img, персонаж вытащенный картой глубины с первого СontrolNet и листики со второго.
А на этом у меня все друзья, скидывайте примеры ваших работ и ваши кейсы использования различных слоев ControlNet, возможности его применения просто поражают воображение, думаю мы еще долго будем открывать новые не стандартные методы применения ControlNet и различных вариаций препроцессоров и моделей. Увидимся на стримах.
Участвуйте в онлайн-интенсиве НЕЙРОБУСТ и изучите все основные инструменты и технологии для работы с нейросетями всего за два дня!
Посмотрите программу и зарегистрируйтесь
Вот мой список полезных ресурсов:
- Арт-нейросети от Neural Dreaming основной канал по нейросетям - подпишитесь, чтобы быть в курсе всего!
- Neural Dreaming на YouTube тут проводятся стримы и выкладываются гайды - подпишитесь!
- Neural Dreaming на Boosty - записи всех стримов, ххх сеты, ассеты и секретные гайды только для подписчиков, и доступ в чат для самых продвинутых.
- ДЕНЬГИ - чат, где мы учимся зарабатывать на наших нейро-талантах вместе с настоящими профи.
- ЧЕЛЛЕНДЖИ - группа с новыми нейро-челенджами каждый день - участвуй!
- СКЛАД - все, что нужно для вашей нейросети: лоры, модели, эмбединги - осторожно, там нет цензуры.
- АДМИНСКАЯ - группа для администраторов нейро-каналов, добавьте свой канал в био, прежде чем подавать заявку.
- Чат нейро-операторов - общайтесь, задавайте вопросы, делитесь опытом с более чем 500 нейро-операторами.