April 2, 2023

Как играть на Playground

Еще одна площадка, где можно познакомиться с продвинутыми функциями и оценить потенциальные возможности нейросети:

Интерфейс похож на Леонардо, и на Lexica, число попыток не ограничено* Как и везде — можно имитировать художественные стили,  использовать собственную картинку как «подсказку», а так же  делать исправления в сгенерированном изображении,  и   
попробовать очень интересную опцию — монтаж холста по частям.

У нейросетей засада с многофигурными композициями.
И один-то предмет в нужном ракурсе поди получи, а уж расставить персонажей на полотне — километровый «промт» не поможет.
Сервис позволяет пристраивать к центральной сцене одну за другой дополнительные части: главный герой на белом коне, справа горы, слева поля и небо над головой.

Что тут есть:

✔️Слева «промт» — словесное описание изображения, которое желательно получить, справа немногочисленные настройки — размер, степень детализации.
Версии нейросети: DALL-E только по подписке. Две версии СтейблДифьюжн «из коробки» и в сборке от Плейграунд.

✔️Имеется подборка фильтров для стилизации картинки (фильтры на разных сайтах отличаются - каждый свое прикручивает к СтабильнойДиффузии):

Пользовательское сообщество практически единодушно относительно значительного отставания «Диффузии» от Миджорни. Но энтузиасты ПО с открытым кодом изощряются, подбирают тонкие настройки, доказывая, что если очень-очень постараться, на StableD можно достичь похожих результатов и даже превзойти конкурента.

🤔Напоминает холивар Виндоза — Линукс. Если разбираешься в предмете, можешь подогнать сборку под себя, то в чем-то даже выиграешь.

Знатоки настроек и мастера программных кодов в некоторой степени решили задачу качества отрисовки и управляемости СтейблДифьюжн — с помощью бесчисленных костылей фильтров:

— Рисование «овощами» — модель генерирующая натюрморты, пейзажи и портреты, составленные из еды.
Неплоха модель «масляная живопись» (гладиолус получился лучше, чем у конкурентов — те вообще не справились  с этими цветами):

Можно отключить фильтры и писать развесистый «промт» самостоятельно. Результат может показаться... скромным.
С другой стороны и на Миджорни не всякий запрос отработает удачно, приноровиться надо. Советы от «бывалых» тоже не надежны. А заранее настроенных фильтров (типа «реалистичный портрет крупным планом», «мультик из пластилина» не предусмотрено, каждый шлифует свой велосипед самостоятельно).
За счет этого (плюс завлекалочки «неограниченных фри-генераций») сервисы с SD находят аудиторию и продолжают развиваться

Коррекция изображения:

всплывающая кнопка «редактировать» -> опция «добавить маску»:
закрашиваешь фрагмент изображения, в промте пишешь, что там должно быть, запускаешь генерацию — исправленная картинка отображается рядом:

клик

Портрет получился по запросу «текстура черепицы» =)
В принципе существует языковый модуль под нейросеть, она могла бы понимать и по-русски, но на СД-сервисах им почему-то пренебрегают.

И, самое интересное —

Генерация проекта по частям

✔️Переходим в раздел «Канвас»:

▣ Пишем промт, генерируем картинку в рамочке.
▣ Отодвигаем рамку вправо, производим новую генерацию. На этом этапе так же можно выбрать любой из фильтров:

▣Повторяем слева:

Получаем триптих «Про зайцев».

Но и это еще не все  —

✔️ Канвас умеет генерировать бесшовные изображения, образующие единое полотно

Запрос не хитрый —  «Сторож на бахче».
Выберем модель, напр, Микспанк, посмотрим, что получится.
— Ну, такое себе...

▣ Выпадающее меню редактирования предлагает отдельную опцию «исправить лицо» (функция обнаружения лиц присутствует)

— Не сказать, чтоб сильно лучше:

▣ Применим маску, закрасим

▣ используя промт вклеим на место маски сгенерированный фрагмент «Портрет Эйнштейна», он подстроится по масштабу и цвету:

но.. не без огрехов:

Чудные грядки, или действительно где-то арбузные рядки пенопластовым бортиком защищают?

Попробуем тот ж сюжет на другой модели:

Портрет боле похож на правду, хотя вместо арбузов выросли помидоры;
сдвинем рамку и сгенерируем продолжение с тем же описанием, но без «сторожа»:

Продолжим слева:

И еще сверху пририсуем облака =)

Качество местами требует доработки, но принцип понятен — картина срослась  без заметных швов

Тем же порядком заполним холст «корабликами в бушующем море»:

С разгону и в левом квадрате сгенерировался парусник, хотя в описании оставалось только море; три корабля в ряд — это перебор, исправим лишнее с помощью маски. И заменим на «люди на плоту»

ИИ не совсем так представил «плот», как подошло бы по контексту.
Сотрем  плавсредство «резинкой»:

и уточним запрос: «старинный, деревянный»

Не совсем плот получился, но тоже годится:

Произведем дополнительную манипуляцию с композицией:

▣ Скопируем  имеющееся полотно (копи-пастом обыкновенным) — появится дубликат.
▣ Перетащим его и расположим оба дубля один за другим:

▣ сотрем  место стыка и вернемся к генерации,

▣  впишем в промт «бурное море», чтобы плавно объединить изображения

Дамы под прикрытием ненастья не то с корабля бегут, не то на корабль. Удачи им!

О моделях :

На PG реалистичных немного, больше всяких стилизованных-декоративных.
«Сторож на бахче» с космическим уклоном: настройки не только колорит придают картинке, но и влияют на то, в каком ключе будет решено содержание.

«Кинематографический» фильтр выдал не менее причудливую картину:

«Без фильтра» — белее реалистично, но как-то серенько..
А арбузов уродилось, как камней на пляже

В  свежей версии Диффузии 2.1 всего два фильтра:

Ч/б и портрет крупным планом. Неплохой, четкий.
А если березки заказать?

Как-то так получится:

Как это вообще устроено?
— «Модели» — тот же промт. Только предустановленный, опробованный, «прирученный» =)

Допустим, мы написали: «Царица Савская, нарядная, с украшениями». Но итоговый запрос к нейросети включает куда более развесистое описание: «Студийный свет, текстура кожи, боке, шарп», и — «стиль фотографий Анне Лейбович»:

И у всех, сгенерированных в этой модели, портретов будет  то же самое стилистическое авторство, Анни Лейбович...

Артемида.. не очень на себя похожа:

Получается, что все кто воспользуется предустановками площадки будут производить  изо-контент в одном ключе.

Оно, конечно, любая нейросеть, включая Миджорни, синтезирует арт по готовым исходникам, на которых она натренирована, но более гибко, заимствуя по штришку у тысячи разных.
(Хотя и это спорно и до коллективного иска от художников уже доходило)

Пейзажные «модели» устроены по тому же принципу — в основе стилистика известных фотографов:

Симонетти, Рудковский -

(У «Леонардо», «Лексики» и прочих — принцип построения моделей тот же)

А если без предустановок, сами напишем, про свет, атмосферу и все остальное?

Так себе «березовая роща»..

Пробуешь и так и сяк, перефразируешь, меняешь описания, сочетание  настроек, отсылок и, однажды, клик - срослось!, что-то сложилось внутри ИИ и выпал удачный результат, как счастливый билет лотереи. Можешь с ним нагенерить еще несколько десятков приглядных картинок на ту же тему с вариациями. А если умеешь в коды — то и разместить на Гитхабе очередную специализированную «модель».


* Генерации в режиме «Board» — без ограничений, но для игры в продвинутом Канвасе — выделяют около пятидесяти попыток. Как раз слегка разобраться, как все утроено. Повышение качества картинки в базовой версии тоже не доступно.
Понятно, что сложный и энергоемкий сервис запускают, чтобы заработать, но маркетинговый подход несколько сомневает — «на фри-аккаунте результат не ахти, купи продвинутый, будет зашибись!»
Но откуда мне знать будет ли, и такое же, на один раз забава?

Играть с нейросетями забавно. Работать — как повезет.