AI гайд - каждый может быть артистом
Развитие AI предлагает бесконечные новые возможности для самореализации. Если вы хотите творить и самовыражаться через искусство - этот гайд для вас. В статье раскрыты основные техники, инструменты, площадки и принципы для становления себя как артиста. Вся информация актуальна на февраль 2023г. WAGMI-2-Sotheby's
Основные инструменты для генерации AI изображений.
Создание изображений происходит через специально обученные диффузионные модели (text-2img) давая простор для генерации изображений на любой вкус, стиль и предпочтение. До диффузионых были GAN модели, которые работают в рамках узкого домена - в них хороша генерация одного конкретного предмета - только лиц / только кошек и тд. GANs стремятся сгенерировать изображения, которые трудно отличить от реальных, а диффузионные модели стремятся проникнуть в структуру изображений и сгенерировать изображения, которые максимально соответствуют сути запроса учитывая более широкий диапазон информации (несколько объектов, стиль, эффекты и тд).
Существуют 3 основные модели для генерации, которыми пользуются 90% пользователей:
1. MidJourney (MJ) - text2img модель снискавшая свою популярность среди большинства из-за простоты и удобства пользования в рамках discord, с нулем знаний модель готова выдать вам годный арт (проверьте сами).
- Генерация - discord, с сохранением всех prompts, генераций в рамках вашего аккаунта.
- Подписка - 25 бесплатных попытки сгенерить ваше творение (мало для достижения адекватного результата). Существует три плана. Рекомендуется брать стандартный ($30 мес.) + скрытие промтов ($10 мес.)
- Интерфейс + Инструкция - ENG / RU
- GEM side - единственная на данный момент модель, которая умеет в хорошую "композицию", для любого уровня подготовки и умения работы с promptами. Любой запрос будет стилизован и резонировать с большинством.
- FUD side - увидев 1000+ артов в твиттере от различных художников, использующих разные модели, вы с 99% вероятностью будете узнавать где именно MJ. Стилизация данной модели очень схожа по цветовой гамме (тон, оттенки) и манере генерации лиц. Однако, при совершенствовании навыков prompt инжиниринга, можно создавать свой уникальный стиль, комбинируя генерации MJ / Dall-E / SD.
2. Stable Diffusion (SD) - text2img open source (технология доступна бесплатно всем) модель с максимальной вариативностью и необузданностью.
- Генерация - на их сайте/ виртуальная машина google colab/ у себя на компьютере.
- Подписка - у себя бесплатно или используя мощности StabilityAI - 1000 бесплатно через регистрацию по любой почте (👍) дальше за $10 = 5000 итераций с дефолтными настройками (минимальное разрешение, шаги и тд).
- Интерфейс + Инструкция - ENG
- GEM side - Модель максимально разнообразна, ее возможности безграничны во всех версиях (1.4 vs 2.2). Научившись генерить через SD арт, который будет совпадать с вашими ожиданиями (то что представляли в голове - выпало и совпало на ~80%), вы станете мастером своего дела. В отличие от MJ, SD обладает технологией инпейнтинга - замазали часть арта / фото, написали новый prompt и в рамках выделенного куска генерится новая часть изображения.
- FUD side - Сложная модель для создания prompts с нулевым опытом, высокая вероятность "кривых итераций" (будет выдавать 4 ноги, 8 пальцев на руке, искореженные предметы и тд). Необходимо организовывать процесс сохранения запросов, результатов итераций самостоятельно (заметки, гугл доки и тд).
3. Dall-E (DE) - text2img модель направленная на создание максимально "реалистичных" изображений.
- Генерация - на сайте либо через API.
- Подписка - 500 бесплатных (дефолтных) итераций, далее $15 дол за 2000 дефолтных изображений. Для регистрации нужно больше чем почту (аккаунт гугл с привязанным телефоном).
- Интерфейс + Инструкция - ENG
- GEM side - Огромные возможности модели которая обучилась на самом бОльшем количестве данных, куча возможностей по созданию генераций на сайте - инпейнтинг, бесконеная генерация и тд.
- FUD side - Не оправдано дорого. По сути своей схожа и одновременно хуже с ~бесплатной SD.
Данные 3 модели используются 90% авторов. Однако также на ранних этапах существуют более кустарные модели, требующие бОльших сил и ресурсов для использования.
Отдельная ниша - сервисы для генерации объединяющие различные модели:
- PlayGroundAI: до 1000 бесплатных генераций с внедренным SD, DALL·E 2. img2img, Instruct Pix2Pix. Gallery.
- RunwayML : абсолютный GEM для экспериментов различных AI инструментов для видео, картинок, текста. Блюр, замена предметов, DreamBooth (обучение стилю по заданным артам) и тд.
- Dreamlike: стилизованный под арт SD 1.5 (микс MJ и SD)
- Deepdreamgen : 4+ различные модели, система накопления энергии, встроенные апскейлеры (увеличение изображения), улучшение лиц и тд.
- InstantArt : множество моделей абсолютно бесплатно, однако все публично.
- Stable Horde: Stable UI (множество моделей), ArtBot, DiffusionUI
- Pinegraph: discover, create внутри Stable/Disco/Waifu diffusion
- Pollinations: AI модель (image, video, audio, text).
- mage.space: без фильров - SD WebUI.
- Sparkl: множество моделей
- getimg.ai: txt2img, img2img, inpainting / outpainting.
- Stablediffusion-infinity: Outpainting huggingface. Github.
- Finetuned_diffusion: множество дообученых SD моделей.
- Stable-diffusion-conceptualizer
- Stablecog: бесплптный простой генератор.
- AUTOMATIC1111 hugginface
- koll.ai, prompt.ist, SD Multiplayer: совместный генератор для 2+ юзеров.
- Отдельно Краткий гайд по запуску SD в GoogleColabs: Вам необходимо зарегестрироваться на https://huggingface.co/login ,иметь аккаунт Google Drive и следовать инструкциям - https://www.youtube.com/watch?v=RsJ6Apc93U8&ab_channel=Quick-EyedSky
- Официальная модель: https://github.com/huggingface/diffusers
- Все новые репозитории с моделью https://github.com/topics/stable-diffusion?l=jupyter+notebook
- Демо HuggingFace https://huggingface.co/CompVis/stable-diffusion-v1-4
- Бесплатная генерация https://colab.research.google.com/github/woctezuma/stable-diffusion-colab/blob/main/stable_diffusion.ipynb
Список моделей и сервисов будет дополняться по мере выхода новых значимых моделей.
Prompt Engenering. База для формирования запроса чтобы получить желаемое.
Prompt - это текстовый запрос который позволит Вам воплотить идею в арт.
Prompt должен состоять из описания желаемого результата, желательно максимально подробно.
❌ плохой пример prompt (для MJ) - "winter forest".
✅ хороший prompt (для MJ) - "relaxing winter and christmas coloring page, 3d animation, fantasy, magical, mystical, unusual, black and white, wavey lines, realistic line art drawing, coloring book page, no noise, crisp thick lines, outline art, centred image, isolated on a white background --v 4 --ar 2:3"
Структура prompt на примере DALL-E, основа и база по сути идентична для всех моделей. Во многих моделях есть собственные настройки для разных версий, разрешений и негативного prompts (чего не должно быть на арте). Ваш запрос должен состоять из 5 базовых частей:
- основного объекта, ключевого центрального описания с эпитетами
- добавления уточнений, деталей
- указания дополнительных обстоятельств
- уточнения стиля, ключевых слов
- модификаторы: фотореализм, иллюстрация, освещение
Каждая из основных моделей (SD, MJ, Dall-E) обучена и настроена по разному. Внимательно изучите promptbooks каждой из моделей для понимания корректного составления запросов - идеальный prompt для SD кардинально отличается от prompt для MJ.
- Prompt book Dall-E
- Prompt book SD 2.0 / SD базовый prompt book
- Prompt book MJ
- r/StableDiffusion/wiki/
- SD Wiki: Tips, Keywords
- Getting Started, beginners guide
- Perspective, Clothes NAI поиск
- How and why stable diffusion works for text to image generation: Illustrated visual explanation.
- Disco Diffusion Illustrated Settings
- A Traveler’s Guide to the Latent Space
- Stable Diffusion: Trending on Art Station and other myths; part 2
- Stable Diffusion Training data info.
- comparison_of_upscaling_models
- best-prompts-for-text-to-image-models-and-how-to-find-them
- Comparison of Training Techniques: Lora, Inversion, Dreambooth, Hypernetworks: Video
Начните с изучения базовых prompts и их генерации в различных моделях, меняйте запросы и стили (арт, фото) для обучения и понимания различий и особенностей. Постепенно усложняйте prompts, используя негативный prompting, комбинируя стили, меняя разрешения и шаги для генерации.
Для поиска удачных promptов (с примерами) и экспериментов существует множество ресурсов.
Prompt галереи. Поиск вдохновения через уже созданные работы с prompts:
- Lexica - поиск промтов и примеры по ключевым словам
- Openart - поиск промтов и примеры по ключевым словам в SD
- MidJourney - коммьюнити лента работ
- Playground AI - галерея SD, DALL·E 2. img2img, Instruct Pix2Pix. Full Parameters.
- PromptHero: Random wall. - CFG, Dimensions, Steps. Favorites. SD, DALL·E 2, Midjourney. Generate. NSFW
- artspark - поисковые фильтры по артистам стилям и тд.
- PromptRush - промт поиск по ключевым словам и analyzer
- Krea - галерея промтов. Atlas: similar map
- Avyn - поисковая галерея txt2img. In-Painting
- PromptSearch - поисковая галерея
- PromptLocker - комунити АИ артистов с промптамиa community for AI Artists to get and give feedback.
- Promptflow: поиск промптов + генератор.
- Visualise - маркетплейс промптов
- Sparkl - создание промптов Chrome extension
- Publicprompts.art - HQ prompts
Прочие (ранние стадии)
NSFW галереи
Prompt генераторы. Создание оптимизированных и эффективных prompts под ваши цели:
- Promptly: AI улучшалка для ваших промптов
- promptoMANIA: визуальные улучшения.
- Phraser: визуальные улучшения.
- Promptgen:
- AI Text Prompt Generator
- Dynamic Prompt generator
- Gustavosta/MagicPrompt-Stable-Diffusion: GPT-2 дополнения текста. Dall-E 2 version.
- succinctly/text2image: GPT-2 для Midjourney.
- Aiprompt.io: GPT-2 рандомный генератор
- Prompt Parrot colab: тренировки по генерации промтов
- cmdr2: промт генератор для SD
- Phase.art: промт генератор для SD Generator and share.
- Noodle Soup Prompts v3.0
- Prompt extend
- ARTemAI
- prompt-converter: конвертация ваших промтов для разных версий SD v1 в V2
- Promptextend.com
- DistilGPT2 Stable Diffusion V2 Model Card
- Prompt important keyword analyzer
Img2prompt. Загрузите любую картинку и получите ее AI описание для Prompts:
Диффузионные модели обучены на огромном массиве арта, для удобства, существуют базы данных с примерами стилей, художников, фотографов:
- Parrot Zone: Artist Style Studies (SD2) & Modifier Studies
- Clip retrieval: поисковая база данных. Similar search. Github.
- Datasette: поисковик explorer; выборка по artist, celebrities, characters, domain. Info. In.
- Haveibeentrained: поисковкая база. Similar search (вставьте картинку URL после '?url=').
- SD Artist Collection
- The Ai Art: галерея
- urania.ai: топ 500 художников
- Generrated: галлерия DALL-E visual arts media.
- Artist Studies by @remi_durant: галлерея и поисковик.
- SDArtists: 100+ артистов из базы SD
- https://rentry.org/artists_sd-v1-4 :база SD
Прочие инструменты для prompts:
Модели и инструменты постоянно развиваются. Необходимо постоянно следить за новшествами через ряд каналов:
- основные игроки рынка - OpenAI, StabilityAI.
- инфлюенсеры делающие обзоры на youtube https://www.youtube.com/@MattVidPro https://www.youtube.com/@glibatree
- дискорд сообщества MJ / Dall-E / SD
- тематические треды на reddit, чаты telegram
Для достижения идеального результата используйте инструменты совместно. Простой пример цикла по созданию готового арта состоит из нескольких шагов с использованием AI инструментов.
- Подбираем prompt- https://promptomania.com/stable-diffusion-prompt-builder/ https://replicate.com/kyrick/prompt-parrot или создаем свой собственный с нуля.
- Генерируем изображение через SD / MJ / Dall-E
- Используем Inpainting, outpainting для достижения целевого результата (если нужно) https://labs.openai.com/editor. Устраняем артефакты (AI ошибки) через Photoshop
- Редактируем лицо (если нужно) https://replicate.com/tencentarc/gfpgan https://colab.research.google.com/drive/1sVsoBd9AjckIXThgtZhGrHRfFI6UUYOo#scrollTo=tIeL_NJO8A3B
- Увеличиваем итоговое изображение в размере: https://colab.research.google.com/github/olaviinha/NeuralImageSuperResolution/blob/master/SuperRes_ESRGAN.ipynb
Краткий список дополнительных инструментов для улучшения вашей генерации:
- Улучшение лиц - https://colab.research.google.com/drive/1sVsoBd9AjckIXThgtZhGrHRfFI6UUYOo#scrollTo=tIeL_NJO8A3B
- Создание анимаций - https://replicate.com/deforum/deforum_stable_diffusion
- Увеличение изображений -
- https://replicate.com/jingyunliang/swinir
- https://colab.research.google.com/github/olaviinha/NeuralImageSuperResolution/blob/master/SuperRes_ESRGAN.ipynb#scrollTo=tDMw6f0eXOmt
- https://bigjpg.com/
- https://huggingface.co/spaces/akhaliq/Real-ESRGAN
- Заменить предметы на картинке с помощью prompts (без замазывания!) - https://huggingface.co/spaces/timbrooks/instruct-pix2pix
Насмотренность, вдохновение и новые идеи
Сделайте DYOR по теме современного искусства в соц сетях и поисковиках. Примеры видео по теме развития современного искусства (тенденции, интерпретация, рынки):
Для развития насмотренности, большинству необходимо пропускать через себя множество арта. Ищите идеи которые резонируют с вами, развивайте их и создавайте свое используя визуальный поиск:
- https://www.pinterest.com/
- https://www.tumblr.com/
- Google Arts & Culture https://artsandculture.google.com/explore
- Wiki - art techniques, art media, art movements, sculptors, painters, photographers, crafts, photographic techniques, architectural styles, film directors, decorative arts, cinematography, fashion
Не ограничивайте себя ресурсами, журналы, издания, иллюстрации - источник вдохновения можно найти везде.
Начинайте работать с концептами, развитием идеи для вашей первой коллекции. Распишите что, как и зачем вы хотите изобразить, в чем замысел и что вы хотите донести. Изучите выставки и основные направления работы АИ артистов.
- https://aiartists.org/
- https://sensoriumxr.com/articles/guide-to-generative-art-nfts
- https://gothammag.com/top-selling-nft-artists
- https://nft.christies.com/ (NFT площадка одного из главных аукционных домов мира)
- https://www.sothebys.com/en/departments/nft (также NFT подразделение одного из главных аукционных домов мира)
- https://twitter.com/ClaireSilver12
- https://twitter.com/sashastiles
- https://twitter.com/a1111ac011d0
- https://www.botto.com/ AI проект DAO
- https://gothammag.com/top-selling-nft-artists многие используют AI
AI crypto пространство
AI развивающаяся ниша в NFT пространстве, с каждым днем появляется все больше AI артистов, инфлюенсеров, проектов, коллабораций.
Основные блокчейны для AI community - Ethereium и Tezos.
Маркетплейсы по продажам AI арта:
ETH - https://foundation.app/ https://superrare.com/ https://opensea.io/ https://manifold.xyz/
XTZ - https://objkt.com/
Основные AI коллекторы и инфлюенсеры:
- https://twitter.com/CozomoMedici - команда СнупДога по NFT
- https://twitter.com/ClaireSilver12 - AI early adopter
- https://twitter.com/ClownVamp - AI early adopter
- https://twitter.com/P_Azuro - кит с AI коллекцией и комьюнити
- https://www.joyn.xyz/ - список текущих ивентов
- https://twitter.com/NFT_NYC - отдельный стрим по AI арту на грядущих выставках
- https://twitter.com/MAIFMAIFMAIF - AI команда артистов
- https://twitter.com/SuperchiefNFT - AI ивент и галлеря
Гайд как оформить свой профиль как артиста.
Основная площадка для общения и продвижения своего арта - твиттер. Будьте искренними, оставайтесь вне политики, предрассудков и предубеждений. Подписывайтесь на людей, шильте свой арт, лайкайте и оставляйте комментарии. Не стесняйтесь писать DM. Будьте собой, но не забывайте проверять нет ли у вас теневого бана или каких-то других ограничений на аккаунте.
Каков путь AI артиста в пространстве?
Начните с малого. Поставьте цель сделать арт, который резонирует с Вами. Найдите и интегрируйтесь в AI community для того, чтобы быть в курсе последних новостей, моделей и получать обратную связь для улучшения своих навыков. Начните с недорогих малотиражных коллекций на различных блокчейнах, продвигая Ваш art в twitter среди единомышленников.
Ставьте ближайшие достижимые цели, держа в голове общий план и глобальные мечты. Слона можно cъесть только по кусочкам.
Приведу "общий" пример пути и поквартальное целеполагание артиста в криптопространстве. Помните, это только пример, у каждого свой путь:
- Q1 - Создать первую коллекцию (например на objkt.com) из 3 уникальных (1/1) артов объединенную единой идеей. Достичь первых продаж.
- Q2 - Расширить свое присутствие на различных платформах, блокчейнах. Достичь 1000 подписчиков в твиттере.
- Q3 - Подать заявки и выиграть в AI конкурсах для участия в выставках, попасть на https://superrare.com/ . Достичь 5к подписчиков в твиттере.
- Q4 - Попасть на Sotheby's или Christie's.
Безопасность в крипто мире
На каждом шаге крипто путешествия вас ожидает толпа скамеров, желающих забрать каждый цент. Необходимо следовать простым правилам и изучить основы безопасности в крипте.
Дополнительно для художников есть ряд простых правил которым необходимо следовать
- Разделите ваш авторский и горячий кошелек. Не участвуйте в сомнительных минтах, раффлах с вашего основного кошелька автора, через который публикуете работы.
- Не переходите не по каким ссылкам из DM твиттера. 99% подобных сообщений скам. Проведите DYOR аккаунта, который Вам пишет - есть ли у вас общие подписчики? сколько аккаунту лет? какие у него были первые посты в данном аккаунте? оставляет ли он лайки и ответы с данного аккаунта? и тд.
- Не подключайте кошелек и ничего не подписывайте на новых и неизвестных сайтах. Анализатор безопасности (не на 100%) подписей - https://stelolabs.com/
Статья будет дополняться по мере необходимости.
Вопросы / связь - https://twitter.com/artembelll