Мануал по обучению LoRA

Легенда:
было бы неплохо генерировать изображения с прогнозируемым результатом.
Актуально для SMMщиков, контент-заводов, оформления регулярных публикаций в личном блоге. Круто помогает при заготовке изображений для генерации видео.
Отлично автоматизируется no- и lowcode инструментами.

Задача: быстро и недорого натренировать модель на наших фотках.

Инструменты:
1. Фотки
2. https://replicate.com/
3. https://huggingface.co/

Стоимость:
Тренировка модели - 3-5$
Генерация изображений - 0.05 - 0.1$ (fal-ai/flux-lora, например)

Шаг 1. Материал для тренировки

Понадобятся 20-25 фото одного и того-же объекта в хорошем качестве.

Дело отлично пойдет, если будет нормальное освещение и человек на фото покажет чуть больше эмоций, чем национальный poker face.

Шаг 2. Hugging Face

Фактически это коллекция-агрегатор готовых современных предварительно обученных Deep Learning моделей. Супер помогает, когда надо что-то эдакое, но кодером ты не уродился.

1. Создаем аккаунт
2. Создаем новую модель, сохраняем ее path

3. Создаем новый Access Token. Сохраняем.

Шаг 3. Replicate

Платформа для запуска и настройки моделей искусственного интеллекта с помощью API, упрощающая интеграцию AI в проекты. Много всяких полезностей в одном месте.

1. Создаем аккаунт GitHub
2. Логинимся в Replicate с помощью GitHub
3. Закидываем на аккаунт 5$ (должно хватить на 20-25 фото)
4. Идем по ссылке и заполняем форму
- Destination - создаем новую модель (можно не сохранять, она нужна только для тренировки)
- input_images - добавляем архив со своими фото
- trigger_word - ВАЖНО! Будем при генерациииспользовать его для вывода модели Я обычно называю ником или именем того, кто на фото.
- steps - рекомендую установить значение "2000"
- hf_repo_id - path к модели Hugging Face из шага 2.2
- hf_token - access token Huggung face из шага 2.3

Больше никакие поля не трогаем!

5. Жмем Create Training и идем пить кофе (15-30 минут)

Шаг 4. Генерация фото

Обученная и натернированная модель живет в Hugging Face (path из шага 2.2) Уже с ней можно генерировать фото по обычному промту.

Сделай мне фото [[trigger_word]] на Елисейских полях

Генерировать можно здесь, например (должны были остаться $ на балансе для тестов)

Чтобы заработало, подставьте в hf_lora path на свою модель в hugging face.