Обновление FaceFusion v3.0.0 — ультимативной нейросети для дипфейков!
В этой статье взглянем на FaceFusion версии 3.0.0 — мощный инструмент для замены лиц на изображениях и видео!
Для использования понадобится всего лишь фотография в профиль. Также в статье расскажу, как не париться с установкой и запустить FaceFusion в один клик
Основные возможности FaceFusion:
• Замена лиц на фото и видео
• Улучшение качества лиц и кадров
• Раскрашивание черно-белых видео
• Синхронизация губ (Lip-sync)
• Поддержка нескольких моделей для замены лиц
• Настройка параметров обработки
• Работа с несколькими лицами в кадре
А в последней версии добавлено следующее:
• Добавлена возможность изменения возраста
• Улучшение качества пикселей для алгоритмов замены лиц
• Live Portrait улучшает выражения лиц на фотографиях
• Порядок выбора лиц теперь учитывает возраст, пол и другие параметры
• Новые видеокодеки h264_videotoolbox и hevc_videotoolbox
• Исправлено качество изображений формата webp
и другие улучшения и изменения, весь список вы можете прочесть на GitHub
ИНТЕРФЕЙС
ОСНОВНЫЕ ПАРАМЕТРЫ
1. Source — источник, сюда мы подгружаем лицо, на которое будем заменять. В данном случае это моя фотокарточка
2. Target — изображение или видео, на котором мы хотим заменить лицо
3. Output — результат генерации
Trim Frame — (появляется при работе с видео) обрезка кадра, если не нужно делать видео полностью
4. Face Selector Mode — режим селектора лица, то есть выбор лица для свапа.
Режим reference — заменяем выбранное эталонное лицо в reference face
Режим one — меняет лицо в соответствии с ПАРАМЕТРАМИ, по умолчанию заменяет самое левое лицо в кадре
Режим many — меняет все лица в кадре
5. Face Mask Types — тип масок лица. Особо ничего не меняет, можете посмотреть, как он работает наглядно, включив face_debugger, о котором ниже. У типа region можно выбрать, какие элементы лица не менять(например, рот, тон кожи, нос, верхнюю губу и т. п.)
Блок Face Mask Padding помогает сдвигать маску по горизонтали и вертикали, но лично мне это ни разу не пригодилось.
6. Face Detector Model — модель детектора лица, поможет анализировать лица разными способами (например, слева-направо, сверху вниз, от маленького к большому и т. п., а также по полу и возрасту). И если, к примеру, вы выбрали режим селектора лица one, то он будет детектить только нужные лица в соответствии с этими настройками
face_swapper — заменяет лицо
face_enhancer — улучшение лица
frame_enhancer — улучшение всего кадра
age_modifier — возраст
frame_colorizer — окрашивание черно-белых изображений и видео
face_debugger — отображение типов масок лица
expression_restore — помогает сделать выражения лиц более эмоциональными после замены
Вы можете использовать один или сразу несколько процессоров кадров.
МОДЕЛИ
Для каждого процессора кадров есть свои модели и все они работают по-разному. Экспериментируйте и пробуйте разные!
Face Swapper Model — модели замены лица. Самая частоиспользумая - inswapper_128_fp16, она чуть быстрее чем обычный inswapper_128
Face Enhancer Model — по аналогии, модели для улучшения лица. Я предпочитаю gfpgan_1.4
Ну и для остальных процессоров также есть свои модели. Они появляются после того, как вы добавите один из процессоров кадров.
Если при выборе модели у вас в терминале выскакивает надпись, что модель отсутствует, просто внизу страницы уберите галочку со skip_download, она мешает скачиванию модели
ДРУГИЕ ПАРАМЕТРЫ
Execution providers — среда выполнения. Если у вас видеокарта NVIDIA, то выбирайте режим Cuda. CPU, соответственно, использование ресурсов процессора
Execution Thread Count — количество потоков выполнения. Желательно выставлять побольше, но не рекомендую ставить в самый потолок
Video Memory Strategy — Стратегия видеопамяти. Не рекомендую его менять от слова совсем, в крайнем случае у вас просто вся видеопамять будет загружена.
Также не рекомендую изменять Output Video Resolution и Output Video FPS, так как они задаются автоматически, когда вы подгружаете видео или gif
keep-temp — сохраняет нарезанные кадры
skip-audio — позволяет не использовать звуковую дорожку на видео
Остальные параметры не особо интересные, либо особо ни на что не влияют, поэтому двигаемся далее!
ВОЗМОЖНОСТИ FACEFUSION
Как вы уже поняли, FaceFusion работает и с изображениями, и с видео (и даже с видео со звуком), действительно ультимативная нейросеть для дипфейков. В последнем обновлении так же добавили модификатор возраста, сейчас посмотрим, на что она способна!
Начнем от простого к сложному.
Очень интересно, давайте попробуем поиграться с функцией восстановления цвета:
Еще один пример с еще одной известной личностью:
Также в этой версии добавили процессор age_modifier, давайте посмотрим, как он работает
Вот статичный и более наглядный пример:
Ну и даже с разными тонами кожи нейросеть справляется хорошо:
Ну и если нужно заменить МНОГО лиц, да еще и с восстановлением цвета, то пожалуйста (кстати, еще добавил expression_restorer, а то уж больно скучные лица были)
В заключение хочется сказать, что FaceFusion очень мощный и полезный инструмент, который может пригодиться всем, кто так или иначе сталкивается с созданием или публикацией контента.
Поэтому используйте ПО исключительно в позитивном ключе, придерживаясь этики и закона:
- Не используйте лица людей без их явного согласия.
- Избегайте применения для обмана или введения в заблуждение других лиц.
- Воздержитесь от использования в коммерческих целях без соответствующих разрешений.
- Не создавайте контент, порочащий репутацию или унижающий достоинство других людей.
- Не применяйте технологию для создания фальшивых новостей или дезинформации.
- Избегайте использования в целях политической пропаганды или манипуляции общественным мнением.
- Не используйте для создания порнографического контента без согласия.
- Воздержитесь от применения в ситуациях, где требуется подтверждение личности (например, при онлайн-экзаменах или собеседованиях).
- Не используйте для обхода систем безопасности или аутентификации.
- Избегайте создания контента, нарушающего авторские права или интеллектуальную собственность.
Помните, что ответственность за его использование лежит на пользователе. Применяйте технологию этично, уважая права и достоинство других людей.
Чтобы установить FaceFusion, достаточно скачать нашу портативную версию с установкой в один клик.
Перед установкой отключите антивирус, он ругается на самораспаковывающийся архив. Если переживаете, то скачивайте 7z-архив, который нужно просто разархивировать в любое удобное место
Подписывайтесь на 👾Нейро-Софт, канал с портативными версиями ваших любимых нейросетей!