Как убрать смаз на фото нейросетью
Пост опубликован на Слайламе. Пост родился благодаря фотке из чата Слайламы.
На днях Сергей Waskinistrator показал в чате вот эту фотографию:
Фотка сделана в режиме приоритета диафрагмы. Очевидно, камера выставила недостаточно короткую выдержку, что привело к смазу. Сергей рассказал, что этот снимок вдохновил его впоследствии чаще работать в мануале, чтобы не получать подобного брака из-за неадекватных параметров съемки.
Мне снимок показался перспективным и я попросил у автора равку с целью попытаться пропустить ее через улучшайзеры. Сейчас покажу, как это было и что в итоге получилось.
1. Проявка
Первым делом я решил перепроявить фотку, чтобы вернуть настроение тягучего утра. Если на ней утро, конечно. Короче говоря, вот новая проявка:
Авторская версия была кропнута, но мне захотелось оставить воздух справа.
Хорошая фотография, но даже в неполном разрешении смаз сильно портит впечатление. В фулрезе вообще беда. Вот вам кроп для лучшего понимания проблемы:
Тачку смазало, парня размазало. Обидно.
Что ж, будем осваивать улучшайзеры на нейронках. Работать буду в двух софтинах от Топаз-Лабс: шарпере Sharpen и апскейлере Gigapixel. Это не рекламный пост, хотя мог бы быть, софт у Топазов клевый. И злой: вполне может вызвать синий экран или привести к перезагрузке компьютера.
Кстати, да. Картинку мучать придется в несколько этапов и, для большей гибкости и собственного спокойствия, фотку для работы я проявил в 16-битный тифф.
2. Нейро-шарпинг
Первым делом загружаю фотку в шарпер.
У него есть несколько ии-моделей, натасканных на разные ситуации:
Нас в первую очередь интересуют модели категории Моушн-блюр: смаз на фотке вызван движением камеры во время съемки и имеет вполне конкретный вектор размытия.
Чем отличаются категории Вне фокуса и Слишком мыльно не так очевидно. Вероятно, просто тренировались на разных массивах фотографий и понимают разные типы нерезкости.
Помимо выбора модели можно настроить еще пару параметров: мощь нейронки и степень задавливания шума; включить режим работы по автоматической и полуавтоматической маске; накинуть зерна.
Насколько я могу судить, шумодав здесь не классический, а часть нейронной модели. Но могу и ошибаться.
Но давайте уже шарпить. Модель Моушн-блюр — Очень мыльно на автонастройках тут же нарисовала вот такие чудеса:
Вы посмотрите на эти детали! Пружинки, какие-то наваренные железяки, корявости краски. Нейронка просто сумасшедшая!
Нет, серьезно, посмотрите еще раз поближе:
Но не без ложки кринга. Главная проблема — лицо парня. На нем нейронка наартефачила по-полной:
Да, пацану не повезло. Придется с ним еще поработать. Но в остальном главный объект в сцене стал выглядеть гораздо лучше.
Для будущего коллажирования я пошарпил фотку еще несколько раз разными моделями с разными настройками и стал думать, что делать с пацаном.
А думать тут и нечего. У топазовского апскейлера есть функция Восстановление лица, которая с невероятной небрежностью относится к исходному материалу, придумывая детали от своей нейронной балды. То, что нужно.
Для удобства и скорости подбора параметров я подал апскейлеру не целиковую фотку, а кропнутую до пацана (1). И начал баловаться с настройками. В результате нейронка нарисовала ему новое лицо (2). Эта картинка была снова пропущена через шарпер (3), чтобы прибрать оставшийся эффект смаза.
Что ж. Судя по всему, модельный релиз нам не понадобится. Парень просто стал другим человеком.
Логичный вопрос: почему бы не подать на вход не оригинального мутного пацана, а отшарпленную на предыдущем этапе версию, чтобы не бороться с уже поборенным смазом?
Ответ: потому что функция Восстановления лица в апскейлере не находит лицо после жестого убирания смаза шарпером. Кек.
Не надо думать, что появление каких-то артефактов нам повредит. Я не выбрасываю промежуточные версии улучшенных картинок, если вижу, что отдельные участки на них выглядят лучше. На композе соберется изображение, которое возьмет удачные элементы ото всех.
Собственно, давайте этим и займемся.
3. Композ
Нейронки-нейронками, а без Фотошопа никуда. Финальный коллаж начался с пары десятков картинок в качестве потенциальных доноров, но в итоге оптимизировался до довольно скромной группы слоев:
Также некоторая мультяшность деталей подтолкнула меня замаскировать их зерном. Оригинальная фотография сделана на ИСО 1600, но процессы решарпа убрали фактуру шума. Так что, зернишко как будто даже восстановило справедливость.
И вот она, финальная нейрография:
Помните, с чего мы начинали? Вспомним в 100% масштабе:
Да, видны определенные артефакты. Именно поэтому я отдал картинку автору в 50% размере. Это все еще немало: 2736×1824 точки, достаточно, чтобы напечатать фотку 23×15 см при 300 точках на дюйм. А уж детальность этой фотки будет не в пример выше оригинала, который был смазанным в любом формате, кроме инстаграмного.
Что думаете? Могут нейронки быть полезными человеку фотографу? Я считаю, что да, очень даже. Спасибо им, и спасибо Сергею за атмосферную фотографию для моего операционного стола ❤️