Всё про Апскейл и только.
Я один из участников технического объединения WTP (WISE + Thunder Cloud Team + Low Grade Pirates).
Так же известного как "Апскейлерское объединение с нестандартными вкусами и наклонностями"!
Сегодня я постараюсь пояснить вам за такую интересную тему, как Апскейл!
Расскажу об общих понятиях, расскажу как пользоваться колабом, в общем объясню что делают разные модели в колабе и добавлю несколько советов!
P.s. Всё написанное ниже, по большей части, складывалось с моего понимания и опыта в этом деле, а значит может не на все 100% быть верными. Близким к 100, но всё же.
P.s.s. Если вам понадобится более вариативная помощь, то ждём вас на нашем Дискорд сервер:
Там вы, так же, сможете получить помощь в случае возникновения ошибок в колабе.
Хаб полезных статей (по требованию апскейл-тирана Умзи):
Для начала несколько общих понятий
- Апскейл — Upscale — увеличение чего-либо (в нашем случае это картинки/изображения)
- Колаб — Google Colab — специальный сервис, позволяющий не парится о мощности своего пк и обрабатывать сканы онлайн.
- Скринтон — Screenton — одна из техник наложения тона и текстуры, повсеместно применяется в манге, зачастую это точки, растояние между которыми зависит от тона и текстуры.
- Шарпилка — Sharp — улучшение контуров в процессе наложения нового скринтона, после сноса старого.
- Ресайз — Resize — уменьшение изображения, под определённое разрешение, после апскейла.
- Тайлы — Tile — плитка, т.е кусочки на которые делится изображение перед скейлом.
- Умзи — ещё один участник WTP. Создатель Цвет и ЧБ моделей для сноса и наложения скринтона.
Теперь к пояснениям
Сам я пользуюсь колабом, ибо он доступен всем и не требует затрат по железу с
вашей стороны, лишь нормальный инет. По этому буду объяснять на его примере:
https://colab.research.google.com/drive/1QFMicv1BsEnI1ivIJoO6C88bGdmhWsuJ#scrollTo=ghdv0baDCS3j (Более не работает)
P.s. Вышла новая версия:
https://colab.research.google.com/drive/1-ijaR4Ld_CUkEMb-l2Cbf918TCQOp8D9?usp=sharing
Многое с прошлой версии в н осталась, а новые фитчи опишу когда работа над ней закончится. Для подробностей можете заходить на наш ДС сервер, ссылка выше.
Для начала вам нужно убедится, что вы используете видеокарту для обработки, а не процессор.
Среда выполнения — Сменить среду выполнения.
В появившейся менюшке убедитесь, что у вас стоит T4 GPU или просто GPU, а не CPU.
В колабе есть ячейки с кодом, которые запускаются посредством нажатия на вот такие кнопки:
Начнём с запуска колаба и установки зависимостей
Для этого нажмите на кнопку в ячейке "Запуск зависимостей".
Через некоторое время колаб запросит доступ в вашему Гугл диску.
Вам нужно будет подключится к диску именно того аккаунта, на котором у вас сейчас запущен колаб.
Когда ячейка завершит работу вы можете узнать по галочке возле кнопки или же по значку вкладки:
• В работе колаба возникла ошибка:
После идёт настройка всего
Параметры уровней, работают как в Фотошопе:
• low_input — при увеличение затемняет изображение.
• high_input — при уменьшение высветлят изображение.
• gamma — смещает баланс белого и чёрного.
• diapason_white — отвечает за удаление зашумлённости на белом, -1 отключает.
• diapason_black — отвечает за удаление зашумлённости на чёрном, -1 отключает. По большей части не нужна, ибо является пережитком прошлого и довольно сильно жирнит линии. Но если у вас прям сильные проблемы с серыми линиями, то может и сгодится.
Все правки уровней он делает после апскейла, если вам нужна правка перед апскейлом, смотрите примечание с параметром color в конце гайда.
• cenny — выделяет контуры при помощи алгоритма кенни (Подробнее на Викки).
• dot_size — максимальный размер точки в пикселях. При выставлении ниже 5-и пунктов возможны проблемы с градиентами.
- size — размер по который будет ресайзится страниц.
- interpolation — фильтр которым будет производиться уменьшение.
По моим тестам "cubic_mitchell" и "gauss" самые норм.
- HW — ресайзить высоту или ширину на размер size.
- percent — процент на сколько будет уменьшаться изображение при выходе его размера за size.
- spread — ресайзит развороты по значению spread_size.
- spread_size — ⬈
- recurse — честно, в данном колабе хз что именно делает. Но по словам разраба помогает доставать файлы с папок. Так что лучше оставьте.
- de_psd — конвертирует PSD файлы в PNG. Результат будет в PNG.
- tile_size — отвечает за скорость обработки. Чем больше, тем быстрее обработаются файлы. Можно поднять до 1000, к примеру, но может появится ошибка "CUDA out of memory", тогда придётся понижать. Советую оставить как есть.
Теперь же перейдём к самой обработке
P.s. Не буду к каждой прикреплять пример, ибо лень.
• 4x_eula_digimanga_MiA_65k — новая модель от Еулы, создателя диджиманги, на архитектуре ESRGAN. Натренина на страницах манги Made in abyss. Делает карандашные контуры (типа карандашём нарисованны). С шумами справляется плохо.
• 4x_MangaJaNai_V1RC34_ESRGAN_760k — так себе модель, работает схоже с диджиманги, но хуже. Добавлена Умзи по приколу.
• 4x_wtp_ms_atdl_v1 — первая версия модели Умзи, для апскела ЧБ с вменяемым скринтоном, на архитектуре ATD Lite. Справляется хуже диджиманги, особенно на сложных текстурах, но лучше переносит побитый скринтон.
• 4x_wtp_ms_plksr_v1 — первая версия модели Умзи, для апскела ЧБ с вменяемым скринтоном, на архитектуре PLKSR. Во всём, кроме чёткости линий, лучше диджиманги. Имеются проблемы на мелких сложных текстурах, модель может переделывать их в светлый скринтон. На вменяемых страницах очень даже неплохой вариант. К тому же она в два раза быстрее диджиманги.
• 4x_dwtp_ds_rgts_v1 — первая модель от Умзи, для апскейла ЧБ со сносом скринтона, на архитектуре RGT_S. Плохо работает с мыльными страницами, больше подходит для средних/больших страниц (1600, 1920, 2048 и т.д.) с побитым скринтоном. Сохраняет максимально много мелких деталей. Ест много оперативы, так что tile_size лучше держать на 512.
• 4x_DWTP_DS_ATDl — первая модель для апскейла ЧБ со сносом скринтона, на архитектуре ATD Lite, от Умзи. Справляется хорошо и быстро, довольно чёткие линии, средне справляется с мелкими деталями. Чуть хуже DAT2, но в 2 раза быстрее него.
• 4x_dwtp_ds_atdl3 — третья модель для апскейла ЧБ со сносом скринтона, на архитектуре ATD Lite, от Умзи. Справляется лучше второй версии, сохраняет больше деталей. Неплохая альтернатива 4x_DWTP_DS_dat2_v3_2.
• 4x_DWTP_DS_ATDl2 — вторая модель для апскейла ЧБ со сносом скринтона, на архитектуре ATD Lite, от Умзи. Справляется чуть лучше первой. Местами сносит большой скринтон. Не советую.
• 4x_DWTP_descreenon_dat2 — первая и самая едрённая модель для апскейла ЧБ со сносом скринтона, на архитектуре DAT2, от Умзи. Хорошо работает как на мелких, так и на больших страницах. Справляется даже с текстурой бумаги у страниц. Из минусов, иногда может оставить линии там, где их быть не должно.
• 4x_DWTP_DS_dat2_v3_2 — "должна была быть четвёртая" модель для апскейла ЧБ со сносом скринтона, на архитектуре DAT2, от Умзи. Довольно хорошо со всем справляется. Лини у неё чуть хуже первой версии, а детали лучше чем третьей. Так что советую её использовать.
• 1_DWTP_ds_span_p+4DWTP_mangasoup_cugan_p — микс двух моделей для апскейла ЧБ со сносом скринтона от Умзи на архитектурах SPAN и CUGAN, результат средний, но работает быстро.
• 4x_eula_digimanga_bw_v2_nc1_307k — вторая версия модели Еулы, для апскела ЧБ с вменяемым скринтоном, на архитектуре ESRGAN. С мелкими страницами справляется чуть хуже первой, но с нормальными ПОРЯДКОМ лучше.
• 1x_eula_digimanga_bw_v3_nc1_52k — модель Еулы, для чистки ЧБ страниц от шумов, на архитектуре ESRGAN. Справляется хорошо, но делает белый чуток серым, нужна постобработка уровнями.
• 1x_MangaJPEGMQ — одна из моделей семейства MangaJPEG. Используется для чистки ЧБ страниц от шумов архитектуре ESRGAN. Существует четыре версии этой модели, под разные нужды (но в колабе имеется только одна версия):
1) MangaJPEGHQPlus = Качество JPEG в районе 95-80 (Небольшое количество шумов).
2) MangaJPEGHQ = Качество JPEG в районе 80 - 50 (Хорошие страницы).
3) MangaJPEGMQ = Качество JPEG в районе 60 - 30 (Страницы с видимыми шумами).
4)MangaJPEGLQ = Качество JPEG в районе 25 - 5 (Страницы с большим количеством шумов).
• Так же, через поле models_advance, можно использовать пак моделей MangaJaNai. По модели, почти на каждое, разрешение страниц. Из-за своей узконаправленности, справляются с восстановлением скринтона в разы лучше диджиманги. Восстанавливают даже еле заметный скринтон. Линии так же хорошо восстанавливает. Из минусов лишь то, что они плохо справляются с сложными текстурами. Так, очень хороший пак моделей, советую.
4x_MangaJaNai_1200p_V1RC71_ESRGAN_70k
4x_MangaJaNai_1300p_V1RC1_ESRGAN_75k
4x_MangaJaNai_1400p_V1RC3_ESRGAN_105k
4x_MangaJaNai_1500p_V1RC1_ESRGAN_105k
4x_MangaJaNai_1600p_V1RC1_ESRGAN_70k
4x_MangaJaNai_1920p_V1RC1_ESRGAN_105k
4x_MangaJaNai_2048p_V1RC1_ESRGAN_70k
• 1x_Bendel_Halftone — моедель на архитектуре ESRGAN, для сглаживания шумов и текстур. Сглаживает довольно сильно. Нужен для изображений с неприятными текстурами.
• 1x_Saiyajin_DeJPEG_300000_G — модель для чистки цвета от шумов, на архитектуре ESRGAN, работает лучше вайфу, но медленнее (не на намного). Раньше использовалась для сноса скринтона, справляется с этим делом на мелких страницах.
• 2x_umzi_Mahou_cugan — модель от Умзи для апскейла цвета, архитектуре Cugan. Работает по скорости как Вайфу, но в общем лучше.
• RealESRGAN_x4plus — обычная, среднестатистическая, модель для апскейла цвета, на архитектуре ESRGAN. Справляется средне. Сказать более нечего.
• RealESRGAN_x4plus_anime_6B — модель для апскейла цвета, на архитектуре RealESRGAN. ОЧЕНЬ хорошо апскейлит линии, но при этом к чертям убивает мелкие детали.
• 4x-AnimeSharp — модель для апскейла цвета, на архитектуре ESRGAN. Хорошо апскейлит линии, плохо работает с мелки деталями. Раньше часто использовалась для апскейла ЧБ, справляется с ним средне.
• Семейство моделей 4x-UltraMix — модель для апскейла цвета, на архитектуре ESRGAN. Из-за своей вариативности, хорошо справляются с цветом. Если точнее:
1) 4x-UltraMix_Balanced — хорошо справляется с линиями, умеет сохранять текстуры, но из-за этого хуже справляется с шумами.
2) 4x-UltraMix_Smooth — в отличии от первой, на порядок лучше справляется с шумами, но на порядок меньше сохраняет текстуры.
3) 4x-UltraMix_Restore — не выкупил прикола этой модели, но по словам моего знакомого, Сэкиджу, нужна для прям убитых пикч.
4x_umzi_dehalfton_realplksr_v1 — модель от Умзи для апскейла цвета/чб, cо скринтона, на архитектуре PLKSR. Сносит любые шумы на ура, увеличивает неплохо, но, по понятным причинам, мылит. Работает быстро.
• 4x_umzi_digital_art_span_v1+color_0_250 — модель от Умзи для апскейла цвета, архитектуре Span. Результат средний, но работает максимально быстро. Самая быстра модель в предоставленном списке.
• 4xRealWebPhoto_v3_atd — очень хорошо справляется как с мелкими, так и большими изображениями. Как по мне, одна из лучших цвет моделей. Из минусов жрёт много оперативы, так что tile_size лучше держать на 512.
- models — список моделей, нажимайте и выбирайте.
- models_advance — поле для соединения моделей. Принцип описан в колабе.
- InputFolder — путь к папке с страницами. Принцип описан в колабе.
- Далее, будет ли использоваться всё то, что мы настраивали ранее:
- sharp — будут ли контуры на страниц шарпится.
- screenton — будет ли на страницы накладываться скрнитон.
- resized — будут ли страницы уменьшаться, после апскейла, под определённое разрешение.
С цветом всё ещё проще, там лишь можно вкл/выкл ресайз.
Примечания
- Если вы впишите какую либо модель в поле models_advance, например 4x_MangaJaNai_1200p_V1RC71_ESRGAN_70k, то будет использоваться именно вписанная модель, а не модель с списка.
- Для апскейла с наложением скринтона, sharp и screenton должны быть включены. Но если вы будете апскейлить страницы через digimanga, то не забудьте их выключить, ибо получите прикол вместо нормальных страниц.
- Для апскейла ЧБ с вменяемым скринтоном, советую использовать 4x_eula_digimanga_bw_v2_nc1_307k.
- Для апскейла ЧБ с вменяемым/побитым скринтоном, советую использовать семейство моделей 4x_MangaJaNai.
- Для апскейла ЧБ со сносом и наложением скринтона, советую использовать 4x_DWTP_DS_dat2_v3_2.
- Для апскейла Цвета советую использовать 4xRealWebPhoto_v3_atd.
- В поле models_advance вы можете проводить предварительную правку ЧБ. Для этого вам нужно прописать color и через "_" значения чёрного и белого, к примеру color_15_250, где 15 — затемнение на 15 пунктов, а 250 — осветление на 5 пунктов. По стандарту color_0_255. После вам нужно будет через "+" дописать название модели, к примеру color_15_250+4x_MangaJaNai_1200p_V1RC71_ESRGAN_70k.
P.s. Там, пока-то, не все примеры есть, но позже я всё добавлю.
Чем ниже в списке архитектура, тем она медленнее, а значит обработка займёт больше времени. Имейте ввиду.
Доп
- Если у вас возникла какая-либо ошибка, то ненужно сразу бежать к нам на сервер и пинговать админ состав. Чаще всего ошибки возникают с вашей стороны. Проверьте, запустили ли вы все ячейки в начальных настройках, есть ли у вас страницы в папке, размер tile_size и т.д. В крайнем случае просто перезапустите колаб. Если это всё не помогает, вот тогда уже сообщайте об ошибке. (Кстати, если у вас медленно скачиваются модели, перезапуск колаба тоже может помочь).
- Если вы получили такое сообщение при запуске колаба, значит вы достигли лимита на его использование и у вас начался 12-ти часовой таймаут. Вы можете подождать 12 часов, либо же запустить колаб с другого гугл аккаунта. Во время таймаута колаб не будет вам выдавать видеокарту, то бишь все процессы будут проходить на процессоре, из-за чего обработка даже небольшой страницы может занять у вас более получаса. Так что, если вы не мазохист, то не советую вам использовать колаб во время таймаута.
- Сюда я вам лезть не рекомендую, если, конечно, не хотите в один день проснутся без почки и с полностью чистым гугл диском.
И ещё немного полезной информации:
Гайд по обработке от GuSeRg, Umzi, Weqeq:
https://sites.google.com/view/umzisharp-processing/%D0%B3%D0%BB%D0%B0%D0%B2%D0%BD%D0%B0%D1%8F
Гайд по chainner + utmanga (ресайз, скринтон, уровни) для апскейла у себя на компьютере (не колаб) от ShaDream:
https://docs.google.com/document/d/1qCwpOYtUDd-DFErpjc2bKfGipiK_fML1IAm_8YQcCbY/edit?usp=sharing
Большое спасибо Умзи за созданный колаб и помощь с частью информации!