Всё про Апскейл и только.

2024-03-06T19:30:40.260Z

Здравствуйте!

Я один из участников технического объединения WTP (WISE + Thunder Cloud Team + Low Grade Pirates).

Так же известного как "Апскейлерское объединение с нестандартными вкусами и наклонностями"!

Сегодня я постараюсь пояснить вам за такую интересную тему, как Апскейл!

Расскажу об общих понятиях, расскажу как пользоваться колабом, в общем объясню что делают разные модели в колабе и добавлю несколько советов!

P.s. Всё написанное ниже, по большей части, складывалось с моего понимания и опыта в этом деле, а значит может не на все 100% быть верными. Близким к 100, но всё же.

P.s.s. Если вам понадобится более вариативная помощь, то ждём вас на нашем Дискорд сервер:

https://discord.gg/5H7WQwXBtY

Там вы, так же, сможете получить помощь в случае возникновения ошибок в колабе.

P.s.s.s.

Хаб полезных статей (по требованию апскейл-тирана Умзи):

https://teletype.in/@umzi/oH7MNyP7n-D

Для начала несколько общих понятий

Апскейл — Upscale — увеличение чего-либо (в нашем случае это картинки/изображения)
Колаб — Google Colab — специальный сервис, позволяющий не парится о мощности своего пк и обрабатывать сканы онлайн.
Скринтон — Screenton — одна из техник наложения тона и текстуры, повсеместно применяется в манге, зачастую это точки, растояние между которыми зависит от тона и текстуры.
Шарпилка — Sharp — улучшение контуров в процессе наложения нового скринтона, после сноса старого.
Ресайз — Resize — уменьшение изображения, под определённое разрешение, после апскейла.
Тайлы — Tile — плитка, т.е кусочки на которые делится изображение перед скейлом.
Умзи — ещё один участник WTP. Создатель Цвет и ЧБ моделей для сноса и наложения скринтона.

Теперь к пояснениям

Сам я пользуюсь колабом, ибо он доступен всем и не требует затрат по железу с

вашей стороны, лишь нормальный инет. По этому буду объяснять на его примере:

https://colab.research.google.com/drive/1QFMicv1BsEnI1ivIJoO6C88bGdmhWsuJ#scrollTo=ghdv0baDCS3j (Более не работает)

P.s. Вышла новая версия:
https://colab.research.google.com/drive/1-ijaR4Ld_CUkEMb-l2Cbf918TCQOp8D9?usp=sharing

Многое с прошлой версии в н осталась, а новые фитчи опишу когда работа над ней закончится. Для подробностей можете заходить на наш ДС сервер, ссылка выше.

Для начала вам нужно убедится, что вы используете видеокарту для обработки, а не процессор.

Среда выполнения — Сменить среду выполнения.

В появившейся менюшке убедитесь, что у вас стоит T4 GPU или просто GPU, а не CPU.

В колабе есть ячейки с кодом, которые запускаются посредством нажатия на вот такие кнопки:

Начнём с запуска колаба и установки зависимостей

Для этого нажмите на кнопку в ячейке "Запуск зависимостей".

Через некоторое время колаб запросит доступ в вашему Гугл диску.

Внимание!!!

Вам нужно будет подключится к диску именно того аккаунта, на котором у вас сейчас запущен колаб.

Когда ячейка завершит работу вы можете узнать по галочке возле кнопки или же по значку вкладки:

• Колаб работает:

• Колаб завершил работу:

• В работе колаба возникла ошибка:

После идёт настройка всего

Параметры уровней, работают как в Фотошопе:

• low_input — при увеличение затемняет изображение.

• high_input — при уменьшение высветлят изображение.

• gamma — смещает баланс белого и чёрного.

Остальные параметры:

• diapason_white — отвечает за удаление зашумлённости на белом, -1 отключает.

• diapason_black — отвечает за удаление зашумлённости на чёрном, -1 отключает. По большей части не нужна, ибо является пережитком прошлого и довольно сильно жирнит линии. Но если у вас прям сильные проблемы с серыми линиями, то может и сгодится.

Внимание!!!

Все правки уровней он делает после апскейла, если вам нужна правка перед апскейлом, смотрите примечание с параметром color в конце гайда.

• cenny — выделяет контуры при помощи алгоритма кенни (Подробнее на Викки).

• dot_size — максимальный размер точки в пикселях. При выставлении ниже 5-и пунктов возможны проблемы с градиентами.

По моим тестам:

1000 и меньше — 4

1200 — 5

1600 — 6

1920 — 7

2048 и больше — 8

size — размер по который будет ресайзится страниц.
interpolation — фильтр которым будет производиться уменьшение.

По моим тестам "cubic_mitchell" и "gauss" самые норм.

HW — ресайзить высоту или ширину на размер size.
percent — процент на сколько будет уменьшаться изображение при выходе его размера за size.
spread — ресайзит развороты по значению spread_size.
spread_size — ⬈

recurse — честно, в данном колабе хз что именно делает. Но по словам разраба помогает доставать файлы с папок. Так что лучше оставьте.
de_psd — конвертирует PSD файлы в PNG. Результат будет в PNG.
tile_size — отвечает за скорость обработки. Чем больше, тем быстрее обработаются файлы. Можно поднять до 1000, к примеру, но может появится ошибка "CUDA out of memory", тогда придётся понижать. Советую оставить как есть.

Теперь же перейдём к самой обработке

Для начала, о моделях.

P.s. Не буду к каждой прикреплять пример, ибо лень.

ЧБ:

• 4x_eula_digimanga_MiA_65k — новая модель от Еулы, создателя диджиманги, на архитектуре ESRGAN. Натренина на страницах манги Made in abyss. Делает карандашные контуры (типа карандашём нарисованны). С шумами справляется плохо.

• 4x_MangaJaNai_V1RC34_ESRGAN_760k — так себе модель, работает схоже с диджиманги, но хуже. Добавлена Умзи по приколу.

• 4x_wtp_ms_atdl_v1 — первая версия модели Умзи, для апскела ЧБ с вменяемым скринтоном, на архитектуре ATD Lite. Справляется хуже диджиманги, особенно на сложных текстурах, но лучше переносит побитый скринтон.

• 4x_wtp_ms_plksr_v1 — первая версия модели Умзи, для апскела ЧБ с вменяемым скринтоном, на архитектуре PLKSR. Во всём, кроме чёткости линий, лучше диджиманги. Имеются проблемы на мелких сложных текстурах, модель может переделывать их в светлый скринтон. На вменяемых страницах очень даже неплохой вариант. К тому же она в два раза быстрее диджиманги.

• 4x_dwtp_ds_rgts_v1 — первая модель от Умзи, для апскейла ЧБ со сносом скринтона, на архитектуре RGT_S. Плохо работает с мыльными страницами, больше подходит для средних/больших страниц (1600, 1920, 2048 и т.д.) с побитым скринтоном. Сохраняет максимально много мелких деталей. Ест много оперативы, так что tile_size лучше держать на 512.

• 4x_DWTP_DS_ATDl — первая модель для апскейла ЧБ со сносом скринтона, на архитектуре ATD Lite, от Умзи. Справляется хорошо и быстро, довольно чёткие линии, средне справляется с мелкими деталями. Чуть хуже DAT2, но в 2 раза быстрее него.

• 4x_dwtp_ds_atdl3 — третья модель для апскейла ЧБ со сносом скринтона, на архитектуре ATD Lite, от Умзи. Справляется лучше второй версии, сохраняет больше деталей. Неплохая альтернатива 4x_DWTP_DS_dat2_v3_2.

• 4x_DWTP_DS_ATDl2 — вторая модель для апскейла ЧБ со сносом скринтона, на архитектуре ATD Lite, от Умзи. Справляется чуть лучше первой. Местами сносит большой скринтон. Не советую.

• 4x_DWTP_descreenon_dat2 — первая и самая едрённая модель для апскейла ЧБ со сносом скринтона, на архитектуре DAT2, от Умзи. Хорошо работает как на мелких, так и на больших страницах. Справляется даже с текстурой бумаги у страниц. Из минусов, иногда может оставить линии там, где их быть не должно.

• 4x_DWTP_DS_dat2_v3_2 — "должна была быть четвёртая" модель для апскейла ЧБ со сносом скринтона, на архитектуре DAT2, от Умзи. Довольно хорошо со всем справляется. Лини у неё чуть хуже первой версии, а детали лучше чем третьей. Так что советую её использовать.

• 1_DWTP_ds_span_p+4DWTP_mangasoup_cugan_p — микс двух моделей для апскейла ЧБ со сносом скринтона от Умзи на архитектурах SPAN и CUGAN, результат средний, но работает быстро.

• 4x_eula_digimanga_bw_v2_nc1_307k — вторая версия модели Еулы, для апскела ЧБ с вменяемым скринтоном, на архитектуре ESRGAN. С мелкими страницами справляется чуть хуже первой, но с нормальными ПОРЯДКОМ лучше.

P.s. Первой версии в колабе нет.

• 1x_eula_digimanga_bw_v3_nc1_52k — модель Еулы, для чистки ЧБ страниц от шумов, на архитектуре ESRGAN. Справляется хорошо, но делает белый чуток серым, нужна постобработка уровнями.

• 1x_MangaJPEGMQ — одна из моделей семейства MangaJPEG. Используется для чистки ЧБ страниц от шумов архитектуре ESRGAN. Существует четыре версии этой модели, под разные нужды (но в колабе имеется только одна версия):

1) MangaJPEGHQPlus = Качество JPEG в районе 95-80 (Небольшое количество шумов).

2) MangaJPEGHQ = Качество JPEG в районе 80 - 50 (Хорошие страницы).

3) MangaJPEGMQ = Качество JPEG в районе 60 - 30 (Страницы с видимыми шумами).

4)MangaJPEGLQ = Качество JPEG в районе 25 - 5 (Страницы с большим количеством шумов).

• Так же, через поле models_advance, можно использовать пак моделей MangaJaNai. По модели, почти на каждое, разрешение страниц. Из-за своей узконаправленности, справляются с восстановлением скринтона в разы лучше диджиманги. Восстанавливают даже еле заметный скринтон. Линии так же хорошо восстанавливает. Из минусов лишь то, что они плохо справляются с сложными текстурами. Так, очень хороший пак моделей, советую.

4x_MangaJaNai_1200p_V1RC71_ESRGAN_70k
4x_MangaJaNai_1300p_V1RC1_ESRGAN_75k
4x_MangaJaNai_1400p_V1RC3_ESRGAN_105k
4x_MangaJaNai_1500p_V1RC1_ESRGAN_105k
4x_MangaJaNai_1600p_V1RC1_ESRGAN_70k
4x_MangaJaNai_1920p_V1RC1_ESRGAN_105k
4x_MangaJaNai_2048p_V1RC1_ESRGAN_70k

Цвет:

• 1x_Bendel_Halftone — моедель на архитектуре ESRGAN, для сглаживания шумов и текстур. Сглаживает довольно сильно. Нужен для изображений с неприятными текстурами.

• 1x_Saiyajin_DeJPEG_300000_G — модель для чистки цвета от шумов, на архитектуре ESRGAN, работает лучше вайфу, но медленнее (не на намного). Раньше использовалась для сноса скринтона, справляется с этим делом на мелких страницах.

• 2x_umzi_Mahou_cugan — модель от Умзи для апскейла цвета, архитектуре Cugan. Работает по скорости как Вайфу, но в общем лучше.

• RealESRGAN_x4plus — обычная, среднестатистическая, модель для апскейла цвета, на архитектуре ESRGAN. Справляется средне. Сказать более нечего.

• RealESRGAN_x4plus_anime_6B — модель для апскейла цвета, на архитектуре RealESRGAN. ОЧЕНЬ хорошо апскейлит линии, но при этом к чертям убивает мелкие детали.

• 4x-AnimeSharp — модель для апскейла цвета, на архитектуре ESRGAN. Хорошо апскейлит линии, плохо работает с мелки деталями. Раньше часто использовалась для апскейла ЧБ, справляется с ним средне.

• Семейство моделей 4x-UltraMix — модель для апскейла цвета, на архитектуре ESRGAN. Из-за своей вариативности, хорошо справляются с цветом. Если точнее:

1) 4x-UltraMix_Balanced — хорошо справляется с линиями, умеет сохранять текстуры, но из-за этого хуже справляется с шумами.

2) 4x-UltraMix_Smooth — в отличии от первой, на порядок лучше справляется с шумами, но на порядок меньше сохраняет текстуры.

3) 4x-UltraMix_Restore — не выкупил прикола этой модели, но по словам моего знакомого, Сэкиджу, нужна для прям убитых пикч.

4x_umzi_dehalfton_realplksr_v1 — модель от Умзи для апскейла цвета/чб, cо скринтона, на архитектуре PLKSR. Сносит любые шумы на ура, увеличивает неплохо, но, по понятным причинам, мылит. Работает быстро.

• 4x_umzi_digital_art_span_v1+color_0_250 — модель от Умзи для апскейла цвета, архитектуре Span. Результат средний, но работает максимально быстро. Самая быстра модель в предоставленном списке.

• 4xRealWebPhoto_v3_atd — очень хорошо справляется как с мелкими, так и большими изображениями. Как по мне, одна из лучших цвет моделей. Из минусов жрёт много оперативы, так что tile_size лучше держать на 512.

Теперь о самой ячейке (ЧБ).

models — список моделей, нажимайте и выбирайте.
models_advance — поле для соединения моделей. Принцип описан в колабе.
InputFolder — путь к папке с страницами. Принцип описан в колабе.
Далее, будет ли использоваться всё то, что мы настраивали ранее:
sharp — будут ли контуры на страниц шарпится.
screenton — будет ли на страницы накладываться скрнитон.
resized — будут ли страницы уменьшаться, после апскейла, под определённое разрешение.

С цветом всё ещё проще, там лишь можно вкл/выкл ресайз.

Примечания

Если вы впишите какую либо модель в поле models_advance, например 4x_MangaJaNai_1200p_V1RC71_ESRGAN_70k, то будет использоваться именно вписанная модель, а не модель с списка.
Для апскейла с наложением скринтона, sharp и screenton должны быть включены. Но если вы будете апскейлить страницы через digimanga, то не забудьте их выключить, ибо получите прикол вместо нормальных страниц.
Для апскейла ЧБ с вменяемым скринтоном, советую использовать 4x_eula_digimanga_bw_v2_nc1_307k.
Для апскейла ЧБ с вменяемым/побитым скринтоном, советую использовать семейство моделей 4x_MangaJaNai.
Для апскейла ЧБ со сносом и наложением скринтона, советую использовать 4x_DWTP_DS_dat2_v3_2.
Для апскейла Цвета советую использовать 4xRealWebPhoto_v3_atd.
В поле models_advance вы можете проводить предварительную правку ЧБ. Для этого вам нужно прописать color и через "_" значения чёрного и белого, к примеру color_15_250, где 15 — затемнение на 15 пунктов, а 250 — осветление на 5 пунктов. По стандарту color_0_255. После вам нужно будет через "+" дописать название модели, к примеру color_15_250+4x_MangaJaNai_1200p_V1RC71_ESRGAN_70k.

P.s. Там, пока-то, не все примеры есть, но позже я всё добавлю.

О скоростях архитектур:

Чем ниже в списке архитектура, тем она медленнее, а значит обработка займёт больше времени. Имейте ввиду.

Доп

Если у вас возникла какая-либо ошибка, то ненужно сразу бежать к нам на сервер и пинговать админ состав. Чаще всего ошибки возникают с вашей стороны. Проверьте, запустили ли вы все ячейки в начальных настройках, есть ли у вас страницы в папке, размер tile_size и т.д. В крайнем случае просто перезапустите колаб. Если это всё не помогает, вот тогда уже сообщайте об ошибке. (Кстати, если у вас медленно скачиваются модели, перезапуск колаба тоже может помочь).
Если вы получили такое сообщение при запуске колаба, значит вы достигли лимита на его использование и у вас начался 12-ти часовой таймаут. Вы можете подождать 12 часов, либо же запустить колаб с другого гугл аккаунта. Во время таймаута колаб не будет вам выдавать видеокарту, то бишь все процессы будут проходить на процессоре, из-за чего обработка даже небольшой страницы может занять у вас более получаса. Так что, если вы не мазохист, то не советую вам использовать колаб во время таймаута.

Сюда я вам лезть не рекомендую, если, конечно, не хотите в один день проснутся без почки и с полностью чистым гугл диском.

И ещё немного полезной информации:

Гайд по обработке от GuSeRg, Umzi, Weqeq:

https://sites.google.com/view/umzisharp-processing/%D0%B3%D0%BB%D0%B0%D0%B2%D0%BD%D0%B0%D1%8F

Апскейл-шпаргалка от Sekiju:

https://teletype.in/@sekijx/o-k5sbvgkOB

Гайд по chainner + utmanga (ресайз, скринтон, уровни) для апскейла у себя на компьютере (не колаб) от ShaDream:

https://docs.google.com/document/d/1qCwpOYtUDd-DFErpjc2bKfGipiK_fML1IAm_8YQcCbY/edit?usp=sharing

Большое спасибо Умзи за созданный колаб и помощь с частью информации!

https://mangalib.me/user/801961

AniChan