Alexander Ploshkin

StyleGAN: A Style-Based Generator Architecture for Generative Adversarial Networks

2021-11-28T16:14:55.533Z

🔗 Ссылки

https://github.com/NVlabs/stylegan — осторожно, внутри TF1 🚩🚩🚩

https://github.com/huangzh13/StyleGAN.pytorch — неофициальная реализация на PyTorch

https://github.com/NVlabs/ffhq-dataset — датасет FFHQ

💎 Контрибьюшн

StyleGAN — одна из первых архитектур, в которой латентный вектор подаётся не напрямую в свёрточный генератор, а через AdaIN'ы. Для того, чтобы это взлетело, авторам понадобилось реализовать несколько интересных идей:

Нелинейный маппинг (по сути MLP) Z->W — это позволяет unsupervised развязывать признаки в латентном пространстве, что приводит к более гладкой интерполяции
Аддитивный шум перед AdaIN'ами — чтобы обеспечить стохастичность деталей, в то время как общая суть картинки неизменна
Style mixing — смешиваем 2 стиля при генерации, "this prevents the network from assuming that adjacent styles are correlated"

Помимо этого в статье предложены 2 автоматические метрики хорошести латентных пространств:

Perceptual Path Length — насколько сильно картинка меняется при незначительных изменениях латентного вектора
Linear Separability — насколько хорошо работает линейный классификатор (SVM), обученный на латентных векторах из W

В итоге, хотя авторы и не заявляют о SoTA в задаче генерации, они предложили принципиально новый рабочий фреймворк, который послужил фундаментом для дальнейшего развития области и в частности работ StyleGAN2 и StyleGAN3.

🛠 Задача

Главное, что стоит понимать — StyleGAN решает задачу генерации картинок, а не style-transfer'а. То есть на входе нет ничего, а хочется получить реалистичную картинку из определённого домена: лицо (FFHQ), фотографию комнаты (LSUN), машину (LSUN Car), котика (LSUN Cat), etc.

В реальности же вводится латентное пространство Z, из которого сэмплируется вектор и подаётся на вход в генератор. Это нужно для разнообразия синтезируемых картинок — сеть обуславливается на вектор из Z и генерирует разные детали.

🔎 Детали

Progressive Growing of GANs

Статья во многом опирается на Progressive Growing of GANs, предыдущую статью того же автора, поэтому я тезисно повторю главные идеи оттуда:

G и D зеркально противоположны
На вход в G подаётся латентный вектор из Z
В процессе обучения сначала обучаются coarse-слои, затем по расписанию добавляются fine-слои, доходя до требуемого разрешения — 1024x1024
Minibatch Discrimination — дискриминатор смотрит на статистики по батчу, чтобы добиваться вариативности генератора
Не используется BatchNorm, вместо него:

PixelNorm — вектор в каждом пикселе имеет норму 1
Equalized LR — разные слои учатся с разным LR, реализовано вот так

Теперь можно разобрать, что же изменили в StyleGAN'е.

Архитектура StyleGAN в сравнении с традиционной.

1. Mapping Network

Пространство Z имеет стандартное нормальное распределение по каждой из компонент. Из него легко сэмплировать, но в то же время его структура не отражает структуру признаков в target-домене — оно слишком равномерное.

Поэтому авторы добавили нелинейный маппинг Z->W в надежде, что полученное латентное пространство W будет иметь хорошую структуру. По сути это просто 8-слойный MLP, все FC-слои которого имеют размерность 512.

Мотивационная картинка:

Распределение 2 признаков — masculinity и длина волос. Предположим, что длинноволосые мужчины отсутствуют в обучающей выборке. Тогда пространство Z будет искривлено и неравномерно (b), а W будет приблизительно повторять структуру исходного пространства (c).

2. AdaIN

AdaIN используется для передачи стиля в генератор. В статье говорится о том, что пространственно-независимые статистики, такие как матрица Грэма или поканальное матожидание / дисперсия, характеризуют глобальное содержание (стиль) изображения. А фичи, зависящие от координаты, кодируют локальные признаки [Demystifying Neural Style Transfer].

Поэтому для каждого свёрточного слоя вектор из W пропускается через свой FC-слой (на схеме: квадратики с буквой A — affine), определяя параметры демодуляции каналов.

3. Noise

Чтобы обеспечить стохастичность генерируемых картинок, а также регуляризовать генератор, авторы добавили аддитивный шум перед каждой нормализацией. Как было сказано в разделе выше, это позволяет синтезировать немножко разные изображения, оставляя глобальное содержание нетронутым.

Как шум управляет волосами при генерации

Как это работает:

Для каждого свёрточного слоя сэмплируется 1-канальная картинка, каждый пиксель из стандартного нормального распределения
Обучаемый модуль (B на схеме) домножает эту картинку на своё число для каждого канала фичемапы
Полученный тензор добавляется к фичемапе

Зачем вообще нужен аддитивный шум?

Многие части картинки могут быть стохастическими, не влияя на наше восприятие. Например, положение отдельных волос, текстура кожи, веснушки, родинки. Без добавочного шума сети пришлось бы изобретать способ, как генерировать случайные числа для каждого пикселя в каждой фичемапе. Это уменьшает capacity сети, и в то же время не удаётся избежать паттернов в генерируемом сигнале.

Почему сеть не опирается на шум при генерации глобального содержания?

Шум добавляется независимо для каждого пикселя, поэтому если сеть обусловится на шум при генерации, скажем, позы, это приведёт к пространственным коллизиям, которые оштрафует дискриминатор.

Локализация эффекта от добавления шума внутри сети

Авторы предполагают, что сеть генерирует новый контент как только это представляется возможным. Наиболее простой способ добавить стохастичности — опереться на шум в текущем слое. Поскольку для каждого слоя добавляется новый шум, генератору нет нужды протаскивать стохастичность из предыдущих слоёв.

4. Style Mixing

Чтобы стабилизировать обучение, применяется смешение стилей:

Сэмплируются 2 латентных вектора
В генераторе выбирается точка скрещивания
До этой точки через AdaIN прокидывается один стиль, а после — другой

Это позволяет сети избавиться от скоррелированности признаков. Например, если в датасете у смуглых людей всегда есть родинки, то сеть может обучиться на то, что смуглость обязательно влечёт наличие родинок. А благодаря смешению стилей можно зафорсить генерацию смуглого человека без родинок, которое будет реалистичным.

Style mixing применяется к определённой доле генерируемых сэмплов, в статье сравнивались разные варианты — 0%, 50% и 90%.

Зависимость стиля от точки скрещивания

Если скрещивание происходит на coarse-слоях, то от первого латентного вектора прокидываются высокоуровневые признаки — пол, возраст, наличие очков. Если же на fine-слоях, то прокидываются текстурные признаки — цвет волос, кожи, фона.

Смешивание стилей на разных слоях генератора. Важно осознать, что исходные картинки A и B сгенерированы из случайных латентных векторов, то есть нельзя применить стиль от одной входной картинки к другой.

5. Truncation Trick in W

Для визуализаций GAN‘ов часто используется не сэмплированный вектор из Z, а его приближенная к центру масс версия:

Если ψ в интервале (0, 1), можно получить более качественные изображения, т.к. вблизи центра масс латентное пространство обучено лучше. Или можно получить анти-картинку, если положить ψ = -1. Этот подход отлично работает для нормального распределения, т.к. его центр масс в нуле.

Чтобы пользоваться этим приёмом в хорошем пространстве W, нужно знать центр масс распределения. К счастью его легко оценить по Монте-Карло:

После этого можно делать клёвые интерполяции:

Интересный факт: анти-лицо часто имеет противоположные черты в общечеловеческом понимании —
другой пол, цвет кожи, противоположную позу, длину волос, цвет волос, кудрявость, наличие очков.

6. Обучение

Слои обучаются последовательно, так же как в Progressive Growing of GANs. Используется такая же архитектура дискриминатора и параметры оптимизаторов.

Для FFHQ авторы используют non-saturating loss + R1 regularization вместо WGAN-GP, который использовался во всех других случаях. Они заметили, что с R1 метрика FID падает дольше, поэтому количество обучающих картинок увеличили 12M->25M.

Для обучения сети потребовалась 1 неделя на 8xV100.

🔬 Эксперименты

Авторы посвятили большую часть исследований теме disentanglement — развязанности (не знаю, как это нормально перевести) латентного пространства.

Развязанное латентное пространство состоит из линейных подпространств, каждое из которых контролирует изменение одного определённого признака у генерируемого объекта.

В статье предполагается, что из развязанного пространства проще синтезировать реалистичные изображения. Именно поэтому в архитектуру добавили нелинейный маппинг Z->W — чтобы линеаризировать латентное пространство относительно признаков.

Чтобы понять, действительно ли их сеть выучивает достаточно линеаризованное латентное пространство, авторы предложили 2 метрики, для которых не требуется наличие энкодера.

1. Perceptual Path Length

Представим ситуацию: есть 2 латентных вектора z1 и z2. Им соответствуют синтезированные изображения G(z1) и G(z2). Если пространство Z достаточно линейно, то при интерполяции между векторами полученная картинка будет меняться плавно. И наоборот, если в какой-то промежуточной точке появляются признаки, которых нет на концах отрезка — это говорит об entangled-пространстве.

Типа между окружностью и выпуклым многоугольником должна быть какая-то выпуклая фигура.

Предлагается измерить, насколько значительно изменяется синтезируемая картинка при интерполяции между z1 и z2. В качестве метрики d — VGG Loss:

slerp — сферическая интерполяция, которая лучше подходит для нормального распределения;
d — квадратичная метрика, поэтому деление на eps^2;
матожидание берётся по z1, z2 из Z, 100k пар для вычисления.

Для W используется линейная интерполяция, т.к. предполагается, что оно должно быть линейным:

2. Linear Separability

Если латентное пространство достаточно линейно, то для бинарных признаков (пол, тёмный цвет кожи, наличие серёжек, наличие очков и т.д.) латентные коды должны хорошо разделяться гиперплоскостью.

Датасет CelebA-HQ содержит 40 бинарных атрибутов, поэтому авторы обучили на нём 40 бинарных классификаторов. Дальше алгоритм следующий:

Сгенерировать 200k изображений генератором
Отобрать 100k с наибольшим confidence по каждому признаку (сеть уверена в наличии или отсутствии признака на изображении)
Зафитить SVM на этой выборке
Вычислить условную энтропию H(Y|X), Y — метка класса, полученная от классификатора (аналог GT), X — предикт от SVM
Linear Separability score:

Физический смысл — сколько доп. информации необходимо, чтобы определить истинную метку класса, зная, с какой стороны от гиперплоскости находится латентный вектор. Чем ниже значение, тем более консистентным является направление изменения конкретного признака.

Результаты

Ablation study: можно заметить, что маппинг Z->W хорошо докидывает в Separability,
а аддитивный шум даёт скачок по Perceptual Path Length.

В этой таблице сравнивается линейность Z и W — в W метрики сильно лучше;
дополнительно тут показано, почему в сетке-маппере 8 слоёв.

🐈 Картинки с котами (по ржать)

Это не настоящие котьики, это всего лиш симуляция (обман)

MUNIT: Multimodal Unsupervised Image-to-Image Translation

2021-11-09T21:31:48.685Z

🔗 Ссылки

https://arxiv.org/abs/1804.04732

https://github.com/NVlabs/imaginaire/tree/master/projects/munit

💎 Контрибьюшн

В конце статьи UNIT (разбор) авторы сказали, что одним из ограничений их модели является унимодальность — то есть по входной картинке можно синтезировать только очень похожие друг на друга изображения. В общем же случае домен может быть мультимодальным, как например породы собак или снимки со спутника. Поэтому здесь предложен подход для unsupervised-обучения мультимодальной модели image-to-image translation.

В этой работе предполагается более слабое условие о существовании partially shared-latent space. Общее латентное пространство может быть декомпозировано на 2 подпространства — C (content)и S (style):

C — общее для доменов
S_i — своё для каждого домена

Мультимодальность обеспечивается сэмплированием эмбеддинга стиля из S_i при генерации изображения из i-го домена.

Схема мультимодального перевода изображения из одного домена в другой.

В работе есть несколько теоретических результатов, наиболее важным из которых является доказательство, что

Использование cycle-consistency приводит к унимодальной функции условного распределения, и как следствие — к унимодальности синтезируемых картинок.

🛠 Задача

Задача формулируется аналогично UNIT: имея 2 частных распределения p(x) и p(y) нужно выучить совместное распределение p(x, y).

Пояснение: вообще говоря, для image translation нам нужно выучить условное распределение p(y|x) и/или p(x|y) (обычно "и"). Но вспомнив формулу Байеса можно понять, что имея частное и условное распределения мы на самом деле имеем совместное:

p(x, y) = p(x)p(y|x) = p(y)p(x|y)

Задача некорректно поставлена, т.к. имеет бесконечно много решений. Поэтому предполагается дополнительное условие — partially shared-latent space:

C — общее латентное пространство, кодирующее контент;
S_i — подпространства, кодирующие стиль для каждого домена.

Также предполагается существование всех функций, которые позволяют переводить картинки в латентные вектора и наоборот:

Тогда для image translation 1->2 нужно смоделировать E_1, G_2 и распределения p(c), p(s_2):

🔎 Детали

Главная идея работы — это разделение контента и стиля изображений, но при этом нет чётких определений, что есть что. Авторы говорят, что контент — это структура изображения, а стиль — это рендеринг.

Архитектура

Content-энкодер состоит из residual-блоков 3x3; после свёрточных слоёв стоит IN.

Style-энкодер, наоборот, не содержит IN, т.к. убиваются исходные (μ, σ), несущие информацию о стиле. Используются свёртки 4x4, как в PatchGAN-дискриминаторе.

Для прокидывания стиля в генератор используется AdaIN:

Интересно, что из контентного пространства C вектора не сэмплируются, а просто берутся полученные из энкодера. Это логично, т.к. мультимодальность теперь кроется в style-пространствах.

Для S_i энкодер оценивает вектор мат. ожиданий нормального распределения, из которого потом сэмплируются style-эмбеддинги. Prior — стандартное нормальное распределение.

Размерности: dim(C) = 256, dim(S_i) = 8

В отличие от UNIT в этом фреймворке сэмплирование происходит только из S_i, а для обучения content-эмбеддингов архитектура представляет собой обычный автоэнкодер.

Лоссы

1. Bidirectional Reconstruction Loss:

Image reconstruction — L1 между картинками

Latent reconstruction — L1 между латентными векторами (для C и для S_i)

2. Adversarial Loss:

Дискриминатор — Multiscale PatchGAN (как в pix2pixHD), лосс — LSGAN

3. Style-augmented Cycle Consistency:

X1->C->X2->C->X1, но с исходным вектором стиля

Поскольку cycle-consistency для мультимодального синтеза не работает, предложена его ослабленная версия: условие затрагивает только часть латентного пространства, а именно {C, S_1}. Для генерации во домене №2 используется style-эмбеддинг, сэмплированный напрямую из S_2.

Логично не накладывать ограничение на стиль картинки во втором домене, иначе получится, что он однозначно определяется картинкой из первого домена. Это подтверждается теор. доказательством.

4. Domain-invariant Perceptual Loss:

Чтобы избавиться от domain-specific информации в обычном Perceptual Loss'е вставили IN-слои без денормализации — μ = 0, σ = I. Это помогает для обучения на больших картинках ≥512x512.

Гистограммы распределения активаций VGG: same scene — одинаковая структура, но разный стиль; same domain — наоборот. Пример: фото одной улицы днём и ночью (same scene) vs. разные улицы ночью (same domain).

Теоретический анализ

Лосс (*) для доказательств:

Утв. 1: E* и G* минимизируют лосс (*).

Утв. 2: в точке оптимума (*) распределения латентных векторов равны их prior'ам.

Утв. 3: в точке оптимума (*) совместные распределения равны:

Утв. 4: в точке оптимума (*) выполняется style-augmented cycle consistency.

Утв. 5: cycle-consistency приводит к унимодальным дельта-функциям распределений, что означает слабое отличие результатов генерации.

🔬 Эксперименты

Метрики

Human Preference Score
LPIPS — оценка того, насколько реалистично выглядит картинка, с помощью дистанции между активациями предобученной сети (в данном случае, AlexNet)
Conditional Inception Score (CIS) — замеряет реалистичность каждой отдельной картинки и разнообразия картинок в целом, основываясь на уверенности классификатора (в данном случае, Inception-v3). Усреднение по 100 входных картинок и 100 картинок на каждую входную (итого 10 000 синтезированных).

UNIT: Unsupervised Image-to-Image Translation Networks

2021-11-07T12:47:42.400Z

🔗 Ссылки

https://arxiv.org/abs/1703.00848

https://github.com/NVlabs/imaginaire/tree/master/projects/unit

💎 Контрибьюшн

В этой статье предложен фреймворк для unsupervised image-to-image translation. Благодаря нему можно имея 2 разных домена изображений X и Y смоделировать функцию, которая переводит элемент из X в элемент из Y. Например, можно научиться превращать самоедов в корги, или более продуктовый пример: фотографии со спутника в карты местности.

Unsupervised-подход имеет смысл использовать, когда собрать обучающую выборку невозможно (например, для превращений пород собак и видов кошек), или очень дорого (например, для дневной и ночной съёмки).

Превращение собак. Для каждой пары пород учится своя сеть.

Для этого авторы усилили cycle-consistency constraint, которое используется для маппинга между доменами, до shared-latent space constraint: существует общее латентное пространство Z, такое, что любая пара соответствующих изображений (x, y) маппится в одну и ту же точку из Z; и любая точка из Z обязательно маппится в пару соответствующих изображений (x, y).

🛠 Задача

Будем говорить, что пара изображений (x, y) из множеств X и Y соответствует друг другу, если y получено из x некоторым преобразованием f. Предполагается, что хотя бы одно такое f существует. Пример: дневные и ночные фотографии.

Отличие unsupervised-подхода от привычного supervised в том, какие данные доступны во время обучения:

Supervised: соответствующие пары (x, y). Можно говорить, что даны примеры из совместного распределения П(P_X, P_Y).
Unsupervised: 2 независимых множества изображений X и Y. Если переформулировать на языке статистики, то доступны примеры из частных распределений P_X и P_Y.

В обоих случаях стоит задача выучить совместное распределение, чтобы по изображению из одного домена можно было сэмплировать соответствующие изображения из другого.

Coupling theory говорит о том, что для данных частных распределений существует бесконечное множество совместных. Мотивационный пример: если даны 2 одномерных нормальных распределения, то чтобы получить сколь угодно много совместных, можно двигать одномерные вдоль осей.

Возможное совместное распределение двух гауссиан.

Поэтому задача: "Выучить совместное распределение по частным распределениям", — является некорректно поставленной. Для конкретизации нужны дополнительные предположения о структуре совместного распределения. В случае supervised-обучения ими выступают сами сэмплы (x, y).

При unsupervised-обучении для задачи image-to-image translation часто используется cycle-consistency constraint, говорящее о том, что при переводе изображения в другой домен и обратно, оно должно быть таким же, как исходное.

Пояснение cycle-consistency из статьи про CycleGAN.

В этой статье авторы предлагают shared-latent space constraint, более сильное условие, т.к. из него можно вывести cycle-consistency (скомбинировав нужным образом эмбеддеры и генераторы):

Z — общее латентное пространство, точки которого маппятся в соотвествующие пары изображений, и наоборот.

🔎 Детали

Схема архитектуры. Пунктиром отмечены возможные общие веса, нотация 1->2 означает, что изображение преобразовано из домена 1 в домен 2; 1->1 — из домена 1 в латентное пространство и обратно в домен 1.

CoGAN = Coupled GAN, аналогичная архитектура, использующая условие shared-latent space.

После обучения для image-translation 1->2 нужно использовать композицию

F = G2 • E1

1. VAE

Энкодер и генератор рассматриваются как VAE. Энкодер выучивает распределение векторов в латентном пространстве, из которого дальше сэмплирует генератор и синтезирует изображение. Для каждого домена свой энкодер и генератор. Размерность латентного пространства в работе — dim = 512.

В качестве prior — стандартное нормальное распределение в каждой из компонент латентного вектора; энкодер оценивает только вектор мат. ожиданий, а σ = 1.

Для обучения используется reparametrization trick:

а в качестве лосса — variational upper bound*:

Второе слагаемое по сути регуляризатор того, что сгенерированное изображение будет таким же, как исходное.
Поэтому pG1 — распределение Лапласа, и likelihood -> max — то же самое, что и L1 -> min между картинками.

* Это выражение очень похоже на ELBO, и я не очень понимаю, в чём отличие (а если оно есть, то не понимаю мотивацию использовать именно upper bound, когда все используют ELBO).

2. Weight-sharing

Дополнительно предполагается наличие низкоуровнего общего латентного пространства H. Авторы объясняют это так: Z отвечает за высокоуровневое описание содержание, а H определяет то, какие пиксели будут отвечать за конкретные объекты на изображении.

Эта идея реализуется как несколько общих слоёв в энкодерах и генераторах. Причём если в конце энкодеров k общих слоёв, то и у генераторов в начале должно быть k общих слоёв. На практике авторы экспериментировали с 1–4 общими слоями.

Однако использование только этого механизма не гарантирует, что shared-latent space constraint будет выполнено. Но даже если латентные коды соответствующих картинок будут совпадать, то элементы векторов могут означать семантически разное!

3. GANs

GANы в этом фреймворке могут обучаться на двух типах сгенерированных изображений:

Из image-reconstruction stream: X->Z->X
Из image-translation stream: Y->Z->X

Авторы подчёркивают, что adversarial learning применяется только для (2), т.к. (1) может обучаться supervised (именно это и происходит при обучении VAE).

4. Cycle-consistency

Выше было сказано, что shared-latent space — более сильное условие, чем cycle-consistency. А значит, cycle-consistency является необходимым условием для shared-latent space, поэтому в процессе обучения требуется его соблюдение:

Третье слагаемое отвечает за близость (L1) исходной картинки и картинки, полученной из X->Z->Y->Z->X,
а первые два — за то, чтобы распределения латентных кодов мало отличались от prior.

🔬 Эксперименты

Объективные измерения

Для объективных экспериментов использовался датасет из фотографий со спутника и соответствующих им кусочков навигационных карт — 1096 и 1098 картинок размером 512x512 (датасет предложен в работе pix2pix). Обучение происходило в unsupervised-режиме на кропах 256x256 в течение 100K итераций.

Качество image-translation измерялось только для задачи Image->Map, поскольку кусочки карт из унимодального распределения (для мультимодального можно использовать FID, но его придумали спустя 3 месяца после публикации этой статьи).

Метрика — Accuracy по пикселям. Пиксель считается корректным, если его цвет отличается на ≤16 от GT.

Выводы:

Качество генерации не зависит от количества общих слоёв (b), но их отсутствие ведёт к деградации качества (d)
Reconstruction term важен при обучении (c), поэтому его вес должен быть достаточно большим(в экспериментах λ_2 = λ_4 — это коэффициенты при reconstruction-лоссах)
Отсутствие лосса для cycle-consistency также приводит к ухудшению качества (d)

Визуальное сравнение

Авторы говорят, что модель плохо справляется со случаями, когда в source-домене не хватает информации для адекватного перевода в target-домен. Например, для задачи Night->Day.

Domain Adaptation

Наиболее важный результат — sota для SVHN->MNIST, т.к. датасеты совсем из разных доменов
(SVHN — фотографии номеров домов).

Задача: имея размеченные картинки в source-домене, обучить классификатор для target-домена, в котором разметка отсутствует.

Решение:

Обучить UNIT для задачи Source->Target
Одновременно с этим учить классификатор C, использующий верхнеуровневые фичи дискриминатора для source-домена
Последние слои дискриминаторов — общие
Накинуть L1-регуляризацию на фичи с последнего слоя дискриминаторов для соответствующих картинок

Таким образом оба дискриминатора переводят картинки из обоих доменов в одно семантическое пространство, а значит для классификации можно пользоваться уже обученным классификатором C.

Ограничения подхода

Поскольку в качестве prior'а в латентном пространстве выступает нормальное распределение, функция image-translation унимодальна
Нестабильный алгоритм поиска оптимальной седловой точки

В следующей работе — MUNIT — предлагается фреймворк для мультимодального синтеза.

SPADE: Semantic Image Synthesis with Spatially-Adaptive Normalization

2021-11-05T20:59:38.997Z

🔗 Ссылки

https://arxiv.org/abs/1903.07291

https://github.com/NVlabs/imaginaire/tree/master/projects/spade

http://nvidia-research-mingyuliu.com/gaugan/ — демка

💎 Контрибьюшн

Наконец-то продакшн-качество в генерации картинок! Можно даже потыкаться в демку и нарисовать члены в ландшафте (спойлер: это непросто)

10 попыток скрестить разные материалы, и у меня получилось!

Ну а если серьёзно: авторы говорят, что пропускать семантические карты через InstanceNorm неправильно, потому что существенная часть информации "вымывается". Это справедливо для однородных карт, коими являются карты сегментации (много однородных областей). В разделе 🔎 Детали есть мотивационный пример, поясняющий этот эффект.

Вместо этого предлагается использовать слой SPatially-Adaptive (DE)normalization (SPADE):

Семантические карты пропускаются через лёгкую CNN без нормализаций
На выходе получаются параметры денормализации, разные для каждого канала и пространственной координаты пикселя (в отличие от BN и IN)
Текущие фичемапы денормализуются с этими параметрами после BN

🛠 Задача

Авторы сосредоточились на генерации картинок по картам сегментации. Так что всё как обычно:

Вход: карта сегментации
Выход: реалистичное изображение, соответствующее карте сегментации

Основной целью было обеспечить хорошее соответствие GT-карте сегментации при достижении достаточного реализма.

🔎 Детали

SPADE-layer

Все нормализационные слои можно разделить на 2 типа: unconditional и conditional. К первому типу относятся, например:

(Sync-) BatchNorm
GroupNorm
InstanceNorm
LayerNorm
WeightNorm
SpectralNorm

То есть это слои, не зависящие от содержания картинок.

К conditional-нормализациям, когда параметры нормализации вычисляются по некоторой входной информации, относятся:

Conditional BatchNorm (на основе класса изображения)
AdaIN (на основе эмбеддинга изображения)

Утверждение: типичные нормализационные слои "вымывают" пространственную информацию

На входе однотонная карта с одним классом (sky / grass). pix2pixHD генерирует серую картинку,
т.к. InstanceNorm зануляет фичемапу; а предложенный SPADE хорошо отрисовывает текстуру.

Следовательно, использовать энкодер, на вход которому приходит карта сегментации, — как минимум неоптимально (цитата из статьи), т.к. она точно будет подвергаться нормализации.

Вместо этого предлагается прокидывать информацию об объектах через conditional-нормализацию:

SPADE-layer

Для генерации разнородных текстур помогают 2 фактора:

Карта сегментации не подвергается нормализации
Сохранение spatial-информации: теперь у каждого пикселя свои параметры денормализации

SPADE-генератор

В каждый SPADE-слой подаются ресайзнутые до нужного размера карты сегментации.

NB: в случае, когда число каналов на входе и выходе SPADE-ResBlk разные, внутри skip-connection также вставляется SPADE-слой.

Поскольку теперь нет нужды в энкодере, который бы извлекал семантику из карт сегментации, входом в генератор является случайный вектор (dim = 256, каждый элемент из стандартного нормального распределения — не как на картинке). Это значительно ускоряет время инференса.

Multi-modal synthesis

Совместно с генератором обучается энкодер, который генерирует случайный вектор по входному изображению. Таким образом, энкодер и генератор формируют VAE, и для обучения энкодера к общему лоссу добавляется KL-div.

Это позволяет синтезировать изображения с определённым стилем:

Для инференса можно предпосчитать несколько векторов стиля, чтобы не прогонять энкодер каждый раз.

🔬 Эксперименты

Здесь происходит нечто интересное. Во-первых, только из Appendix A становится понятно, что сравнивались картинки маленького разрешения — 256x256 (или 512x256 для Cityscapes). Во-вторых, все сравнения сфокусированы на соответствии карте сегментации, а не на реалистичности. То есть из объективных метрик — mIoU и Accuracy (FID тоже есть, но по нему SPADE проигрывает).

Объективное сравнение (accu = pixel accuracy).

В субъективном сравнении авторы показывали карту сегментации + 2 синтезированные картинки и задавали вопрос: "Какое изображение лучше подходит карте сегментации".

В ячейках — human preference score.

Ещё у авторов можно поучиться тактично сливать компетиторов. Например, метод SIMS, который основан на склеивании картинок из базы, оказался ближе по FID на датасете Cityscapes. Авторы пишут, что это логично, т.к. по сути берутся куски из "реального" распределения. Но поскольку не всегда удаётся подобрать изображения в базе так, чтобы точно соответствовать карте сегментации, на субъективном сравнении этот метод оказывается сильно хуже предложенного.

Датасеты:

COCO-Stuff — 118 000 / 5 000 (train / val), 182 класса (подмножество COCO, содержит разнообразные сцены)
ADE20K — 20 210 / 2 000, 150 классов
ADE20K-outdoor — подмножество со сценами вне помещений
Cityscapes — 3 000 / 500
Flickr Landscapes — 41 000 / 1 000 (нет аннотаций, для этого использовался DeepLabV2)

Сравнение с pix2pixHD + ablation study

Для сравнений предложен бейзлайн pix2pixHD++ — это сеть pix2pixHD с улучшениями за 2017–2019 гг.:

hinge GAN-loss (вместо LSGAN)
SpectralNorm для свёрток
TTUR при обучении
Sync-BN (вместо BN)
больший batch size (32 вместо 8)
Glorot init (вместо нормального распределения)

И модификации:

w/ Concat — на каждом промежуточном слое подклеивается карта сегментации соответствующего размера
w/ SPADE — комбинация со SPADE-слоями

Во-первых, авторы исследовали важность SPADE-модуля. По таблице видно, что все бейзлайны без SPADE (в том числе логичная моификация w/ Concat) показывают худшие результаты, чем со SPADE, даже при большем числе параметров.

Во-вторых, были эксперименты с разными модификациями SPADE-генератора. Из интересного: обнаружилось, что увеличение числа параметров приводит к худшим результатам (переобучение?). И карты сегментации на входе вместо случайного вектора тоже вредят качеству.

Наконец, авторы провели ablation study, в котором показали, что все компоненты архитектуры и лоссов важны.

pix2pixHD: High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs

2021-11-03T14:50:28.629Z

🔗 Ссылки

https://arxiv.org/abs/1711.11585

https://github.com/NVlabs/imaginaire/tree/master/projects/pix2pixhd

💎 Контрибьюшн

Эта работа положила начало conditional-генерации изображений в высоком разрешении. Она используется в основе дальнейших исследований для image-to-image translation, в первую очередь SPADE, и video-to-video translation подходы.

Результат генерации по edge-map'ам

Для этого авторы предложили несколько доработок к оригинальному pix2pix-фреймворку:

Coarse-to-fine генератор — общие coarse-планы картинки генерируются в низком разрешении, а затем добавляются мелкие детали и текстуры
Multi-scale дискиминаторы — одна и та же архитектура (с разными весами) применяется к картинкам разного размера для достижения реализма на разных масштабах. Это дополнительно стабилизирует обучение
FM-loss — форсит генератор синтезировать изображения с "реалистичной" проекцией в латентном пространстве. Это также стабилизирует обучение
Использование instance-segmentation map'ов для разделения объектов внутри одного класса

🛠 Задача

Имея семантические карты синтезировать изображение, которое будет выглядеть реалистично и соответствовать семантическим картам.

В качестве семантических карт можно использовать (но не ограничиваться):

Карты границ
Карты сегментации (можно комбинировать semantic и instance)
Карты глубины
Карты сегментации поз человека

Пример:

Вход: карта сегментации и карта границ

Результат pix2pixHD

Математически задачу можно сформулировать в терминах равенства real- и fake-распределений, обусловленных на одни и те же семантические данные. Поэтому предлагается использовать GAN-фреймворк, в котором минимизируется расстояние между распределениями (например, JS или EM).

🔎 Детали

Coarse-to-fine генератор

G1 — global generator, отвечает за общий контент; G2 — local generator, добавляет мелкие детали

Генератор состоит из нескольких частей:

G1 — global-генератор, который по уменьшенному семантическому изображению генерирует реалистичную картинку того же мелкого разрешения (например, 1024x512)
G[k] (k > 1) — local-генераторы, которые снабжают картинку текстурами и деталями мелкими деталями

Upscale-часть G2 (и любого G[k], k > 1) принимает на вход сумму фичемап от downscale-части и от upscale-части G[k - 1]. Этот дизайн наследует идеи ResNet и UNet — генераторы высших порядков синтезируют добавочное изображение.
Это позволяет лучше течь градиентам и стабилизировать обучение, т. к. генерация контента происходит в низком разрешении*.

Хотя авторы и допускают использование нескольких генераторов, они остановились на k = 2

* Здесь неявно утверждается, что моделирование распределения реалистичных картинок — более сложная задача, чем моделирование реалистичных текстур высокого разрешения на картинках низкого разрешения.

Multi-scale дискриминатор

Чтобы не усложнять модель дискриминатора и не оверфититься, авторы предлагают использовать одну и ту же архитектуру — PatchGAN 70x70 — для разных масштабов (уменьшение в 1x, 2x, 4x раз). Каждый дискриминатор выучивает свои веса.

Благодаря разным receptive-field дискриминаторы определяют реалистичность на разных уровнях — те, что работают на уменьшенных картинках, смотрят на более глобальную структуру.

FM-loss

Дискриминатор D можно рассматривать как feature-extractor для картинки. Тогда можно потребовать, чтобы фичемапы (по сути — разные статистики по изображению) real- и fake-изображений были близки, например, по L1:

k — номер дискриминатора; i — индекс слоя; s — семантическая карта

По сути это вариант Perceptual loss'а, где в качестве сети-эмбеддера выступает дискриминатор. Для более качественных результатов можно добавить настоящий Perceptual loss с предобученной VGG, и по наблюдениям авторов это улучшает результаты:

Instance maps

Проблема instance map в том, что нельзя заранее спрогнозировать, сколько объектов каждого типа будет на изображении. Следовательно, нельзя использовать one-hot encoding — малая размерность может оказаться недостаточным, а большая ведёт к лишним бессмысленным вычислениям.

Авторы говорят, что главная информация от instance map — это границы объектов. Генератор плохо справляется с генерацией машин, когда не может отличить их друг от друга.

Для этого по instance map строится карта границ объектов и конкатенируется с картой сегментации.

Instance-level Feature Embedding

Чтобы влиять на генерируемые изображение, к картам сегментации и границ приклеивается ещё одно изображение. Оно содержит instance-averaged фичи исходной картинки.

Для этого вместе с генератором и дискриминатором обучается энкодер-декодер E, который возвращает фичемапу того же размера, что и картинка:

После обучения по латентным векторам объектов из train-сета прогоняется K-means, чтобы получить несколько векторов стиля для каждого класса. На инференсе для каждого объекта случайно выбирается один из них.

Также это даёт возможность сделать понятный интерфейс:
выбери тип дороги из вариантов {асфальт, брусчатка}

Обучение

Общий лосс состоит из LSGAN-компонент для minimax-оптимизации и FM-компоненты (+ VGG-loss) для стабилизации генератора:

λ = 10, K = 10 (для K-means)

На инференсе время генерации картинки 2048x1024 составляет 0.02–0.03с (скорость 33–50 FPS)

🔬 Эксперименты

Датасеты

Cityscapes: 2975 / 500 картинок для обучения / валидации, разрешение 2048x1024
NYU Indoor RGBD: 1200 / 249 картинок, разрешение 561x427
ADE20K: 20210 / 2000 картинок, разрешение 512xH (все картинки разного размера, рескейлились к W=512)
Helen Face: 2000 / 330 картинок, разрешение 1024x1024

Для сравнений приведены данные с валидационной выборки на Cityscapes.

Компетиторы

pix2pix — базовая архитектура для conditional-генерации картинок небольшого разрешения. Обучена с нуля для разрешения 2048x1024
CRN — сеть для conditional-генерации картинок высокого разрешения, веса публично доступны

Результаты

1. Объективное сравнение

Карты сегментации получены с помощью PSPNet;
Oracle — исходная картинка (по сути качество PSPNet и upper bound для генератора)

2. Субъективное сравнение

Оценивается Human Preference Score — как часто на SbS люди выбирают наш алгоритм. Проводилось в 2 сетапах:

Unlimited time: без ограничения по времени
Limited time: с ограничением от 1/8 до 8 секунд на просмотр для понимания, как быстро заметны отличия

Unlimited time: для честности сравнения pix2pixHD обучали без instance map'ов

Limited time: чем дольше человек смотрит на пару картинок, тем лучше заметны отличия между способами генерации. То, что красная линия идёт выше зелёной, говорит о том, что pix2pixHD качественнее CRN

3. Ablation study

all losses vs. GAN-loss only: 68.55%
all losses vs. GAN-loss + FM-loss: 58.90%
w/ instance maps vs. w/o instance maps: 64.34%
multi-scale Ds vs. single D: 69.20%

Результаты для ADE20K

World-Consistent Video-to-Video Synthesis

2021-10-31T12:03:51.775Z

🔗 Ссылки

https://arxiv.org/abs/2007.08509

https://nvlabs.github.io/wc-vid2vid/

https://github.com/NVlabs/imaginaire/tree/master/projects/wc_vid2vid

💎 Контрибьюшн

Главное достижение этой работы — консистентный vid2vid. Теперь если объекты попадают на видео второй раз, они имеют те же цвета, что и в первый — то есть сеть теперь "помнит" состояние всего ранее сгенерированного мира. Это достигается за счёт того, что по всем сгенерированным кадрам строится общий 3D point-cloud, где каждому пикселю соответствует его цвет. На основе этого point-cloud'а происходит синтез (рендеринг) новых кадров видео, соответствующих семантическим кадрам driving-video.

Плюсом к этому удалось добиться и большего реализма при рендеринге и лучшей временной стабильности.

Сравнение результатов генерации для зацикленных видео 1->N->1. Видно, что vid2vid разваливается как по структуре (см. полосы на дороге), так и по корректности цветов (диван стал оранжевым).

🛠 Задача

Формулировка задачи точно такая же, как и в vid2vid — сделать так, чтобы распределения сгенерированных видео и реалистичных совпадали при обусловленности на одни и те же семантические карты.

В этой работе авторы вводят понятие world consistency, называя его частным случаем и более сильным условием, чем просто temporal consistency. Видео удовлетворяет world consistency, если оно консистентно относительно всего 3D-мира, который видит зритель при просмотре сгенерированного видео (в отличие от temporal consistency, для которой требуется консистентность на каждом небольшом промежутке вижео).

Математически это не формулируется, но интуитивно идея понятна — увиденные ранее объекты при повторном появлении должны иметь тот же вид.

🔎 Детали

Вводится понятие guidance image — это дополнительная картинка, которая помогает генератору правильно раскрашивать и текстурировать новый кадр в соответствии с ранее сгенерированными. Они должны содержать информацию о 3D-пространстве и о всех предыдущих кадрах. Авторы предлагают использовать для этого point-cloud сцены, который строится кадр за кадром по всему видео. С каждым новым сгенерированным кадром на point-cloud добавляются новые точки с соответствующими цветами.

Причём для обучения и инференса метод построения этого point-cloud'а может отличаться: если для обучающих видео сложно получить point-cloud'ы и имеет смысл использовать Structure-from-Motion (SfM) сети, то при инференсе для создания driving-видео может использоваться игровой движок, который знает GT-point-cloud для сцены.

Пример построения и использования guidance image для генерации нового view

В архитектуре 2 нововведения:

Нет прямого варпинга на основе OF (не используется формула маттинга), поскольку преобразование сцены в пространстве задаётся векторами перемещения 3D-точек — motion field. Тем не менее, поскольку нет нормального способа оценки motion field, происходит оценка OF, результат эмбеддится сетью, и выходы слоёв используются для параметров демодуляции в Multi-SPADE модулях генератора (причём так, чтобы соответствовал уровень фичей).
Multi-SPADE модуль — несколько последовательных демодуляций с разными параметрами. Он нужен для того, чтобы принимать во внимание информацию от разных источников: семантических карт, OF и guidance images.

Схема архитектуры

Использование разных эмбеддеров и Multi-SPADE модуля имеет несколько преимуществ по сравнению с конкатенацией всех источников и общим эмбеддером:

Лучшая репрезентативность. Например, карты сегментации определяют форму и классы объектов, а guidance images — их цвета
Легко учесть особенности разных видов данных. Например, в guidance images есть пропуски из-за ограничений SfM, поэтому в целесообразно использовать частичные свёртки
Можно предобучить генератор на single-image generation благодаря тому, что при использовании Multi-SPADE кардинально меняются только нормализационные слои.
При переходе к видео нужно обучить только их, после чего дотюнить всю сеть. Это большой плюс, т. к. сбор картиночных датасетов гораздо проще, чем аннотация видео

Multi-SPADE

Обучение

Обучение проводилось в 2 этапа:

Single-image generation — обучается только первый SPADE-блок из 3-х. На этом этапе сеть учится генерировать реалистичные картинки по семантическим картам. Обучение длилось 20 эпох для разрешения 1024x512
Video generation — обучаются все 3 SPADE-блока. Кол-во генерируемых кадров удваивалось каждую эпоху: 8->16->32, дальше не менялось. Тоже 20 эпох

Такой 2-этапный подход ускорил и стабилизировал обучение. Для GAN-лоссов вместо LSGAN выбрана другая модификация — hinge GAN loss. Помимо всех стандартных vid2vid-лоссов был добавлен world-consistency loss, чтобы форсить похожесть текущей генерации на предыдущие кадры.

Для аннотирования использовались:

DensePose — UV-координаты и сегментации поз
OpenPose — кейпоинты поз
MegaDepth — карты глубины
DeepLabv3-Plus c бэкбоном WideResNet38 — карты сегментации для Cityscapes
NYUDv2 — карты сегментации для ScanNet
OpenSfM — point-cloud'ы для guidance images
HED — edge maps для MannequinChallenge и ScanNet

🔬 Эксперименты

Сравнение методов по объективным метрикам. P. A. — pixel accuracy

Для сравнения использовались датасеты с практически статичными сценами, в которых SfM работает достаточно хорошо:

Cityscapes
MannequinChallenge
ScanNet — видео румтуров

Компетиторы:

vid2vid
Inpainting — sota-inpainting метод, который использовался для заполнения дырок в guidance images
Ours w/o W. C. — предложенная архитектура без использования guidance images

Forward-backward consistency

Помимо стандартных для этой задачи метрик и Human Preference Score зармерялась консистентность сгенерированных кадров зацикленных роликах 1->N->1. А именно замерялась попиксельная разница первого и последнего кадра в таких роликах в пространстве RGB и LAB

Заключение

В результате помимо заявленной проблемы удалось также улучшить short-term temporal stability (авторы говорят об этом на основе своих визуальных наблюдений) и сделать возможной генерацию консистентных стерео-ракурсов:

Основным ограничением модели являются текущие методы SfM, которые плохо справляются с динамичными сценами, что ведёт к проблемам с консистентностью

Few-shot Video-to-Video Synthesis

2021-10-29T22:15:07.724Z

🔗 Ссылки

https://arxiv.org/abs/1910.12713

https://nvlabs.github.io/few-shot-vid2vid/

https://github.com/NVlabs/imaginaire/tree/master/projects/fs_vid2vid

https://github.com/NVlabs/few-shot-vid2vid

💎 Контрибьюшн

Предложен рабочий фреймворк для few-shot генерации видео: на входе семантическая driving-последовательность и небольшое кол-во примеров из нового домена (персонаж или иначе выглядящие пейзажи), а на выходе — реалистичное видео из нового домена, соответствующее семантике.

Грубо говоря, теперь можно сделать дипфейк по 1 фотографии без файнтюнинга модели. Авторы пришли к этому после того, как выяснилось, что vid2vid плохо обобщается на новые домены, и в частности не позволяет генерировать движения человека, которого не было в обучении

🛠 Задача

Задача формулируется аналогично vid2vid, но теперь для генератора добавляется дополнительная информация — K кадров из нового домена и соответствующая им семантическая информация (в таком же формате, как и для имеющихся данных):

То есть на инференсе мы хотим модель, которая по нескольким новым кадрам и семантическим driving-видео сможет сгененрировать видео из нового домена с заданными движениями. Например, можно задать движения губ с одного видео, показать модели известного политика в качестве примера, и получить видео с этим политиком и нужным липсинком

🔎 Детали

Общая схема генератора осталась прежней — для моделирования используется функция матирования:

Главным нововведением здесь является модуль генерации весов для сети h, которая генерирует области заполнения окклюженов. В supplementary авторы говорят, что этот модуль по сути является обобщением AdaIN в том смысле, что их модуль позволяет генерировать свёртку больше, чем 1x1.

Дополнительным улучшением является то, что в качестве сети для заполнения окклюженов теперь используется sota-архитектура SPADE для conditional-генерации картинок.

(a) Общая схема vid2vid, (b) архитектура модуля генерации весов, (c) схема встраивания в SPADE

Представим, что у нас ровно один пример (картинка) из нового домена, K = 1. В статье предлагается следующий алгоритм:

С помощью свёрточной сети E_F получить эмбеддинг картинки q1 (верхняя чать картинки (b))
Послойно применить MLP E_P к эмбеддингуq1, чтобы получить параметры демодуляции для SPADE-модулей в сети H (картинка (c)). Скорее всего это делается для того, чтобы фичи были одинаково низко- или высокоуровневые на конкретных слоях:

То есть по сути происходит что-то аналогичное domain adaptation, когда обучаются только параметры BN

Attention-based Aggregation

Если примеров >1, то логично будет применить для инх механизм attention, чтобы не менять оставшуюся часть схемы с MLP. Для этого потребуются семантические карты s_ek, полученные тем же алгоритмом, что и для остальных данных.

Эмбеддер E_A генерирует фичемапы размером CxN (N = HxW), которые затем матрично умножаются на текущую семантическую карту s_t (t-й кадр из driving-видео). Это нужно для того, чтобы понять, какие из примеров наиболее релевантны s_t при генерации выходного кадра. Для объединения результатов делается линейная комбинация, которая и подаётся дальше в MLP E_P.

Авторы говорят, что попиксельный attention помогает определять, какие области из каких примеров релевантны для генерации текущего кадра видео. Например, для позы человека можно заметить, что при генерации front большая часть attention сосредоточена на примере front, и наоборот.

Обучение

Для обучения используются те же данные, что и для vid2vid, но теперь в одной обучающей выборке допускаются данные из разных доменов.

Была замечена корреляция качества генерации с количеством обучающих данных и с количеством примеров из нового домена.

🔬 Эксперименты

Результаты экспериментов

Датасеты:

YouTube Dancing videos — 1500 видео с Youtube с танцующими людьми. Во время обучения примерами были случайные кадры из синтезируемого видео. На тесте ни картинки-примеры, ни позы не были в обучающей выборке, то есть модель их не видела
Street Scene videos — видео с регистраторов из Германии (Cityscapes), Бостона и Нью-Йорка. На тесте дополнительно брались видео из датасетов ApolloScape и CamVid
FaceForensics — аналогично статье vid2vid; почему-то качество авторы не репортят

Метрики:

Pose Error — L1 между точками gt-позы и позы, оценённой той же моделью (OpenPose) по синтезированным кадрам
Pixel Acc — аналог для сегментации, точность попадания пикселя в gt-класс
mIoU (mean IoU) — ещё один аналог Pose Error для меток классов на карте сегментации

Компетиторы:

Encoder — для генерации используется декодер h и энкодер, который получает style vector (по сути — эмбеддинг) из картинки-примера
ConcatStyle — style vector конкатенируется с семантическими картами из driving video, и полученные аугментированные картинки используются для spatial modulation внутри SPADE-модулей при генерации
AdaIN — после каждого spatial modulation в SPADE-генераторе вставлен модуль AdaIN, параметры для которого вычисляются энкодером по картинке-примеру
PoseWarp, MonkeyNet (предшественник FOMM от тех же авторов)

Визуальное сравнение результатов для YouTube dancing videos

Video-to-Video Synthesis

2021-10-28T14:45:01.226Z

🔗 Ссылки

https://arxiv.org/abs/1808.06601

https://github.com/NVIDIA/vid2vid — оригинальный репозиторий

https://github.com/NVlabs/imaginaire — актуальный репозиторий

NeurIPS 2018 (тут есть supplementary material)

💎 Контрибьюшн

Это первое решение для conditional-генерации видео, работающее стабильно по времени. Зачем это вообще может быть нужно:

Дешёвая генерация обучающей выборки в робототехнике (это предложили авторы, на мой взгляд немного сомнительно)
Дипфейки

Авторы предложили достаточно общий фреймворк для синтеза видео на основе семантических данных — карт сегментации, скетчей лица или поз человека.

Слева GT, по центру — скетч лица (вход для vid2vid), справа — результат генерации

Из классного:

Достаточно долгие стабильные видео — есть тест на 1200 кадров
Высокое разрешение — 2048x1024 для Cityscapes
Влияние на семантику — например, можно поменять метку класса на карте сегментации, и вместо деревьев нарисовать дома
Мультимодальность — предложен метод, как для одного входа получать разные консистентные результаты. Например, можно заменить асфальтовую дорогу на брусчатку

🛠 Задача

Нужно построить алгоритм, который на основе семантических данных сможет генерировать видео, соответствующее семантике. Видео должно быть стабильно по времени.

В терминах статистики задача формулируется так: условное распределение синтезированных видео должно совпадать с условным распределением реальных видео при условии одних и тех же семантических данных:

Такая постановка хорошо ложится на GAN'ы, при стандартном обучении которых минимизируется JS-divergence между распределениями.

Для удобства предполагается, что кадры удовлетворяют условию Маркова:

Это позволяет генерировать их последовательно, вызывая генератор рекурсивно от уже сгенерированных кадров

🔎 Детали

1. Генератор

В генераторе используется модуль оценки Optical Flow (OF) w, чтобы варпить предыдущий кадр в текущий. Для заполнения окклюженов используется soft-маска m, чтобы справляться с размытыми объектами (близкие к камере, быстро двигающиеся) — когда варпишь размытый объект, он становится ещё более размытым, и для этого надо немножко дорисовать его текстуру. Для оценки OF и маски используются одни и те же веса, кроме последнего слоя. Сами окклюжены заполняются тем, что генерирует свёрточный генератор h.

Параметр L отвечает за то, сколько предыдущих кадров используется для генерации текущего. L = 1 — приводил к временной нестабильности, а L > 2 — забивал всю память (в 2018 году V100 были на 16GB), поэтому авторы остановились на L = 2

2. Foreground-background Prior

В случае Cityscapes можно заметить, что изображение делится на фон и объекты переднего плана. При этом преобразование фона от кадра к кадру хорошо задаётся глобальным преобразованием через OF, в то время как для объектов OF вычисляется неточно. Чтобы использовать это знание, делается декомпозиция с учётом background mask:

Foreground-background prior

Сеть h_F, генерирующая объекты переднего плана, зависит только от семантических данных, но не от предыдущих кадров.

Для генерации высокого разрешения используется coarse-to-fine подход:

3. Дискриминатор

Использование нескольких дискриминаторов позволяет уменьшить проблему mode collapse. Используется 2 основных вида:

Картиночный D_I — помогает каждому отдельному кадру выглядеть реалистично. Сравнивает кадры как картинки. Архитектура — multi-scale PatchGAN
Видео-дискриминатор D_V — убеждается в правильности моделирования динамики. Он сравнивает последовательности кадров. Архитектура — тоже PatchGAN, с прореживанием кадров по времени (каждый k-й) для учёта разных временных зависимостей

Для обучения модуля OF используется FlowNet2 в качестве GT, а лосс сравнивает сами вектора OF и результат варпинга:

Для стабилизации и ускорения сходимости дополнительно добавлен FM-лосс, и в качестве экстракторов используются сами дискриминаторы + предобученная VGG.

В качестве GAN-лосса используется модификация LSGAN

4. Мультимодальность

Чтобы обеспечить мультимодальность, нужна instance segmentation map для входных кадров.

Дополнительно учится энкодер, который генерирует фичемапу размером с картинку и d каналами (d = 3). Затем происходит усреднение векторов в фичемапе для каждого объекта (размер фичемапы не меняется, но теперь во всех "пикселях" одного объекта одинаковые векторы). Эта фичемапа конкатенируется с семантическими данными и подаётся на вход в генератор.

После завершения обучения на векторах объектов одного класса фитится GMM, из которой на инференсе сэмплируются вектора для фичемапы. Это и позволяет влиять на содержание итоговой картинки.

Пример: в Cityscapes под меткой "дорога" есть асфальтовая дорога и брусчатка. После того, как мы зафитим GMM на 2 класса для "дороги", можно выбирать, что синтезировать:

5. Обучение

DGX1 (8 x V100, 16GB каждая)
40 эпох
ADAM (0.5, 0.999)
LR = 0.0002
10 дней для 2K
512 -> 1024 -> 2048 (height = width / 2)
Cityscapes: 2975 видео по 30 кадров = 89 250 кадров в обучении
FaceForensics: 704 + 150 видео
Apolloscape: 73 видео по 100–1000 кадров, половина для обучения
Dance video: видео с YouTube по 3–4 мин. (4500–6000 кадров?), 512x720

🔬 Эксперименты

Основные метрики:

FID по всем кадрам всех видео в валидации, вычисленный с помощью 2 сетей: ResNeXt и I3D
Human Preference Score — SbS-сравнение из 2 вариантов, 10 респондентов

Компетиторы:

pix2pixHD, применённый покадрово
COVST с pix2pixHD в качестве стайл-трансфер сети

Неожиданно, но предложенный метод оказался лучшим по всем метрикам. Из ablation study видно, что меньше всего к качеству докидывает flow-warping модуль, а больше всего — conditional video discriminator. Также авторы заявляют, что при замене оценённого OF на GT визуальное качество не меняется, что говорит об устойчивости генератора к ошибкам в OF

Авторы пишут, что их алгоритм не справляется в некоторых ситуациях, например, при отрисовывании поворачивающей машины. Возможно, это можно исправить добавлением пространственной информации типа карт глубины

🍺 Заметки на полях

Тут будет небольшая выжимка о том, какие приколы есть в коде, но которые не описаны в статье.

Так получилось, что я много копался в старом коде vid2vid, который был выложен в момент публикации статьи. Тогда ещё не было DistributedDataParallel, поэтому он содержит много грязных хаков, как заставить всё работать быстро и параллельно на 8 карточек (старый DataParallel умеет только в 4 карточки с копированием на мастер-ноду для бэкпропа). Да и в целом архитектурно код там не самый приятный. В новом репозитории imaginaire, где собран зоопарк conditional-моделей, всё гораздо лучше, моднее и современнее.

Итак, во-первых, fine-scale-генератор фризится на первые несколько эпох. Это логично, но ниоткуда не следует.

Во-вторых, по умолчанию бэкпроп делается только по одному кадру. Для изменения этого поведения есть параметр max_frames_backpropagate. Если указать значение >1, то количество кадров, через которые проходит бэкпроп, будет линейно увеличиваться до этого значения.

Во-третьих, как бы вы решали проблему первого кадра, если сетка всегда принимает на вход L=2 предыдущих? Правильно, можно не решать никак, и начинать генерировать с сразу третьего. Ведь семантическую информацию мы откуда-то взяли — значит есть и исходное видео.
Ну а если очень хочется? Тогда обучается отдельная сетка, которая генерирует только первый кадр, и к ней не применяется видео-дискриминатор.

В-четвёртых, удивление вызвало то, что для генерации лиц из скетчей на вход приходит фичемап с 15 каналами, а не одноканальная картинка с чертами лица. Видимо для лучшего кондишенинга в остальные 14 каналов записаны карты, получающиеся после применения Distance Transform к каждой части лица (глаза, нос, рот и т.д.).

В-пятых, для апскейла в генераторе используется устаревшая схема с deconvolution-слоями, которая приводит к шахматке при генерации:

Синтезированный кадр с deconv-слоями

Это известная проблема, она решается заменой deconv на nearest upsample + conv.

В остальном это действительно мощный и гибкий фреймворк, позволяющий синтезировать качественные консистентные видеоролики и использовать разные типы семантической информации на входе.