Нейросеть перерисовала героя из Doom в фотореалистичный портрет
Если перед художниками из 90-х стояла задача подтолкнуть воображение зрителей, сформировать при помощи горстки пикселей уникальный образ, то современный ИИ занялся прямо противоположной задачей: прорисовкой деталей. И это оказалось гораздо сложнее, чем думали авторы проекта. Им пришлось прогнать исходную скупую картинку через несколько нейросетей и все равно результат был далек от совершенства.
На первом этапе пиксельное изображение доверили обработать ИИ таких приложений, как FaceApp, Waifu2x и GIMP. Картинка насытилась деталями, но так и осталась пиксельной мозаикой, поэтому далее в дело вступила нейросеть StyleGAN. ИИ от Nvidia после многих итераций сумел перерисовать картинку в фотореалистичное изображение, но затем выяснилось, что у оригинала были изначально неправильные для человеческого лица пропорции. Пришлось править физиономию Doom Gay в редакторе вручную.
Однако авторы затеи не расстроились, а вместо этого еще несколько раз провели процедуру перерисовки пиксельной картинки в фотореалистичную, чтобы составить четкий алгоритм. И вот уже по нему ИИ начал работать быстро и эффективно, пусть и с большим количеством шагов. Например, стоило вместо сжатых губ пририсовать Doom Gay ряд раздельных пикселей, как нейросеть послушно снабдила героя широкой «голливудской» улыбкой. Она-то и поссорила геймеров – суровый космический морпех должен криво ухмыляться, как в оригинале, а не вот это вот.