Нейросеть Nvidia делает slow-mo высокого качества из обычных видео

Многие современные фотоаппараты и смартфоны умеют снимать видео в slow-mo, однако этот процесс требует достаточно быстрого процессора и немало памяти. Например, режим Super Slow Motion на Sony Xperia XZ2 снимает 960 кадров в секунду — таким образом, обрабатывающийся объем данных превышает таковой при съемке со стандартными 30 кадрами в секунду в 32 раза.

Nvidia же предложила иное решение для создания slow-mo видео. Компания создала алгоритм, который конвертирует в slow-mo уже готовое видео — причем, в отличие от большинства других решений, технология Nvidia использует машинное обучение для «додумывания» новых, недостающих кадров. (Нейросеть натренировали на более чем 11 000 референсных slow-mo роликах (спортивных репортажах), изначально снятых с частотой 240 кадров в секунду.) Она «научилась» генерировать промежуточные, вспомогательные кадры, при помощи которых и создается удивительно «гладкий» ролик в slow-mo при 240 кадрах в секунду (для конвертации в slow-mo видео, записанного с частотой 30 кадров в секунду, необходимо дополнительно создать 210 кадров).

«Хотя с помощью современного смартфона можно снять видео с частотой 240 кадров в секунду, записывать при такой кадровой частоте — непрактично, так как требует больших объемов памяти и является слишком энергозатратным для мобильных устройств», — пишут исследователи в работе, доступной в библиотеке препринтов arXiv. — По этим и другим причинам большой интерес представляет возможность генерировать высококачественные slow-mo видео из уже существующих".

Исследователи представят разработку на конференции 2018 Conference on Computer Vision and Pattern Recognition, которая проходит на этой неделе в Солт-Лейк-Сити, штат Юта, США. Пока, как отмечают разработчики, система оптимизирована недостаточно хорошо и требует доработки; когда она может выйти на рынок и появиться, например, в смартфонах, неизвестно.