Онлайн-конференция NVIDIA. Дженсен Хуанг и его метавёрс
Дженсен Хуанг на утренней онлайн-конференции GTC November 2021, представил технологическую платформу NVIDIA Omniverse Avatar для создания продвинутых интерактивных аватаров, которые будут наделены искусственным интеллектом. Этих помощников можно будет применять практически в любой отрасли, например, для общения с клиентами.
Omniverse Avatar позволяет создавать помощников ИИ практически для любой отрасли. Это может помочь компаниям в обеспечении повседневного взаимодействия с клиентами, банковскими операциями, назначением личных встреч, бронированием столика в ресторане, организовать гида по предприятию и т.д.
«Omniverse Avatar сочетает в себе основную графику NVIDIA, технологии моделирования и искусственного интеллекта, позволяя создавать одни из самых сложных приложений реального времени, которые когда-либо выпускались» Дженсен Хуанг
Суть проекта заключается в создании аватаров, как самостоятельных интерактивных 3D моделей, которые могут общаться с вами на разные темы, отвечать на любые вопросы, которые вы можете им задать с полным пониманием смысла сказанного вами. Платформа будет объединять технологии NVIDIA в области речевого ИИ, компьютерного зрения, понимания естественной речи и языка и технологий моделирования.
Omniverse Avatar использует элементы речевого ИИ, компьютерного зрения, понимания естественного языка, механизмов рекомендаций, лицевой анимации и графики, предоставляемые с помощью следующих технологий:
- распознавание речи основано на NVIDIA Riva, комплекте разработки программного обеспечения, распознающем речь на нескольких языках. Riva также используется для генерации человеческих речевых ответов с использованием возможностей преобразования текста в речь;
- понимание естественного языка основано на модели генерации естественного языка NVIDIA Megatron 530B, которая может распознавать, понимать и генерировать человеческий язык. Megatron 530B — предварительно обученная модель, которая может, с минимальным обучением или без него, составлять полные предложения, отвечать на вопросы большой предметной области, резюмировать длинные сложные истории, переводить на другие языки и обрабатывать контент во многих областях, для которых она не была специально обучена;
- механизм рекомендаций аватара предоставляется NVIDIA Merlin, фреймворком, который позволяет предприятиям создавать рекомендательные системы глубокого обучения, способные обрабатывать большие объёмы данных;
- Возможности восприятия поддерживаются NVIDIA Metropolis, фреймворком компьютерного зрения для видеоаналитики;
- Анимация аватара основана на технологиях NVIDIA Video2Face и Audio2Face, 2D и 3D лицевой анимации и рендеринга на основе искусственного интеллекта.
Эти технологии объединяются в приложение и обрабатываются в реальном времени с помощью NVIDIA Unified Compute Framework. Представленные в виде масштабируемых настраиваемых микросервисов, навыки могут быть безопасно развернуты, управляемы и организованы в нескольких местах с помощью NVIDIA Fleet Command.