Бесплатная нейросеть для генерации изображения и видео “Kandinsky 3.0” и “ Kandinsky Video”
Kandinsky - это нейросеть от "Сбера", которая создает изображения на основе текстовых запросов. Она способна создавать изображения на основе текста, показывать вариации уже существующих изображений и комбинировать стили из различных источников.
Система распознает запросы на разных языках, включая русский. Нейросеть учитывает различные параметры при создании изображения, включая фон и стиль.
Новая версия нейросети Kandinsky 3.0 была обучена на большом наборе данных из интернета в формате "текст-картинка" и прошла фильтрацию по нескольким критериям, таким как эстетичность изображения, соответствие тексту, наличие дубликатов, фильтры разрешения и соотношение сторон. Количество использованных датасетов в Kandinsky 3.0 также было увеличено.
Представители компании сообщили, что улучшили Kandinsky 3.0, сделав ее "более отечественной". Теперь нейросеть значительно лучше ориентируется в российском и советском культурном поле. Качество генерации изображений российских и советских известных личностей, архитектурных достопримечательностей, объектов культуры и элементов народного искусства России, например, гжельской росписи, было улучшено. В качестве примера в блоге корпорации приводятся изображения персонажей советских мультиков, созданные Kandinsky 3.0, и их аналоги из предыдущей версии — Kandinsky 2.2.
Пользоваться можно бесплатно в телеграм боте https://t.me/kandinsky21_bot
Kandinsky Video - российская нейросеть для создания видео, включающая в себя два блока. Первый блок формирует ключевые кадры для структуры видео, а второй блок создает промежуточные кадры, обеспечивая плавность движения.
Представители "Сбера" заявили в своем блоге: "Сейчас мы находимся на начальном этапе развития таких методов создания видео, поэтому пока не можем говорить о высоком качестве результата. Тем не менее, степень согласованности кадров на видео, визуальное качество объектов на ключевых кадрах, а также автоматические метрики позволяют утверждать, что наше решение является одним из лучших в мире. С точки зрения исследований, перед нами стоят множество задач, связанных как с повышением качества кадров, так и с улучшением динамичности и плавности движений, в том числе путем исследования методов обучения модели физике движения тел".
Возможности нейросети Kandinsky Video:
Kandinsky Video может создавать ролики длиной 8 секунд с разрешением 512×512 пикселей, различным соотношением сторон и частотой 30 кадров в секунду. Нейросеть использует Kandinsky 3.0 для генерации сотен изображений, которые сливаются друг с другом и переходят друг в друга. В видеороликах от Kandinsky Video объекты и фон безостановочно движутся. Специалисты "Сбера" обучили Kandinsky Video на наборе данных из 300 тысяч пар "текст-видео".