Превращаем технические видеоролики в статьи с помощью VideoToBlogAI

На просторах гитхаба нашёл для вас интересный репозиторий, который позволяет на основе ИИ создавать технические посты в блоге из видео и аудио. Он конвертирует загруженные медиафайлы в текстовый формат и обрабатывает транскрипции, создавая хорошо структурированные посты.

Ключевые особенности:

• Система кредитования: Используется система, основанная на кредитах, то есть перед обработкой любого носителя платформа проверяет остаток кредита пользователя.
• Извлечение кода: приложение может автоматически извлекать фрагменты кода из видео и аудиофайлов, экономя время и усилия разработчиков и создателей технического контента.
• Расширенный анализ: Приложение предлагает подсчет количества слов, символов и динамическое оглавление, чтобы помочь пользователям улучшить свои записи в блоге.

Как работает?

1. Загрузите материал: Пользователи могут зарегистрироваться и загрузить видео в формате MP4 или аудиофайлы в формате MP3 (до 30 МБ), которые отправляются в бэкэнд. Перед обработкой любого медиафайла платформа проверяет кредитный баланс пользователя и продолжает работу.

Схема пользователя:

- email: String, required, unique
- password: String, required
- username: String, required, unique
- secondsRemaining: Number, default: 1200
- role: String, enum: ["user", "admin"], default: "user", required

Схема поста для блога:

- blogPostId: String, required, unique
- userId: ObjectId (ref: "User"), required
- videoUrl: String, required
- text: String, required
- createdAt: Date, default: Date.now
- status: String, default: "completed"

2. Транскрипция с помощью ИИ: Бэкэнд загрузит медиафайлы в папку uploads и отправит их в AssemblyAI speech-to-text API, который преобразует загруженные медиафайлы в текстовый формат.

3. Генерация блога: После этого текст отправляется в языковую модель Google Gemini, которая обрабатывает транскрипцию для создания записи в блоге. Записи блога сохраняются в базе данных mongodb.

- Demo

- Инструкция на Github