Mistral Small 4 - новый шаг в развитии открытых языковых моделей

Mistral AI представила четвёртую версию своей компактной модели. Mistral Small 4 объединяет в себе сильные стороны предыдущих решений.
Ключевое нововведение - Mixture of Experts.

Общий объём 119 миллиардов параметров, но при обработке каждого токена активируется лишь около 6 миллиардов для улучшения производительности без потери качества.

Контекстное окно в 256 тысяч токенов, поэтому можно загружать документы, анализировать переписку или обрабатывать изображения прямо в чате.

Отдельного внимания заслуживает система контроля глубины мышления : режим «none» для мгновенных ответов или «high» для пошагового анализа задачи.

По сравнению с предыдущими версиями скорость работы выросла на 40%, а пропускная способность - в три раза.

⛓️ Модель полностью открыта на Mistral и Hugging face

🔥 Kling 3 без лимитов и большую библиотеку промптов забираем тут