Генеративная нейросеть с триллионом параметров 🔋

Intel представила суперкомпьютер Aurora, который будет более чем в два раза производительнее текущего самого мощного в мире AMD Frontier. С помощью «авроры» Intel планирует обучать свою одноименную генеративную нейросеть Aurora genAI.

Основой для модели Intel Aurora genAI являются Megatron и DeepSpeed. При этом козырем этой разработки является ее производительность — целевой размер нейросети составляет 1 триллион параметров. Для сравнения, размер бесплатной и общедоступной версий ChatGPT составляет всего 175 миллионов параметров.

Это будет очень «начитанная» сеть, которая сможет разбираться в самых сложных вопросах — начиная от дизайна молекул и материалов, заканчивая открытиями в мировой науке.