Spiridon Sun Rotator
@spiridon_sun_rotator
Compression is my profession
5 posts

SqueezeLLM

[Cтатья][Репозиторий]

Snap Diffusion

Все мы любим генерировать причудливые картинки с помощью диффузионных генеративных моделей: Midjourney, Stable Diffusion, Шедеврум, Kandinsky и многих других. Нейросети, обученные на огромных количествах пар текстов и картинок способны удовлеторить почти любую, даже самую безумную фантазию заказчика (если не считать правильного количества пальцев, взаимного расположения обьектов и иных нюансов).

Обзор на обзор Understanding Optimization of Deep Learning

Данный пост будет в необычном формате.

Memory-Efficient Fine-Tuning of Compressed Large Language Models via sub-4-bit Integer Quantization

Значится, есть у нас квантованная модель, скажем, в 4-бита с некоторой просадкой в качестве на целевой задаче. И мы хотим каким-то образом устранить эту просадку. Естественный вариант - дообучить на целевой задаче.