Stay on topic with Classifier-Free Guidance
Все SD фаны ща такие CFG(classfier free guidence) БЛЯТЬ ЭТО МОЕ АААААА, и будут правы, это подход благодаря которому diffusion работает так как работает, идея такая
Идея в том что у нас есть NOize(какой то предикт) из UNET оно как бы случайно, а мы берем и добавляем шум по промпту, те приближаем как бы к тому что нужно делая это степ за степом(ух как меня за это будут обоссывать CV motherfuckers)
В общем силу промптов у Stable diffusion все видели, пояснять не надо, а причем тут LM? А ПРИ ТОМ, смари чо могу
а это приближение генерации по classfier free guidence к доп промпту!!
Ну прошаренный читатель скажет: админ, но это же учить надо, очередной гиблый метод контроля LM(мб), НО ЭТО РАБОТАЕТ БЕЗ ОБУЧЕНИЯ, ЭТО ПРОСТО ХИТРЫЙ TOP_K(k самых вероятных) СЭМПЛИНГ!!
Ну типа вот вся матеша))) нихуя сложного, да? Просто выбираем токены которые лучше всего коррелируют с доп промптов
а теперь смотрите на метрики:
ОНО НАКИДЫВАЕТ ПОЧТИ x2 ТОЧНОСТИ БЕЗ ДВИЖЕНИЙ, 10 СТРОЧКАМИ КОДА И ПРАВИЛЬНЫМ ПРОМПТОМ!!!! ТАК БЛЯТЬ НИЧЕГО(кажется) не может
А еще 7B llama без тюна бьет PALM 540B на сете LAMBAD
А еще благодаря negative prompt мы можем делать модели безопаснее не предпримая никаких движений, оно само себя ранжирует выбирая самые безопасные токены, потому что LM знает об этом больше чем мы!
Ну те вычислительную сложность мы повышаем минмально, а с учетом размера текущих моделей - принибрижительно мало