Pinned
Сложности обучения трансформеров
Вольный пересказ разбора c дополнениями от себя. Сначала про то какие есть фишки которые используются для стабильного трейна, потом уже про то зачем они и какие проблемы решают.
953
CIRCLING BACK TO RECURRENT MODELS OF LANGUAGE
[2211.01848] Новая SOTA от DeepMind в мире рекурренток. До этого 4 года в топах бенчмарков держался Mogrifier LSTM. Речь идёт о бенчмарках Penn Treebank, WikiText2 где модели сравниваются обучаясь end2end на этих датасетах, без дополнительных данных.
24