Сложности обучения трансформеров

Вольный пересказ разбора c дополнениями от себя. Сначала про то какие есть фишки которые используются для стабильного трейна, потом уже про то зачем они и какие проблемы решают.