Ibragim
@ibragim_bad
2 posts
AI

Как я собрал evals из своих задач и стал тратить на токены вдвое меньше

Многие компании уже собирают свои evals (наборы задач для проверки агентов) и делают по ним hill climbing: меняют модели и сетапы, дообучают модели, сокращают расход токенов. Другие тем временем используют дорогие фронтирные модели даже на простых задачах. Отдельные разработчики часто делают то же самое.