How to DYOR in AI services 2025?

TG CHANNEL: @g0ds_plan_og

Google Sheets "Агрегатор" инструментов: https://docs.google.com/spreadsheets/d/1sEdnQZdaqjE02XRhW5-UnBJ4X2Cg6156dG4WEyerhZk/edit?gid=2134803399#gid=2134803399

Итакс, тут буду вести список сервисов для сравнения AI, и публиковать другие полезные ссылки, связанные с AI сектором.

Лидерборды для сравнения крупных языковых моделей (LLM):

1. Hugging Face Open LLM Leaderboard - Это популярный ресурс, где открытые модели языкового моделирования оцениваются по различным бенчмаркам. Сайт предлагает детальную информацию о производительности моделей.
2. Artificial Analysis LLM Leaderboard - Предоставляет сравнение и ранжирование API-провайдеров и моделей по ключевым метрикам, таким как цена, скорость вывода, задержка и размер контекстного окна.
3. LMSYS Chatbot Arena - Платформа, где можно сравнить различные LLM через анонимные, случайные баттлы, основанные на человеческих предпочтениях.
4. SEAL LLM Leaderboards - Разработанные Scale AI, эти лидерборды предлагают экспертную оценку и регулярное обновление рангов моделей на основе частных наборов данных для обеспечения объективности.
5. Vellum AI LLM Leaderboard 2024 - Фокусируется на сравнении как коммерческих, так и открытых источников LLM по их возможностям, цене и размеру контекстного окна на основе данных из технических отчетов.
6. Klu LLM Leaderboard - Упор на метрики производительности, ранги и инсайты для исследователей и разработчиков AI, обновляемый в реальном времени.
7. Chatbot Arena от OpenLM.ai - Использует краудсорсинг для оценки моделей через сравнение ответов, с использованием рейтинга Elo для ранжирования.
8. Lmarena.ai - Ссылку дал один крутой поц с DS (data science), отсюда и взял модельку Deepseek (также по его совету).