Лучшее о подборе гиперпараметров к модели

Рассмотрим ключевые концепции в теме подбора гиперпараметров к модели машинного обучения. В первую очередь, это инструмент, который в зависимости от ситуации может меняться. Так, если параметров мало и датасет небольшой, то используйте GridSearchCV, если же ситуация обратная, то рекомендую применять RandomizedSearchCV с ограниченным количеством итераций. После нахождения области лучших параметров со вторым инструментом можно использовать более точечный подход с Optuna или Hyperopt.

Если применяете пайплайны sklearn для подбора гиперпараметров, в GridSearchCV и RandomizedSearchCV можно задать и поиск оптимальных этапов предобработки данных.

Ниже предлагаю конкретные ссылки, раскрывающие идеи использования подбора гиперпараметров:

1. Общий подход к использованию GridSearchCV и RandomizedSearchCV
2. Какие ключевые метрики собираются в ходе подбора и как их извлечь
3. Подбор этапов предобработки данных
4. Подбор параметров, используя механизм optimize objective Optuna
5. Подбор параметров, используя механизм ask-tell Optuna
6. Scikit-подобный интерфейс к использованию Optuna
7. Подбор гиперпараметров модели с помощью Hyperopt