Scikit-learn 1.0：模型选择与调参指南

在机器学习项目中，模型选择与超参数调优是提升性能的关键步骤。Scikit-learn 1.0 提供了强大的工具集实现这一过程，核心流程如下：

一、模型选择方法

1. 交叉验证 (Cross-Validation)
   通过数据划分评估模型稳定性，常用K折交叉验证：
   $$ \text{CV}k = \frac{1}{k} \sum{i=1}^{k} \text{Accuracy}_i $$
   其中 $k$ 为折数，$\text{Accuracy}_i$ 为第 $i$ 折的评分。

2. 评估指标选择
   根据任务类型选择指标：

   • 分类：精确率($\text{Precision} = \frac{TP}{TP+FP}$)、召回率($\text{Recall} = \frac{TP}{TP+FN}$)
   • 回归：均方误差($\text{MSE} = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2$)

二、超参数调优技术

1. 网格搜索 (GridSearchCV)
   遍历预设参数组合，寻找最优解：

   from sklearn.model_selection import GridSearchCV
   from sklearn.svm import SVC
   
   param_grid = {'C': [0.1, 1, 10], 'gamma': [0.01, 0.1, 1]}
   grid_search = GridSearchCV(SVC(), param_grid, cv=5)
   grid_search.fit(X_train, y_train)
   print(f"最优参数: {grid_search.best_params_}")
   

2. 随机搜索 (RandomizedSearchCV)
   高效探索大型参数空间：

   from sklearn.model_selection import RandomizedSearchCV
   from scipy.stats import uniform
   
   param_dist = {'C': uniform(0.1, 10), 'gamma': uniform(0.01, 1)}
   random_search = RandomizedSearchCV(SVC(), param_dist, n_iter=100, cv=5)
   random_search.fit(X_train, y_train)
   

3. 贝叶斯优化 (Bayesian Optimization)
   使用概率模型指导搜索方向，需安装scikit-optimize：

   from skopt import BayesSearchCV
   search_space = {'C': (1e-6, 100, 'log-uniform'), 'kernel': ['linear', 'rbf']}
   bayes_search = BayesSearchCV(SVC(), search_space, n_iter=50, cv=5)
   

三、高级技巧

1. 管道集成 (Pipeline)
   整合预处理与模型：

   from sklearn.pipeline import Pipeline
   from sklearn.preprocessing import StandardScaler
   
   pipe = Pipeline([
       ('scaler', StandardScaler()),
       ('svm', SVC())
   ])
   param_grid = {'svm__C': [0.1, 1, 10]}
   

2. 学习曲线分析
   诊断欠拟合/过拟合：

   from sklearn.model_selection import learning_curve
   import matplotlib.pyplot as plt
   
   train_sizes, train_scores, test_scores = learning_curve(
       estimator, X, y, cv=5, train_sizes=np.linspace(0.1, 1.0, 5)
   )
   plt.plot(train_sizes, np.mean(test_scores, axis=1))
   

四、最佳实践建议

1. 优先使用RandomizedSearchCV处理高维参数空间
2. 分类任务中采用分层抽样(StratifiedKFold)
3. 通过joblib并行加速搜索：n_jobs=-1
4. 记录实验：使用mlflow跟踪参数与结果

关键原则：始终在独立测试集上验证最终模型性能，避免数据泄露。模型调优的目标是找到使泛化误差 $E_{\text{gen}} = E_{\text{emp}} + \Omega(\text{complexity})$ 最小化的平衡点。