数据复杂度与模型复杂度

数据复杂度通常指数据的分布、噪声、维度以及样本量对模型学习的挑战程度，包括非线性可分性、类别不平衡、特征冗余等问题。模型复杂度指模型拟合数据的能力，通常与参数数量、结构深度、非线性程度相关。

# 示例：计算模型参数量（复杂度衡量）
import torch
model = torch.nn.Sequential(
    torch.nn.Linear(10, 50),
    torch.nn.ReLU(),
    torch.nn.Linear(50, 2)
)
total_params = sum(p.numel() for p in model.parameters())
print(f"模型参数量: {total_params}")

高数据复杂度可能需要更高模型复杂度来捕捉潜在模式，但过度复杂会导致过拟合。平衡两者需考虑：

偏差-方差权衡
高偏差（低模型复杂度）导致欠拟合，高方差（高模型复杂度）导致过拟合。理想状态是找到复杂度与数据匹配的模型。

正则化技术
通过L1/L2正则化、Dropout等方法抑制模型复杂度过高：

# L2正则化示例
optimizer = torch.optim.SGD(model.parameters(), lr=0.01, weight_decay=1e-5)

交叉验证
使用K折交叉验证评估不同复杂度模型的泛化性能：

from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestClassifier
scores = cross_val_score(RandomForestClassifier(max_depth=5), X, y, cv=5)

维度诅咒
高维数据需降维（如PCA）或特征选择以降低数据复杂度：

from sklearn.decomposition import PCA
pca = PCA(n_components=0.95)  # 保留95%方差
X_reduced = pca.fit_transform(X)