十大经典机器学习算法详解（附 Python 代码）

都布

744人浏览 · 2026-01-27 11:05:21

都布 · 2026-01-27 11:05:21 发布

适用读者：机器学习初学者、数据科学入门者、编程爱好者
运行环境：Python 3.7+，需安装 scikit-learn, matplotlib, numpy

引言：什么是机器学习？

想象一下，你教一个孩子识别猫和狗。你不会直接告诉他“猫有尖耳朵、细尾巴”，而是给他看很多张图片，并不断纠正：“这是猫”、“那是狗”。久而久之，他自己就能总结出规律。

机器学习正是这样一种让计算机从数据中“学习经验”的技术。它不依赖人工编写的规则，而是通过算法自动发现数据中的模式，并用于预测或决策。

在众多机器学习算法中，有十种被广泛认为是“经典中的经典”。它们不仅是学术研究的基石，更是工业界解决实际问题的利器。无论你是准备面试、参加比赛，还是想踏入 AI 领域，掌握这十大算法都至关重要。

一、线性回归（Linear Regression）

线性回归是最基础的回归算法，它的目标非常直观：找到一条“最佳拟合直线”，来描述输入特征与连续输出值之间的关系。比如，我们想根据房屋面积预测房价——面积越大，房价越高，这种关系大致呈线性。线性回归通过最小化预测值与真实值之间的“平方误差”（即所有点到直线的垂直距离的平方和），来确定这条直线的斜率和截距。虽然名字里有“线性”，但它也能通过特征工程（如添加面积的平方项）拟合非线性关系。它的最大优点是简单、高效、可解释性强——每个特征的权重直接反映了它对结果的影响程度。正因如此，线性回归常被用作基线模型（baseline），用来衡量更复杂模型是否真的带来了提升。

典型应用场景：房价预测、销量预测、股票价格趋势分析（短期）、温度与用电量的关系建模

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_regression
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

# 生成模拟数据：1个特征，100个样本
X, y = make_regression(n_samples=100, n_features=1, noise=20, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建并训练模型
model = LinearRegression()
model.fit(X_train, y_train)

# 评估模型
train_score = model.score(X_train, y_train)
test_score = model.score(X_test, y_test)

# 可视化
plt.figure(figsize=(10, 6))
plt.scatter(X_train, y_train, color='blue', alpha=0.6, label='训练数据')
plt.scatter(X_test, y_test, color='red', alpha=0.8, label='测试数据')
plt.plot(X, model.predict(X), color='green', linewidth=2, label=f'拟合直线 (R²={test_score:.2f})')
plt.title('线性回归：拟合一条最佳直线')
plt.xlabel('特征 X')
plt.ylabel('目标值 y')
plt.legend()
plt.grid(True, linestyle='--', alpha=0.7)
plt.show()

print(f"训练集 R²: {train_score:.4f}")
print(f"测试集 R²: {test_score:.4f}")

二、逻辑回归（Logistic Regression）

尽管名字叫“回归”，逻辑回归实际上是一种强大的分类算法，尤其擅长解决二分类问题（如判断邮件是否为垃圾邮件）。它的核心思想是：先像线性回归一样计算一个线性组合（z = w·x + b），然后把这个结果传入一个神奇的 Sigmoid 函数（形状像“S”）。Sigmoid 函数能将任意实数压缩到 (0, 1) 区间，这个输出可以被解释为“属于正类的概率”。例如，输出 0.9 意味着模型有 90% 的把握认为该样本是正类。当概率大于 0.5 时，就判定为正类，否则为负类。逻辑回归的训练过程是通过最大似然估计来调整权重，使得模型对已知标签的预测概率尽可能高。它继承了线性模型的简洁和高效，同时具备概率输出这一宝贵特性，在金融风控、医疗诊断等领域应用极广。

典型应用场景：垃圾邮件识别、用户是否会点击广告（CTR 预估）、疾病风险预测（患病/不患病）信用评分（违约/不违约）

from sklearn.datasets import make_classification
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report

# 生成二分类数据
X, y = make_classification(n_samples=200, n_features=2, n_redundant=0, n_informative=2,
                           n_clusters_per_class=1, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 训练逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)

# 预测与评估
y_pred = model.predict(X_test)
print("逻辑回归分类报告:")
print(classification_report(y_test, y_pred, target_names=['类别0', '类别1']))
print(f"准确率: {model.score(X_test, y_test):.4f}")

三、K近邻（K-Nearest Neighbors, KNN）

K近邻算法奉行“近朱者赤，近墨者黑”的哲学。它的逻辑极其简单：要判断一个新样本属于哪一类，就去看它在特征空间中最近的 K 个邻居都是什么类别，然后通过投票（少数服从多数）来决定新样本的类别。对于回归问题，则取 K 个邻居的目标值的平均值作为预测结果。KNN 是一种“懒惰学习”（Lazy Learning）算法——它在训练阶段几乎不做任何事，只是把所有训练数据存储起来；真正的计算发生在预测阶段。因此，它的训练速度极快，但预测速度会随着数据量增大而显著变慢。K 值的选择至关重要：K 太小容易受噪声干扰（过拟合），K 太大则可能模糊类别边界（欠拟合）。KNN 对数据的尺度非常敏感，使用前通常需要进行标准化。

典型应用场景：推荐系统（找相似用户）、手写数字识别（小数据集）、医学诊断（基于相似病例）、图像分类（作为基线）

from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris
import seaborn as sns

# 加载鸢尾花数据集
iris = load_iris()
X, y = iris.data[:, :2], iris.target  # 仅使用前两个特征以便可视化
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 特征标准化（KNN 必须！）
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 训练 KNN 模型 (K=5)
knn = KNeighborsClassifier(n_neighbors=5)
knn.fit(X_train_scaled, y_train)

# 创建网格以绘制决策边界
h = 0.02
x_min, x_max = X_train_scaled[:, 0].min() - 1, X_train_scaled[:, 0].max() + 1
y_min, y_max = X_train_scaled[:, 1].min() - 1, X_train_scaled[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
Z = knn.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

# 可视化
plt.figure(figsize=(10, 7))
plt.contourf(xx, yy, Z, alpha=0.4, cmap=plt.cm.RdYlBu)
scatter = plt.scatter(X_train_scaled[:, 0], X_train_scaled[:, 1], c=y_train, cmap=plt.cm.RdYlBu, edgecolor='k')
plt.xlabel(iris.feature_names[0])
plt.ylabel(iris.feature_names[1])
plt.title('KNN 决策边界 (K=5)')
plt.legend(*scatter.legend_elements(), title="类别")
plt.show()

print(f"KNN 测试准确率: {knn.score(X_test_scaled, y_test):.4f}")

四、决策树（Decision Tree）

决策树模仿人类做决策的过程，通过一系列 if-else 规则对数据进行分割。想象你在玩“猜动物”游戏：第一个问题可能是“它是哺乳动物吗？”，如果是，再问“它生活在水里吗？”，如此层层递进，最终猜出答案。在机器学习中，算法会自动选择最优的特征和分割点，使得每次分割后子节点的“纯度”最高（即同类样本尽可能聚集在一起）。常用的纯度度量有基尼不纯度（Gini Impurity）和信息增益（基于熵）。决策树的最大魅力在于其极强的可解释性——你可以清晰地看到模型是如何做出每一个决定的。此外，它不需要特征缩放，能处理数值型和类别型数据，并且天然支持特征重要性评估。不过，单棵决策树容易过拟合，这也是为什么后来发展出了随机森林等集成方法。

典型应用场景：信贷审批规则、医疗诊断辅助、客户流失原因分析、游戏 AI 行为树

from sklearn.tree import DecisionTreeClassifier, plot_tree
from sklearn.datasets import load_wine

# 加载葡萄酒数据集
wine = load_wine()
X_train, X_test, y_train, y_test = train_test_split(wine.data, wine.target, test_size=0.3, random_state=42)

# 训练决策树（限制深度防止过拟合）
tree = DecisionTreeClassifier(max_depth=3, random_state=42)
tree.fit(X_train, y_train)

# 可视化决策树
plt.figure(figsize=(20, 10))
plot_tree(tree, 
          feature_names=wine.feature_names,
          class_names=wine.target_names,
          filled=True,
          rounded=True,
          fontsize=10)
plt.title("决策树可视化（深度=3）")
plt.show()

print(f"决策树测试准确率: {tree.score(X_test, y_test):.4f}")

五、随机森林（Random Forest）

随机森林是集成学习（Ensemble Learning）的杰出代表，它通过构建大量相互独立的决策树并将它们的结果进行汇总（分类用投票，回归用平均），从而获得远超单棵树的性能。它的“随机”体现在两个方面：1) Bagging：每棵树使用从原始数据集中有放回随机抽取的子样本进行训练；2) 特征随机：在每个节点分裂时，只考虑随机选取的一部分特征。这种双重随机性极大地降低了模型的方差，有效防止了过拟合，同时保持了较高的准确率。随机森林几乎不需要调参（主要调 n_estimators 和 max_depth），对异常值和缺失值鲁棒，还能输出特征重要性，帮助我们理解哪些特征对预测结果贡献最大。正因为这些优点，它成为了 Kaggle 竞赛和工业界最受欢迎的“万金油”算法之一。

典型应用场景：金融欺诈检测、电商商品推荐、生物信息学（基因选择）、任何需要高精度且可解释性的场景

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

# 加载鸢尾花数据集
iris = load_iris()
X, y = iris.data, iris.target

# ========== 关键修改：添加高斯噪声 ==========
# 噪声强度（标准差），可调节：值越大，噪声越强
noise_std = 0.5

# 生成与 X 同形状的高斯噪声（均值为0，标准差为 noise_std）
np.random.seed(42)  # 保证可复现
noise = np.random.normal(loc=0.0, scale=noise_std, size=X.shape)

# 将噪声加到原始特征上
X_noisy = X + noise

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(
    X_noisy, y, test_size=0.3, random_state=42
)

# 训练随机森林
rf = RandomForestClassifier(n_estimators=100, random_state=42)
rf.fit(X_train, y_train)

# 评估
test_acc = rf.score(X_test, y_test)
print(f"随机森林测试准确率（含噪声）: {test_acc:.4f}")

# 特征重要性
importances = rf.feature_importances_
indices = np.argsort(importances)[::-1]

# 可视化特征重要性
plt.figure(figsize=(10, 6))
plt.title(f"随机森林：特征重要性（噪声强度 σ={noise_std}，准确率={test_acc:.2%})")
plt.bar(range(X_train.shape[1]), importances[indices], align="center", color='skyblue')
plt.xticks(
    range(X_train.shape[1]),
    [iris.feature_names[i] for i in indices],
    rotation=45,
    ha='right'
)
plt.ylabel("重要性")
plt.xlim([-1, X_train.shape[1]])
plt.tight_layout()
plt.show()

六、支持向量机（Support Vector Machine, SVM）

支持向量机的目标是在特征空间中找到一个最优的决策边界（称为超平面），使得不同类别的样本被尽可能清晰地分开。这个“最优”体现在最大化分类间隔（Margin）——即离超平面最近的那些样本点（称为支持向量）到超平面的距离之和最大。SVM 的强大之处在于其核技巧（Kernel Trick）：当数据在原始空间中线性不可分时，可以通过一个非线性映射将数据投影到更高维的空间，在那里数据可能变得线性可分。而核函数（如 RBF、多项式核）让我们无需显式计算高维坐标，就能在高维空间中进行内积运算，极大地提高了效率。SVM 在高维空间中表现尤为出色，即使特征数远大于样本数也能有效工作。但它对大规模数据集训练较慢，且对特征缩放敏感。

典型应用场景：文本分类（如新闻主题分类）、图像识别（手写体、人脸识别）、生物信息学（蛋白质分类）、小样本、高维度的分类问题

from sklearn.svm import SVC
from sklearn.preprocessing import StandardScaler

# 使用鸢尾花数据的前两个特征
X, y = iris.data[:, :2], iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# SVM 必须进行特征缩放！
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# 训练 SVM (使用 RBF 核)
svm = SVC(kernel='rbf', gamma='scale', random_state=42)
svm.fit(X_train_scaled, y_train)

print(f"SVM 测试准确率: {svm.score(X_test_scaled, y_test):.4f}")

七、朴素贝叶斯（Naive Bayes）

朴素贝叶斯基于著名的贝叶斯定理，并做出了一个关键但“朴素”的假设：所有特征在给定类别下都是相互独立的。虽然这个假设在现实中很少成立（比如，一封邮件中“免费”和“赢钱”这两个词显然相关），但令人惊讶的是，朴素贝叶斯在许多实际应用中依然表现优异。它的核心思想是：对于一个新样本，计算它属于每个类别的后验概率，然后选择概率最大的那个类别。由于假设了特征独立，联合概率的计算被大大简化为各个特征概率的乘积。朴素贝叶斯最大的优势是训练和预测速度极快，对小规模数据集效果好，且对缺失数据不敏感。它特别适合处理高维稀疏数据，如文本（每个词是一个特征）。

典型应用场景：垃圾邮件过滤、情感分析（正面/负面评论）、文档分类、实时预测系统

from sklearn.naive_bayes import GaussianNB
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.pipeline import Pipeline

# 简化版：使用鸢尾花数据（虽然不是文本，但可演示）
gnb = GaussianNB()
gnb.fit(X_train, y_train)
print(f"朴素贝叶斯测试准确率: {gnb.score(X_test, y_test):.4f}")

# 注：在真实文本任务中，你会这样用：
# categories = ['alt.atheism', 'soc.religion.christian']
# newsgroups_train = fetch_20newsgroups(subset='train', categories=categories)
# vectorizer = TfidfVectorizer()
# X_train_tfidf = vectorizer.fit_transform(newsgroups_train.data)
# nb_text = MultinomialNB().fit(X_train_tfidf, newsgroups_train.target)

八、 K均值聚类（K-Means Clustering）

K均值是一种无监督学习算法，用于将未标记的数据自动分组（聚类）。它的目标是将 n 个数据点划分为 K 个簇，使得每个簇内的点尽可能相似，而不同簇间的点尽可能不同。具体过程是迭代的：1) 随机初始化 K 个簇中心；2) 将每个点分配给最近的簇中心；3) 重新计算每个簇的中心（即该簇所有点的均值）；4) 重复步骤 2-3 直到簇中心不再显著变化。K均值的核心是最小化簇内平方和（WCSS）。它的优点是简单、高效，但缺点也很明显：需要预先指定 K 值，对初始中心敏感，且假设簇是凸形和各向同性的（对非球形簇效果差）。通常用“肘部法则”或轮廓系数来选择合适的 K。

典型应用场景：客户细分（市场分析）、图像压缩（颜色聚类）、社交网络分析（社区发现）、异常检测（远离所有簇的点）

from sklearn.cluster import KMeans
from sklearn.datasets import make_blobs

# 生成模拟聚类数据
X, _ = make_blobs(n_samples=300, centers=4, cluster_std=0.60, random_state=42)

# 训练 K-Means
kmeans = KMeans(n_clusters=4, random_state=42)
y_kmeans = kmeans.fit_predict(X)

# 可视化
plt.figure(figsize=(10, 7))
plt.scatter(X[:, 0], X[:, 1], c=y_kmeans, s=50, cmap='viridis')
centers = kmeans.cluster_centers_
plt.scatter(centers[:, 0], centers[:, 1], c='red', s=200, alpha=0.75, marker='X')
plt.title('K-Means 聚类结果')
plt.xlabel('特征 1')
plt.ylabel('特征 2')
plt.show()

九、主成分分析（Principal Component Analysis, PCA）

PCA 是最常用的无监督降维技术。它的目标是将高维数据投影到一个低维子空间，同时尽可能保留原始数据的方差信息（即数据的主要变化方向）。具体来说，PCA 会找到数据中方差最大的方向（第一主成分），然后找到与之正交且方差次大的方向（第二主成分），依此类推。通过只保留前几个主成分，我们可以将成百上千维的数据压缩到2维或3维，便于可视化，或作为其他机器学习算法的输入以减少计算量和噪声。PCA 的本质是线性变换，它假设数据的主要信息蕴含在最大方差的方向上。需要注意的是，PCA 对特征的尺度非常敏感，使用前必须进行标准化。

典型应用场景：高维数据可视化（如基因表达数据）、去噪（丢弃代表噪声的小方差成分）、加速后续模型训练、特征工程（创建不相关的综合特征）

from sklearn.decomposition import PCA
from sklearn.datasets import load_digits

# 加载手写数字数据（64维）
digits = load_digits()
X = digits.data
y = digits.target

# 应用 PCA 降到 2 维
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)

# 可视化
plt.figure(figsize=(12, 8))
scatter = plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap='tab10', alpha=0.6)
plt.legend(*scatter.legend_elements(), title="数字")
plt.title(f'PCA 降维可视化 (保留方差比例: {pca.explained_variance_ratio_.sum():.2%})')
plt.xlabel('第一主成分')
plt.ylabel('第二主成分')
plt.show()

十、梯度提升树（Gradient Boosting）

梯度提升（Gradient Boosting）是一种强大的集成学习方法，它以串行方式构建一组弱学习器（通常是决策树）。与随机森林的并行构建不同，梯度提升的核心思想是：每一棵新树都专注于拟合之前所有树的预测结果与真实值之间的残差（即损失函数的负梯度）。换句话说，模型在一步步地“修正”自己的错误。通过这种方式，模型能够逐步逼近真实函数。梯度提升的关键优势在于其极高的预测精度，经常在各种机器学习竞赛中拔得头筹。然而，它也更容易过拟合，训练时间较长，且对参数（如学习率、树的数量、深度）较为敏感。XGBoost、LightGBM 和 CatBoost 是梯度提升的高效实现，在工业界广泛应用。

典型应用场景：Kaggle 竞赛冠军模型、搜索引擎排序（Learning to Rank）、精准营销（用户响应预测）、任何追求极致精度的结构化数据任务

from sklearn.ensemble import GradientBoostingClassifier

# 使用葡萄酒数据
X_train, X_test, y_train, y_test = train_test_split(wine.data, wine.target, test_size=0.3, random_state=42)

# 训练梯度提升模型
gb = GradientBoostingClassifier(
    n_estimators=100,
    learning_rate=0.1,
    max_depth=3,
    random_state=42
)
gb.fit(X_train, y_train)

print(f"梯度提升测试准确率: {gb.score(X_test, y_test):.4f}")

十一、总结

算法	类型	是否需要特征缩放	可解释性	适合大数据	典型用途
线性回归	回归	是	⭐⭐⭐⭐⭐	是	预测连续值
逻辑回归	分类	是	⭐⭐⭐⭐	是	二分类、概率输出
K近邻 (KNN)	分类/回归	是	⭐	否	小数据、原型匹配
决策树	分类/回归	否	⭐⭐⭐⭐⭐	中	规则提取、可解释性
随机森林	集成	否	⭐⭐⭐	是	高精度、特征重要性
SVM	分类	是	⭐	否	高维、小样本
朴素贝叶斯	分类	否	⭐⭐	是	文本分类、实时预测
K-Means	聚类	是	⭐⭐	中	无监督分组
PCA	降维	是	⭐⭐	是	可视化、去噪、加速
梯度提升	集成	否	⭐	是	极致精度、竞赛