• 看到数据时，先判断 “数字是否仅为标签”：是→标称型；

• 若数字有实际意义且能运算→数值型，再进一步判断是离散还是连续。

• 离散型：计数数据，整数，不可细分（如人数、次数）

• 连续型：可在区间内任意取值，含小数（如长度、时间、质量）

• 分类（目标值离散型）：k - 近邻算法(KNN)、贝叶斯分类、决策树、随机森林、逻辑回归(LR)、神经网络，支持向量机，XGboost, LightGBM

• 回归（目标值连续型）：线性回归、岭回归（加了正则化）（解决过拟合问题）

• 标注：隐马尔可夫模型

• 聚类：k-means 提取文字，通过聚类中心将数据分组

• 主成分分析 用于降纬，提取数据的主成分

1. 原始数据 → 2. 数据特征工程 → 3. 算法学习 → 4. 模型 → 5. 模型评估 → 6. 模型选择 → 7. 模型应用

from sklearn.model_selection import train_test_split X_train,
 X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

• load_iris()：鸢尾花数据集，3类，4特征，150样本

• load_digits()：手写数字数据集，10类，64特征，1797样本

• fetch_20newsgroups()：新闻文本数据集，20类，18000样本

• load_boston()：波士顿房价数据集，回归问题，13特征，506样本

"""
    fit() 步骤：
        计算数据的统计信息（如均值、标准差、最大值，最小值等） 无论你调用归一化还是标准化，
        这些需要的数都已经被算出来了
        这些统计信息会被保存在 scaler 对象中
    transform() 步骤：
        使用 fit() 得到的统计信息对数据进行转换
        调用对应的实例化对象的公式进行转化
    fit_transform() 步骤：
        先执行 fit() 计算统计信息，再执行 transform() 完成转换
        是 fit() + transform() 的便捷写法
"""
result = scaler.fit_transform(data)

• 分类估计器：KNeighborsClassifier, LogisticRegression, NaiveBayes

• 回归估计器：LinearRegression, Ridge

• 通过测量不同特征值之间的距离进行分类。

• 选择k个最近邻居中出现次数最多的类别作为预测结果。

• 优点：精度高、对异常值不敏感、无数据输入假定

• 缺点：计算复杂度高、空间复杂度高

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
# KNN算法
from sklearn.neighbors import KNeighborsClassifier


# 数据集的划分
def knn_deal():
    # 加载数据集
    iris = load_iris()
    x = iris.data  # 特征值
    y = iris.target  # 目标值
    # X_train(训练集的特征值)  X_test(测试集的特征值)
    # y_train(训练集的目标值)  y_test (测试集的目标值)
    # 将数据集进行划分
    X_train, X_test, y_train, y_test = train_test_split(x, y, test_size=0.2)

    #实例化    n_neighbors=5就是文档中案例knn中的k值
    knn = KNeighborsClassifier(n_neighbors=5)
    knn.fit(X_train, y_train)

    # 模型评估
    print("模型的准确率：", knn.score(X_test, y_test))
    # 预测
    print("预测结果：", knn.predict(X_test))
if __name__ == '__main__':
    knn_deal()

• 各部分含义：

from sklearn.datasets import fetch_20newsgroups  # 新闻分类数据集导入
from sklearn.feature_extraction.text import TfidfVectorizer  # 特征值化
from sklearn.model_selection import train_test_split  # 数据集分割
from sklearn.naive_bayes import MultinomialNB  # 贝叶斯

def beiyesi():
    print(1111)
    # 数据集
    news = fetch_20newsgroups()

    # 数据集的划分
    x_train,x_test,y_train,y_test = train_test_split(news.data, news.target, test_size=0.3)

    print(x_train)
    # 特征值化
    tf = TfidfVectorizer()
    # 训练集  不能对测试集进行fit_transform 因为 训练集和测试集不能同时进行特征值化
    x_train = tf.fit_transform(x_train)
    x_test = tf.transform(x_test)

    # 贝叶斯
    mlt = MultinomialNB(alpha=1.0)

    # 训练
    mlt.fit(x_train, y_train)
    # 预测
    print(mlt.score(x_test, y_test))
    print(mlt.predict(x_test))

if __name__ == '__main__':
    beiyesi()

• 精确率（Precision）：TPTP+FPTP+FPTP​

• 召回率（Recall）：TPTP+FNTP+FNTP​

• F1-Score：2⋅Precision⋅RecallPrecision+RecallPrecision+Recall2⋅Precision⋅Recall​

from sklearn.datasets import fetch_20newsgroups  # 新闻分类数据集
from sklearn.model_selection import train_test_split  # 数据集分割
from sklearn.preprocessing import StandardScaler  # 标准化
from sklearn.naive_bayes import MultinomialNB  # 贝叶斯
from sklearn.feature_extraction.text import TfidfVectorizer  # 特征值化
# 评估
from sklearn.metrics import classification_report
# 交叉验证
from sklearn.model_selection import cross_val_score

def beiyesi():
    print(1111)
    news = fetch_20newsgroups()

    x_train,x_test,y_train,y_test = train_test_split(news.data, news.target, test_size=0.3)

    # print(x_train)
    # 特征值化
    tf = TfidfVectorizer()
    # 转化器 训练集
    x_train = tf.fit_transform(x_train)
    x_test = tf.transform(x_test)

    # 朴素贝叶斯
    mlt = MultinomialNB(alpha=1.0)

    # 交叉验证
    print(cross_val_score(mlt,x_train,y_train,cv=5))
    # mlt.fit(x_train, y_train)
    # # 准确率
    # print(mlt.score(x_test, y_test))
    # print(mlt.predict(x_test))
    # print("这下边是模型评估")
    # res = classification_report(y_test,mlt.predict(x_test),target_names=news.target_names)
    # print("模型的正确率和召回率:",res)




if __name__ == '__main__':
    beiyesi()

from sklearn.model_selection import GridSearchCV
params = {"n_neighbors": [1, 3, 5, 7]}
grid = GridSearchCV(knn, param_grid=params, cv=5)
grid.fit(X_train, y_train)
print(grid.best_params_)

• 节点：表示一个特征或属性

• 分支：表示一个决策规则

• 叶子节点：表示一个类别（分类）或数值（回归）

1. 特征选择：选择最优划分特征（如信息增益、基尼系数）

2. 决策树生成：递归地构建树

3. 决策树剪枝：防止过拟合（预剪枝、后剪枝）

• 易于理解和解释
• 不需要特征缩放
• 可以处理数值型和分类型数据
• 能处理多输出问题

• 容易过拟合（需剪枝）
• 对数据敏感，小变化可能导致树结构大变
• 忽略特征间的相关性

from sklearn.ensemble import RandomForestClassifier 
rf = RandomForestClassifier( n_estimators=100, # 树的数量 
max_depth=5, random_state=42 ) 
rf.fit(X_train, y_train) print(rf.score(X_test, y_test))

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier, export_graphviz
from sklearn.model_selection import train_test_split
import pydotplus

# 加载数据
iris = load_iris()
X, y = iris.data, iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 训练决策树
clf = DecisionTreeClassifier(max_depth=3, random_state=42)
clf.fit(X_train, y_train)

# 评估
print("Accuracy:", clf.score(X_test, y_test))

# 可视化（可选）
dot_data = export_graphviz(
    clf, 
    out_file=None,
    feature_names=iris.feature_names,
    class_names=iris.target_names,
    filled=True
)
graph = pydotplus.graph_from_dot_data(dot_data)
graph.write_png("iris_tree.png")

• 用于二分类问题（广告点击率、用户性别判断等）

• 输出为概率值（通过sigmoid函数转换）

from sklearn.linear_model import LogisticRegression

log_reg = LogisticRegression(penalty='l2', C=1.0)
log_reg.fit(X_train, y_train)