李航《统计学习方法》学习笔记

a131529

1689人浏览 · 2024-05-21 21:48:24

a131529 · 2024-05-21 21:48:24 发布

前言：

本笔记仅记录《统计学习方法》中各个章节算法|模型的简要概述，比较泛泛而谈，用于应对夏令营面试可能会问的一些问题，不记录证明过程和详细的算法流程。大佬可自行绕路

材料来源：

第2版教材下载链接：统计学习方法（第2版） | 李航 | download on Z-Library

参考笔记：

Lihang：统计学习方法
 Statistic-study-notes：李航统计学习方法（第二版）的学习笔记

章节笔记：

**监督学习与无监督学习**
章节	内容概况	重要性
第一章：统计学习及监督学习概论	1）统计学习的概述、分类、三要素； 2）正则化与交叉验证； 3）生成模型与判别模型； 4）监督学习应用； 5）最大似然估计和贝叶斯估计	⭐⭐⭐
第二章：感知机	1）感知机概述、模型、学习策略； 2）感知机学习算法的原始形式和对偶形式； 3）缺点； 4）与神经网络发展史的联系	⭐⭐⭐
第三章： K近邻法	1）K近邻法概述； 2）三个基本要素； 3）算法流程； 4）kd树	⭐⭐⭐
第四章：朴素贝叶斯法	1）朴素贝叶斯法概述、参数估计； 2）贝叶斯网络	⭐⭐⭐
第五章：决策树	1）决策树概述； 2）决策树模型； 3）特征选择、决策树的生成、剪枝； 4）CART算法	⭐⭐⭐
第六章：逻辑斯谛回归与最大熵模型	1）逻辑斯谛回归； 2）最大熵模型； 3）模型学习的优化算法	⭐⭐⭐
第七章：支持向量机	1）支持向量机概述； 2）硬间隔； 3）软间隔； 4）核函数； 5）序列最小最优化算法SMO	⭐⭐⭐
第八章：提升方法	1）提升方法概述； 2）AdaBoost算法； 3）训练误差分析； 4）算法的解释； 5）提升树	⭐⭐⭐
第九章：EM算法及其推广	1）EM算法概述； 2）一个使用EM算法的例子； 3）EM流程； 4）EM的收敛性； 5）EM在高斯混合模型中的应用； 6）EM算法的推广	⭐⭐
第十章：隐马尔可夫模型	1）马尔可夫模型概述； 2）一个形象的例子； 3）隐马尔可夫模型的定义； 4）观测序列的生成过程； 5）3个基本问题及对应的学习算法	⭐⭐
第十一章：条件随机场	1）条件随机场概述； 2）概率无向图模型； 3）条件随机场的定义与形式； 4）条件随机场的概率计算问题、学习算法、预测算法、名字由来	⭐⭐
第十二章：监督学习方法总结	1）2~11章共10种监督学习算法的适用问题、模型、学习策略及学习算法	⭐⭐⭐
第十三章：无监督学习概论	1）无监督学习基本原理； 2）3类基本问题（聚类、降维、概率模型估计）； 3）无监督学习三要素	⭐⭐⭐
第十四章：聚类方法	1）聚类的基本概念； 2）层次聚类； 3）K均值聚类； 4）算法的特征	⭐⭐⭐
第十五章：奇异值分解	1）奇异值分解概述； 2）分解的定义与性质； 3）奇异值分解的计算； 4）奇异值分解与矩阵近似	⭐⭐⭐
第十六章：主成分分析	1）主成分分析概述； 2）总体主成分分析； 3）样本主成分分析	⭐⭐⭐
第十七章：潜在语义分析	1）LSA概述； 2）单词向量空间与话题向量空间； 3）LSA算法流程； 4）非负矩阵分解算法	⭐
第十八章：概率潜在语义分析	1）PLSA和LSA的区别与联系； 2）PLSA概述； 3）PLSA； 4）PLSA的算法	⭐
第十九章：马尔可夫链蒙特卡洛法	1）马尔可夫链蒙特卡洛法概述； 2）蒙特卡洛法； 3）马尔可夫链； 4）马尔卡夫蒙特卡洛法； 5）Metropolis-Hastings; 6）吉布斯抽样	⭐
第二十章：潜在狄利克雷分配	1）狄利克雷分布； 2）LDA； 3）LDA的吉布斯抽样； 4）LDA的变分EM算法	⭐
第二十一章：PageRank算法	1）PageRank的定义； 2）PageRank的3种计算方式	⭐⭐
第二十二章：无监督学习方法总结	1）无监督学方法的关系和特点； 2）话题模型之间的关系和特点	⭐⭐⭐