说实话,这本绿皮的《机器学习》(俗称“西瓜书”)在我的书架上已经吃灰很久了。

每次翻开前几页,看到那一堆 ∑\sum∫\int 还有各种花体字母,心里就容易打退堂鼓。但最近为了系统补课,还是硬着头皮拿起了书,并且这次特意搭配了传说中的“南瓜书”(公式详解版)一起看。

读完第一章《绪论》,意外地发现:好像并没有想象中那么可怕?

这一章更像是借着“挑西瓜”这个生活案例,帮我们把机器学习的整个世界观给搭起来。这里记录几个我读完后觉得最“通透”的几个点,希望能帮同样刚入门的伙伴们定定心。


1. 别被数学吓破胆

南瓜书的序言里有一句话特别打动我:“旨在帮读者消除阅读过程中的数学恐惧”

确实,第一章其实没什么硬核算法,更多的是在对齐“行话”。哪怕公式看起来唬人,但只要你有大学高数、线代和概率论的基础(哪怕还给老师了一半),配合着看推导,其实是可以看懂的。

比如书里提到的“NFL定理”(没有免费的午餐)那个求和公式看着挺长:

∑fI(h(x)≠f(x))=122∣X∣ \sum_f \mathbb{I}(h(x) \neq f(x)) = \frac{1}{2} 2^{|\mathcal{X}|} fI(h(x)=f(x))=212X

乍一看头大,但仔细看南瓜书的拆解,其实它就在说一个很朴素的道理:如果不考虑具体问题具体分析,在这个世界上,最牛的算法和瞎蒙的算法,期望性能其实是一样的。

  • 这里的 fff 代表所有可能的真实目标函数;
  • h(x)h(x)h(x) 是我们学到的模型;
  • X\mathcal{X}X 是样本空间。
  • 公式推导证明了:无论你的算法多聪明,总有一半的 fff 会让它出错。

所以,学机器学习不用迷信“万能算法”,适合场景的才是最好的。

2. 所谓“模型”,不过是一个函数

这一章帮我理清了几个容易混淆的概念,比如“算法”“模型”。

以前我总把它们混为一谈。书里的逻辑就很清晰:

  • 算法是菜谱(方法);
  • 模型是做出来的菜(结果)。

举个具体的例子:我们用“线性回归算法”,在数据上跑一遍,最后得到的一个形如 y=wx+by = wx + by=wx+b 的函数,这个函数就是模型。

我们的目标,就是在一堆可能的函数里(这个范围叫假设空间),找到那个最能还原真相的函数。

3. 数据决定上限,算法逼近上限

这是我读第一章最大的感触。

书里举了个例子:如果我们要区分好瓜坏瓜,只看“色泽”这一项特征,可能怎么算都算不准;但如果特征选得好,甚至不需要复杂的计算就能分得清清楚楚。

这让我意识到“特征工程”的重要性。把现实世界的东西(比如西瓜),抽象成计算机能看懂的数学形式——向量

x=(青绿;蜷缩;清脆) x = (\text{青绿}; \text{蜷缩}; \text{清脆}) x=(青绿;蜷缩;清脆)

这一步如果走偏了,后面用再牛的算法也是白搭。

4. “奥卡姆剃刀”与人生哲学

在讲到“归纳偏好”时,书里提到了奥卡姆剃刀原则

“若有多个假设与观察一致,则选最简单的那个。”

举个例子,如果一堆数据点,既可以用一条直线连起来,也可以用一条弯弯曲曲非常复杂的曲线连起来。在没有更多证据之前,我们通常相信那条直线才是真相。

这不仅仅是数学,感觉也是某种人生哲学。模型越复杂,往往越容易“过拟合”(死记硬背),反而是简单的逻辑更具有泛化能力(能举一反三)。


写在最后:关于“泛化”

第一章反复强调了一个词:泛化 (Generalization)

我们让机器去学习,不是为了让它把现在的 100 个西瓜背下来,而是为了以后遇到那第 101 个从未见过的西瓜时,它能判断对。

这就是我们分“训练集”和“测试集”的原因。就像上学时,平时作业做得再好(训练误差小),如果考试遇到新题懵了(泛化能力差),那还是没学会。

Next Step:
第一章顺利通关!虽然只是概念的铺垫,但心态上已经稳了很多。下一章是《模型评估与选择》,据说会有更多的概率统计知识,准备好草稿纸,继续冲!

P.S. 强烈建议大家看书时,手边备一张纸,遇到不认识的数学符号直接去查表(南瓜书前面就有符号表),不要让这些符号成为拦路虎。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐