本节主要给出一个朴素贝叶斯的实例。


引文：由于之前讲过了朴素贝叶斯的理论Stanford机器学习[第五讲]-生成学习算法第四部分，同时朴素贝叶斯的算法实现也讲过了，见机器学习算法-朴素贝叶斯Python实现。那么这节课打算讲解一下朴素贝叶斯算法的具体计算流程，通过一个具体的实例来讲解。

PS：为了专注于某一个细节，本章节只抽取了视频的一部分来讲解，只讲解一个贝叶斯算法的计算流程，关于视频里面的具体内容请参考下面的视频链接。

讲解的实例是一个文本分类的例子，区分一句话是粗鲁的还是文明的，类别标签只有Yes或No，表示是粗鲁的和不是粗鲁的语句。

1.给定一个训练集

WordsLabel
my name is Devin.No
you are stupid.Yes
my boyfriend is SB.Yes
you looks very smart,I like you very much.No


上面这个数据集是我随机取的，label表示的是是否粗鲁。

2.处理数据

首先根据上面给出的数据构建出一个词库出来,如下：
【”my”，“name”，“is”，“Devin”，“you”，“are”，“stupid”，“boyfriend”，“SB”，“looks”，
“very”，“smart”,”like”,”much”】

这个词库总单词个数只有14个，相对而言比较少，这里只做个例子，单词多的情况下同样处理。

然后将每个样本映射到词库中，得到一个大的矩阵

mynameisDevinyouarestupidboyfriendSBlooksverysmartlikemuchclassLabel
111100000000000
000011100000001
101000011000001
100020000121110


上面是得到的一个词频矩阵，最后一栏表示的是类标号，下面通过这个词频举证来计算不同类标号下每个词发生的概率，即条件概率 p(xi|y=1) <script type="math/tex" id="MathJax-Element-1"> p(x_i|y=1) </script> 和 p(xi|y=0) <script type="math/tex" id="MathJax-Element-2"> p(x_i|y=0)</script>。

实际的处理中为了防止0概率的发生，通常是将词频矩阵初始化为1，这里就不这么做了，简单化计算吧。

3.计算

设几个变量:

  • numWords <script type="math/tex" id="MathJax-Element-3">numWords</script>：表示单词的总数
  • p1Mat <script type="math/tex" id="MathJax-Element-4">p1Mat</script>：表示正样本中各单词出现的次数矩阵
  • p0Num <script type="math/tex" id="MathJax-Element-5">p0Num</script>：表示负样本中各单词出现的次数矩阵
  • p1Vec <script type="math/tex" id="MathJax-Element-6">p1Vec</script>：表示正负样本条件下的各单词的出现的概率，即条件概率 p(xi|y=0) <script type="math/tex" id="MathJax-Element-7">p(x_i|y=0)</script>
  • p0Vec <script type="math/tex" id="MathJax-Element-8">p0Vec</script>：表示在负样本条件下的各单词的出现的概率，即条件概率 p(xi|y=0) <script type="math/tex" id="MathJax-Element-9">p(x_i|y=0)</script>
  • pPos <script type="math/tex" id="MathJax-Element-10">pPos</script>：表示正样本概率
  • pNeg <script type="math/tex" id="MathJax-Element-11">pNeg</script>：表示负样本概率

可以根据上面的词频表计算得到：

numWords=14 <script type="math/tex" id="MathJax-Element-12">numWords=14</script>
p1Num=[1,0,1,0,1,1,1,1,1,0,0,0,0,0] <script type="math/tex" id="MathJax-Element-13">p1Num=[1,0 ,1 ,0 ,1 , 1, 1,1 , 1,0 , 0, 0, 0, 0 ]</script>
p0Num=[2,1,1,1,2,0,0,0,0,1,2,1,1,1] <script type="math/tex" id="MathJax-Element-14">p0Num=[2,1 ,1 ,1,2 , 0, 0,0 , 0,1 , 2, 1, 1, 1 ]</script>

样本中在类标签为1的单词出现的总次数p1Count=7
样本中在类标签为0的单词出现的总次数p0Count=12

让举证p1Num和p0Num分别除以p1Count和p0Count，即可以得到各自的条件概率：

p1Vec=[1/7,0,1/7,0,1/7,1/7,1/7,1/7,1/7,0,0,0,0,0] <script type="math/tex" id="MathJax-Element-15">p1Vec=[1/7,0 ,1/7 ,0 ,1/7 , 1/7, 1/7,1/7 , 1/7,0 , 0, 0, 0, 0 ]</script>
p0Vec=[2/12,1/12,1/12,1/12,2/12,0,0,0,0,1/12,2/12,1/12,1/12,1/12] <script type="math/tex" id="MathJax-Element-16">p0Vec=[2/12,1/12 ,1/12 ,1/12,2/12 , 0, 0,0 , 0,1 /12, 2/12, 1/12, 1/12, 1/12 ]</script>

条件概率求出来了，那么怎么来计算区分类别呢？
根据贝叶斯公式

p(y|x)=p(y)p(x|y)p(x)
<script type="math/tex; mode=display" id="MathJax-Element-17">p(y|x)=\dfrac{p(y)p(x|y)}{p(x)}</script>

因为预测一句话所属的类别，我们的 p(x) <script type="math/tex" id="MathJax-Element-18">p(x)</script>是一样的所以比较 p(y=1|x) <script type="math/tex" id="MathJax-Element-19">p(y=1|x)</script>和 p(y=0|x) <script type="math/tex" id="MathJax-Element-20">p(y=0|x)</script>时，我们实际上只需要比较分子就可以了。

由于x有多个特征，上面分子子中的 p(x|y) <script type="math/tex" id="MathJax-Element-21">p(x|y)</script>事实上是这样的

p(x|y)=p(x1|y)p(x2|y)...p(xn|y)
<script type="math/tex; mode=display" id="MathJax-Element-22">p(x|y)=p(x_1|y)p(x_2|y)...p(x_n|y)</script>
所以在处理时，通常是对分子取对数后再进行比较，转变为

p1=log2p(y=1)+log2{p(x1|y=1)p(x2|y=1)...p(xn|y=1)}
<script type="math/tex; mode=display" id="MathJax-Element-23">p1=log_2p(y=1)+log_2\{p(x_1|y=1)p(x_2|y=1)...p(x_n|y=1)\}</script>

和

p1=log2p(y=0)+log2{p(x1|y=0)p(x2|y=0)...p(xn|y=0)}
<script type="math/tex; mode=display" id="MathJax-Element-24">p1=log_2p(y=0)+log_2\{p(x_1|y=0)p(x_2|y=0)...p(x_n|y=0)\}</script>

的大小比较。对于分子 p(y)p(x|y) <script type="math/tex" id="MathJax-Element-25">p(y)p(x|y)</script>， p(y) <script type="math/tex" id="MathJax-Element-26">p(y)</script>可以直接求出来，而 p(x|y) <script type="math/tex" id="MathJax-Element-27">p(x|y)</script>是上面的条件概率 p1Vec <script type="math/tex" id="MathJax-Element-28">p1Vec</script>和 p0Vec <script type="math/tex" id="MathJax-Element-29">p0Vec</script>。

最后比较两个大小，如果 p1>p0 <script type="math/tex" id="MathJax-Element-30">p1>p0</script>,表示这句话是脏话，如果 p1<p0 <script type="math/tex" id="MathJax-Element-31">p1

4.测试

假设我现在要测试下面一句话：“I like you.”

则通过预测比较

p1=log2p(y=1)+log2{p(x1=I|y=1)p(x2=like|y=1)p(x3=you|y=1)}
<script type="math/tex; mode=display" id="MathJax-Element-32">p1=log_2p(y=1) + log_2\{p(x_1=I|y=1)p(x_2=like|y=1)p(x_3=you|y=1)\}</script>
和
p0=log2p(y=0)+log2{p(x1=I|y=0)p(x2=like|y=0)p(x3=you|y=0)}
<script type="math/tex; mode=display" id="MathJax-Element-33">p0=log_2p(y=0) + log_2\{p(x_1=I|y=0)p(x_2=like|y=0)p(x_3=you|y=0)\}</script>

可以得到结果是 p1<p0 <script type="math/tex" id="MathJax-Element-34">p1

Reference

[1] 机器学习实战
[2]视频链接：http://open.163.com/movie/2008/1/7/H/M6SGF6VB4_M6SGJVV7H.html

本栏目Machine Learning 算法实现持续更新中，欢迎关注：Dream_Angel_Z博客

# python # 机器学习
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

2026年AI办公Work Agent品类科普

Work Agent的一级类目为智能体工作平台，是专门面向办公场景优化的AI智能体品类，核心任务是完成文档、表格、PPT、网页和系统操作等复杂任务，把用户的想法直接转化为可交付的落地成果。它和大众熟悉的聊天机器人、通用AI Agent有着明确的边界差异：普通聊天机器人更像你身边的行业顾问，只能基于已有的知识库给出思路和建议，所有后续的执行动作都需要用户自己完成；而Work Agent更像经过基础岗

avatar DAMO开发者矩阵

Work Agent深度解读：AI长程任务如何重塑自动化工作模式

AI技术的落地重心正在发生转移。早期大模型以单轮问答作为核心交互形态，用户提出问题，模型即时返回文本结果，对话在一次输出后就基本结束。随着多轮对话能力成熟，AI可以承接连续提问，在一段会话内保留上下文，解决关联性更强的问题。工具调用能力出现之后，AI不再局限于文本生成，能够调动检索、计算、文件读写等外部能力，把静态回答升级成带有外部信息支撑的结果。Work Agent的出现，则把AI推向了自主执行

avatar DAMO开发者矩阵

深度解读Work Agent长程任务的全链路执行机制

AI技术落地的前几年，大众对智能工具的普遍认知还停留在单轮问答的聊天机器人阶段：用户输入明确指令，AI给出对应回复，交互链路到结果输出的那一刻就宣告结束。随着大模型推理能力的快速迭代，多轮对话、插件调用等能力逐步普及，AI开始能够承接一些需要多步操作的简单任务，但整体依然没有脱离“用户每发一条指令AI才执行一次动作”的交互逻辑。直到Work Agent相关技术逐步成熟，AI才真正拥有了自主推进长链

avatar DAMO开发者矩阵