聊聊朴素贝叶斯

机器学习中最简单，最适合入门的算法可以说就是朴素贝叶斯了，我尽可能使用非常通俗的语言来描述，让 0 基础的人也可以看懂，希望本文能让你找到机器学习的兴趣。

先举个栗子，假如一个房间里有 7 个人，其中 3 个人是日本人，4 个人是韩国人，如果这是从房间走出一个人，让你判断他是日本人的概率，显然你会说 3/7 。

那么，如果现在有两个房间，a 房间有 2 个日本人，2 个韩国人，b 房间有 1 个日本人，2 个韩国人，你一抬头，看到现在出来一个日本人，请问他来自房间 a 的概率是多少？

解决这个问题，我们就要知道条件概率，事件 A 在另外一个事件 B 已经发生条件下的发生概率。条件概率表示为 P(A|B)，读作“在 B 条件下 A 的概率”。这里我们设【遇到一个日本人】记为事件 B，【来自房间 a】记为事件 A，那么可以通过经验得出 P(A|B) = 2/3 (日本人有 3 个，有 2 个在 a 房间，有 1 个在 b 房间，那么来自房间 a 的概率就是 2/3 )

为了搞清清楚 P(A|B) 与 P(A),P(B) 的关系，我们还要引入联合概率，P(A,B) 就是联合概率，表示看到一个来自房间 a 的日本人的概率。这种由多个随机变量决定的概率我们就叫联合概率。

很容易得到 P(A,B) = 2/7 = 2/3 x 3/7 =  P(A|B) x P(B) 
即  P(A,B) =  P(A|B) x P(B)
同理可得  P(B,A) =  P(B|A) x P(A) 
由于 P(A,B) = P(B,A) 
即 P(A|B) x P(B) =  P(B|A) x P(A) 
最后得到  P(A|B) =  P(B|A) x P(A) / P(B)
​

这就是非常经典的贝叶斯法则。我们把 P(A),P(B) 叫作先验概率，之所以称为“先验”，是因为它是从数据资料统计得到的，不需要经过贝叶斯定理的推算。

P(B|A) 是给定 A 之后 B 出现的条件概率。在统计学中，我们也把 P(B|A) 写作似然函数 L(B|A)。在数学里，似然函数和概率是有区别的。概率是指已经知道模型的参数来预测结果，而似然函数是根据观测到的结果数据，来预估模型的参数。不过，当 B 值给定的时候，两者在数值上是相等的，在应用中我们可以不用细究。

P(A|B) 叫做后验概率，它是根据先验概率、似然函数来推导出来的。而似然函数，也就是我们根据数据集进行的训练结果。

类比上述例子，我们再看一下贝叶斯能干啥？

我给你一些标记正常的句子，再给你一些标记骂人的句子，然后让你看到一个句子，问你这个句子是骂人的句子的概率，请问你如何计算？

你说，这不就是侮辱性的文本屏蔽功能嘛，确实，我们应该都玩过王者荣耀吧，有时候自己会忍不住骂人，也会被别人骂，这种损人不利己的句子会伤害队友的感情，终将导致团灭。

现在假如给你一些人工标注的数据集，告诉你哪些是正常句子，哪些是骂人的句子，然后让你判断新的句子是否属于骂人的句子，你如何判断呢？

假定我们获取到了以下数据集作为训练，越简单越好，我们就选四条。前两个是正常句子，记作事件 A，后两个是侮辱性句子，记作事件 B。

这 走位 风骚
真 牛逼
你 真 傻逼
你 麻痹
​

这里的空格表示这是一个词，在实际应用中可借助分词工具将句子分解成单词列表。

很容易判断出 P(A) = 0.5，P(B) = 0.5，假如只有 P(A) 和 P(B) 这两个信息，现在给你一个新的句子，让你判断它是否是断侮辱性句子，你只能判断是 0.5 ，这不就相当于没有判断么，因此我们还需要通过上述训练数据集来训练出更多已知信息。假定现在让我们判断【你这风骚傻逼】这句话是否是侮辱性句子，那么如何让计算机来计算呢？ 也就是让计算机来计算 【你这风骚傻逼】是侮辱性句子的概率是多少，不是侮辱性句子的概率是多少，哪个概率大，就算哪个。

明确目标，我们把 【你这风骚傻逼】记作事件 C，目标就是求解 P(A|C) 及 P(B|C)，并比较他们的大小。

计算过程或训练过程，我先们求解 P(A|C) ，根据贝叶斯法则 P(A|C) = P(C|A) x P(A) / P(C)， P(A) = 0.5，而 P(C) 和 P(C|A) 都是未知，这里就要搬出朴素贝叶斯来帮忙了。

特征之间相互独立指的是统计意义上的独立，即一个特征的出现的可能性不受其他特征所影响。 举个例子来说明：比如单词 A 出现在 B 后面的概率和出现在 C 后面的概率相同。很明显这种情况很不靠谱，这也正是朴素贝叶斯中朴素一词的含义。

我们假定 【你 这 风骚 傻逼】里的 4 个词出现是朴素独立的，那么 P(C) = P(你) x P(这) x P(风骚) x P(傻逼)
P(你) 的计算就是你出现的个数与所有不重复的词语的个数之比，即 2/8 = 0.25

同理可计算出：P(这) = 1/8 = 0.125
P(风骚) = 0.125
P(傻逼)  = 0.125
P(C) = 0.25 x 0.125 x 0.125 x 0.125 = 0.00046875
P(C|A) = P(你, 这, 风骚, 傻逼 |A) = P(你|A) x P(这|A) x P(风骚|A) x P(傻逼|A) 
​

由于训练数据集的数据量太少，导致 P(你 |A) = 0 ，实际中不能出现这样的情况，如果 P(你 |A) = 0，则 P(C|A) = 0，后面的概率也就不用计算了，导致概率的计算不够平滑，实际上，当概率出现 0 时，我们可以取一个最小值来替换掉 0 ，使得概率的计算变得平滑。这里，如果概率为 0，我们就取 0.0001。

因此

P(C|A)  =  P(你|A) x P(这|A) x P(风骚|A) x P(傻逼|A)   =  0.0001 x 0.2 x 0.2 x 0.0001 = 0.0000000004。
​

因此计算出

P(A|C) = P(C|A) x P(A) / P(C) =  0.0000000004 x 0.5 / 0.00046875  = 0.000000426667
​

同理可以算出

P(B|C) = P(C|B) x P(B) / P(C) = P(你, 这, 风骚, 傻逼 |B) x 0.5 / 0.00046875 =  (0.5 x 0.0001 x 0.0001 x 0.25 ) x 0.5 / 0.00046875 =  0.000001333333
​

很显然，P(B|C) 大于 P(A|C)，因此句子 C 更可能为 B ，也就是说基于训练数据集，【你这风骚傻逼】 属于侮辱性句子。实际的应用中计算出的概率可能会非常的小导致计算机无法计算，这时我们会通过取对数（log）来将小数变成绝对值大于 1 的负数，道理是一样的。

推而广之，在哪些地方还可以使用朴素贝叶斯解决分类问题呢？ 留给你思考。

（完）

欢迎关注微信公众号 somenzz 与我一起学习和交流。

：