机器学习 (10)——贝叶斯分类

0x00 贝叶斯分类

贝叶斯分类算法是统计学的一种分类方法，它是一类利用概率统计知识进行分类的算法。在许多场合，朴素贝叶斯(Naïve Bayes，NB)分类算法可以与决策树和神经网络分类算法相媲美，该算法能运用到大型数据库中，而且方法简单、分类准确率高、速度快。

0x01 贝叶斯决策论

在分类任务中，我们不一定会得到明确的分类结果，而是得到可能被划分到每一种分类的概率。贝叶斯决策论就是用来决定出这个分类结果的方法。

贝叶斯决策论是概率框架下实施决策的基本方法，对分类任务来说，在所有相关概率都已知的情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优类别标记。

0x02 贝叶斯公式

贝叶斯公式：

其中

• P(A|B) 是在 B 发生的情况下 A 发生的概率；
• P(A) 是 A 发生的概率；
• P(B|A) 是在 A 发生的情况下 B 发生的概率；
• P(B) 是 B 发生的概率。

我们可以通过一个例子来解释这个公式，假设我们知道这几个概率：

• 50% 的下雨天早上是多云
• 但是多云天气很多（40% 的日子早上都是多云）
• 这个月不怎么下雨（平均 30 天只有 3 天下雨，10% 的下雨几率）

然后，早晨起来发现天气是多云，怎么知道今天下雨的概率是多少？

我们在这里用 P(雨)代表下雨，P(云)代表多云，那么我们要求的事件就是：早晨多云的情况下下雨的概率是多少，也就是 P(雨 | 云)。

然后我们就可以套用在贝叶斯公式中：

P(雨 | 云)=P（云 | 雨）* P（雨）/ P（云）

而通过前面的条件已经知道，P（云 | 雨）=0.5，P（雨）=0.1，P（云）=0.4，那么我们就可以算出早晨多云的情况下下雨的概率是 0.5*0.1/0.4=0.125。只有 1/8 的概率下雨。

这是贝叶斯公式的一个简单应用，但在实际任务中我们的事件会更多更复杂，也就是说不会是单纯的 P（雨）、P（云）这么简单的单一事件，而是多个事件的联合概率，这个时候联合概率在样本不足的情况下无法直接计算，所以我们就引入了朴素贝叶斯分类方法。

0x03 朴素贝叶斯分类

也就是说朴素贝叶斯这一方法，是由于实际情况中，我们难以从有限的样本中直接获得在所有属性上的联合类条件概率而引出的，那么朴素贝叶斯方法是这样解决联合条件概率问题的：

朴素贝叶斯分类器对所有已知类别，假设所有属性相互独立。也就是说每个属性独立的对分类结果进行影响。

当所有属性都独立的时候，联合概率就变为了：

P(A,B)=P(A)*P(B)

这样我们就可以很轻易的使用已知样本中得到的单一概率来一步步算出所需的类条件概率 P(B|A)了。

此时，贝叶斯公式可写为：

其中 d 为属性数目，Bi 为 B 在第 i 个属性上的取值。

而对所有类别 P(B)相同，因此贝叶斯准则为：

这就是朴素贝叶斯分类器的表达式。

其中 arg 数学含义：

argument of the maximum/minimum

arg max f(x): 当 f(x)取最大值时，x 的取值

arg min f(x): 当 f(x)取最小值时，x 的取值

我们只需在训练过程中基于训练集来估计类先验概率 P(A),并为每个属性估计条件概率 P(Bi|A)即可。

然后我们就根据计算出来的概率大小来判断属于哪一类。

0x04 半朴素贝叶斯分类器

朴素贝叶斯分类使用条件独立性假设降低了后验概率计算的困难，但是这个假设是很难成立的，因为很多属性之间本来就具有很高的依赖性，所以就产生了一种“半朴素贝叶斯分类器”的方法来进行改善。

半朴素贝叶斯分类器的基本思想是适当考虑一部分属性间的相互依赖信息，从而既不需要进行完全的联合概率计算，又能保证不会忽略掉比较强的属性依赖关系。

其中最常用的策略是“独依赖统计（One Dependent Estimator）”，这种方法是假设每个属性在类别之外最多只依赖一个其他属性，这个属性被称为他的父属性。而如何确定这个父属性，现在有 SPODE(Super Parent ODE)，TAN(Tree Augmented naive Bayes)，AODE(Averaged One-Dependent Estimator)等方法。