统计学习的一些概念总结

生成模型与判别模型

监督学习的任务就是学习到一个模型，应用这一模型来对给定的输入预测相应的输出。模型的一般形式的为决策函数：

或者条件概率：

监督学习方法可以分为生成方法（generative approach）和判别方法（discriminative approach）。所学到的模型就是生成模型和判别模型。

生成方法

生成方法有数据学习联合概率分布，然后求条件概率分布作为预测模型。即生成模型：

这样称为生成方法，因为模型表示了给定输入 X 产生输出 Y 的生成关系。典型的生成模型有：朴素贝叶斯法和隐马尔可夫模型。

优点

1. 学习收敛速度更快，当样本容量增加时，模型可以更快的收敛于真实的模型
2. 当存在隐变量时，仍可以用生成方法学习，但此时无法用判别方法

判别方法

由数据直接学习决策函数或者条件概率分部作为预测模型，即判别模型。

判别方法关心的是对给定的输入 X，应该预测什么样的输出 Y。典型的判别模型：k 近邻法、感知机、决策树、逻辑斯蒂回归模型、最大熵模型、支持向量机、提升方法和条件随机场等。

优点

1. 直接学习得到条件概率或者决策函数，直接面对预测，往往准确率更高
2. 可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题