Spark mllib API- tree

spark 在 tree 这个模块中提供了 DecisionTree、RandomForest、GradientBoostedTrees 三种算法。均属于分类/回归 树模型。
三种算法均可用于回归预测。其中决策树和决策森林可用于二元或多元分类，GBT 只能用于二元分类。

随机森林和 GBT 均属于组合模型，解决模型过拟合问题。

##DecisionTree 决策树

• 类：pyspark.mllib.tree.DecisionTree
  决策树算法，训练决策树模型，提供分类和回归。

  • 方法：
    trainClassifier(data, numClasses, categoricalFeaturesInfo, impurity='gini', maxDepth=5, maxBins=32, minInstancesPerNode=1, minInfoGain=0.0)
    训练用于分类的二叉树模型。

    • data：训练数据集，格式为 LabeledPoint 的 RDD，LabeledPoint 中的 Label 是整数。
    • numClasses：分类的个数。
    • categoricalFeaturesInfo：向量中为分类属性的索引表。任务没有出现在该列表中的特征将会以连续值处理。{n:k}表示第 n 个特征，是 0-k 的分类属性。
    • impurity：纯度计算，支持“entropy”和“gini”（默认）
    • maxDepth：决策树的最大深度，默认 5
    • maxBins：每个特征分裂时，最大划分(桶)数量，默认 32
    • minInstancesPerNode：需要保证节点分割出的左右子节点的最少的样本数量达到这个值，默认 1
    • minInfoGain：当前节点的所有属性分割带来的信息增益都比这个值要小，默认 0.0

  • 方法：
    trainRegressor(data, categoricalFeaturesInfo, impurity='variance', maxDepth=5, maxBins=32, minInstancesPerNode=1, minInfoGain=0.0)
    训练用于回归的二叉树模型。

    • data：训练数据集，格式为 LabeledPoint 的 RDD，LabeledPoint 中的 Label 是实数。
    • categoricalFeaturesInfo：向量中为分类属性的索引表。任务没有出现在该列表中的特征将会以连续值处理。{n:k}表示第 n 个特征，是 0-k 的分类属性。
    • impurity：纯度计算，支持“variance”（默认）
    • maxDepth：决策树的最大深度，默认 5
    • maxBins：每个特征分裂时，最大划分(桶)数量，默认 32
    • minInstancesPerNode：需要保证节点分割出的左右子节点的最少的样本数量达到这个值，默认 1
    • minInfoGain：当前节点的所有属性分割带来的信息增益都比这个值要小，默认 0.0

• 类：pyspark.mllib.tree.DecisionTreeModel(java_model)

  • 方法： call(name, *a)
    调用 java 模型
  • 方法： depth()
    获取决策树的深度
  • 方法： load(sc, path)
    从指定 path 加载决策树模型
  • 方法： numNodes()
    获取决策树的节点数量，包括叶子节点
  • 方法： predict(x)
    预测一个或多个样本的 label 值
  • 方法： save(sc, path)
    将决策树模型持久化到指定 path
  • 方法： toDebugString()
    以 string 输出整个模型的信息

##RandomForest 随机森林

• 类：pyspark.mllib.tree.RandomForest

  • 方法：
    trainClassifier(data, numClasses, categoricalFeaturesInfo, numTrees, featureSubsetStrategy='auto', impurity='gini', maxDepth=4, maxBins=32, seed=None)
    训练一个用于二元或多元分类的随机森林

    • data：训练数据集，格式为 LabeledPoint 的 RDD，LabeledPoint 中的 Label 是整数。
    • numClasses：分类的个数。
    • categoricalFeaturesInfo：向量中为分类属性的索引表。任务没有出现在该列表中的特征将会以连续值处理。{n:k}表示第 n 个特征，是 0-k 的分类属性。
    • numTrees：随机森林中，树的数量。
    • featureSubsetStrategy：特征子集采样策略，支持"auto"（默认），"all","aqrt","log2","onethird"
    • impurity：纯度计算，支持“entropy”和“gini”（建议）
    • maxDepth：树的最大深度。
    • maxBins：每个特征分裂时，最大划分(桶)数量，默认 32
    • seed：用于引导和选择特征子集的随机种子。

  • 方法：
    trainRegressor(data, categoricalFeaturesInfo, numTrees, featureSubsetStrategy='auto', impurity='variance', maxDepth=4, maxBins=32, seed=None)
    训练一个用于回归预测的随机森林

    • data：训练数据集，格式为 LabeledPoint 的 RDD，LabeledPoint 中的 Label 是实数。
    • categoricalFeaturesInfo：向量中为分类属性的索引表。任务没有出现在该列表中的特征将会以连续值处理。{n:k}表示第 n 个特征，是 0-k 的分类属性。
    • numTrees：随机森林中，树的数量。
    • featureSubsetStrategy：特征子集采样策略，支持"auto"（默认），"all","aqrt","log2","onethird"
    • impurity：纯度计算，支持“variance”
    • maxDepth：树的最大深度。
    • maxBins：每个特征分裂时，最大划分(桶)数量，默认 32
    • seed：用于引导和选择特征子集的随机种子。

• 类：pyspark.mllib.tree.RandomForestModel(java_model)

  • 方法： call(name, *a)
    调用 java 模型
  • 方法： load(sc, path)
    从指定 path 加载决策树模型
  • 方法： numTrees()
    获取随机森林中树的数量
  • 方法： predict(x)
    预测一个或多个样本的 label 值
  • 方法： save(sc, path)
    将决策树模型持久化到指定 path
  • 方法： toDebugString()
    以 string 输出整个模型的信息
  • 方法： totalNumNodes()
    获得森林中所有树的节点总和

##GradientBoostedTrees（GBT） 梯度提升决策树
这是一种模型组合的方法，利用简单模型的组合克服过拟合等问题。常用于推荐系统。

• 类：pyspark.mllib.tree.GradientBoostedTrees

  • 方法：
    trainClassifier(data, categoricalFeaturesInfo, loss='logLoss', numIterations=100, learningRate=0.1, maxDepth=3, maxBins=32)
    训练一个用于二元分类预测的梯度提升决策树模型。

    • data：训练数据集，格式为 LabeledPoint 的 RDD。label 必须为 0 或 1.
    • categoricalFeaturesInfo：向量中为分类属性的索引表。任务没有出现在该列表中的特征将会以连续值处理。{n:k}表示第 n 个特征，是 0-k 的分类属性。
    • loss：损失函数，梯度提升计算时需要最小化的该函数。支持“logLoss” (默认), “leastSquaresError”, “leastAbsoluteError”
    • numIterations：提升的迭代次数，默认 100.
    • learningRate：学习率，取值(0,1]
    • maxDepth：树的最大深度
    • maxBins：每个特征分裂时，最大划分(桶)数量，默认 32

  • 方法：
    trainRegressor(data, categoricalFeaturesInfo, loss='leastSquaresError', numIterations=100, learningRate=0.1, maxDepth=3, maxBins=32)
    训练一个用于回归预测的梯度提升决策树模型。

    • data：训练数据集，格式为 LabeledPoint 的 RDD。label 为实数。
    • categoricalFeaturesInfo：向量中为分类属性的索引表。任务没有出现在该列表中的特征将会以连续值处理。{n:k}表示第 n 个特征，是 0-k 的分类属性。
    • loss：损失函数，梯度提升计算时需要最小化的该函数。支持“logLoss” (默认), “leastSquaresError”, “leastAbsoluteError”
    • numIterations：提升的迭代次数，默认 100.
    • learningRate：学习率，取值(0,1]
    • maxDepth：树的最大深度
    • maxBins：每个特征分裂时，最大划分(桶)数量，默认 32

• 类： pyspark.mllib.tree.GradientBoostedTreesModel(java_model)

  • 方法： call(name, *a)
    调用 java 模型
  • 方法： load(sc, path)
    从指定 path 加载决策树模型
  • 方法： numTrees()
    获取随机森林中树的数量
  • 方法： predict(x)
    预测一个或多个样本的 label 值
  • 方法： save(sc, path)
    将决策树模型持久化到指定 path
  • 方法： toDebugString()
    以 string 输出整个模型的信息
  • 方法： totalNumNodes()
    获得森林中所有树的节点总和