个人技术分享

深度学习面试问题总结 | 决策树

本文给大家带来的百面算法工程师是机器学习决策树的面试总结，文章内总结了常见的提问问题，旨在为广大学子模拟出更贴合实际的面试问答场景。在这篇文章中，我们还将介绍一些常见的深度学习的面试问题，并提供参考的回答及其理论基础，以帮助求职者更好地准备面试。通过对这些问题的理解和回答，求职者可以展现出自己的深度学习领域的专业知识、解决问题的能力以及对实际应用场景的理解。同时，这也是为了帮助求职者更好地应对深度学习目标检测岗位的面试挑战，提升面试的成功率和竞争力。

专栏地址：百面算法工程师——总结最新各种计算机视觉的相关算法面试问题

在这里插入图片描述

文章目录

20.1 决策树

决策树是一种常用的机器学习算法，用于分类和回归任务。它通过一系列的决策节点构成树状结构来表示决策过程，每个节点对应一个特征属性，并且根据该属性将数据集分割成较小的子集。在分类任务中，叶节点表示最终的类别标签；在回归任务中，叶节点表示预测的数值。

决策树的构建过程通常分为两个阶段：树的构建和树的剪枝。

  1. 树的构建：根据数据集的特征属性，选择最佳的特征来划分数据集。常用的划分准则包括信息增益、信息增益比、基尼不纯度等。选择最佳特征后，将数据集划分为子集，然后对每个子集递归地应用相同的过程，直到满足停止条件（如节点包含的样本数小于阈值，或者树的深度达到预设值）。

  2. 树的剪枝：构建的决策树可能过于复杂，容易过拟合训练数据。为了提高泛化能力，需要对树进行剪枝。剪枝的过程是从底部向上对树的节点进行检查，若将一个节点删去能提高树的泛化能力，则将该节点替换为叶节点或者将其子树完全剪去。

决策树具有直观性和可解释性的优势，易于理解和解释生成的模型。然而，它也有一些缺点，如容易过拟合、对数据中噪声和异常值敏感等。为了解决这些问题，可以通过集成学习方法（如随机森林、梯度提升树）来改进决策树的性能。

20.2 决策树原理

决策树的原理基于对数据集进行递归地划分，以构建一棵树状结构，从而实现对样本的分类或预测。以下是决策树的基本原理：

  1. 节点划分：决策树的每个非叶节点都代表一个特征属性及其对应的划分规则。算法通过选择最优的特征属性来划分数据集，以尽可能地将相似的样本划分到同一类别或预测值。常用的划分准则包括信息增益、信息增益比、基尼不纯度等。

  2. 递归划分：根据选定的划分准则，递归地将数据集划分成多个子集。这个过程会持续进行，直到满足停止条件，如节点包含的样本数小于阈值、树的深度达到预设值或者所有样本属于同一类别。

  3. 叶节点设定：当某个节点满足停止条件时，该节点被标记为叶节点，并确定该叶节点的类别标签（对于分类任务）或者预测数值（对于回归任务）。

  4. 剪枝：决策树构建完成后，可能存在过拟合的问题，即模型在训练集上表现良好，但在测试集上表现较差。为了提高模型的泛化能力，需要进行剪枝操作。剪枝过程通常是从底部向上，通过一定的准则来决定是否剪掉一些节点或子树，以简化模型。

  5. 预测：当新样本到来时，通过决策树的判定规则，将其从根节点开始逐步向下划分，直到达到叶节点。最终，叶节点的类别标签或预测值即为模型对该样本的分类或预测结果。

决策树的优势在于易于理解和解释生成的模型，同时适用于分类和回归任务。然而，决策树也有一些缺点，如对数据中噪声和异常值敏感，以及容易过拟合。

20.3 决策树的划分标准

决策树的划分标准是决定在每个节点上如何选择最优特征进行数据集的划分。常用的划分标准包括以下几种：

  1. 信息增益（Information Gain）：信息增益是基于信息论的概念，用于衡量在特定特征上划分数据集前后的信息不确定性减少程度。信息增益越大，表示使用该特征进行划分可以更好地区分样本。信息增益计算公式如下：

    信息增益 = 父节点的信息熵 − 子节点的加权平均信息熵 {信息增益} = \text{父节点的信息熵} - \text{子节点的加权平均信息熵} 信息增益=父节点的信息熵−子节点的加权平均信息熵

  2. 信息增益比（Information Gain Ratio）：信息增益比是信息增益与特征本身信息量的比值，用于解决信息增益偏向于选择取值较多的特征的问题。信息增益比的计算公式为：

    信息增益比 = 信息增益 特征的信息熵 {信息增益比} = \frac{\text{信息增益}}{\text{特征的信息熵}} 信息增益比=特征的信息熵信息增益​

  3. 基尼不纯度（Gini Impurity）：基尼不纯度是用来衡量一个数据集的样本类别不确定性的指标。基尼不纯度越低，表示数据集中样本的类别越趋于纯净。基尼不纯度计算公式如下：

基尼不纯度 = 1 − ∑ i = 1 c p i 2 \text{基尼不纯度} = 1 - \sum_{i=1}^{c} p_i^2 基尼不纯度=1−∑i=1c​pi2​

其中 c 是类别的个数， p i p_i pi​ 是第 i 个类别在数据集中的比例。

这些划分标准在决策树的构建过程中起着关键作用，帮助算法选择最优的特征进行节点的划分，从而构建出具有良好泛化能力的决策树模型。

20.4 信息增益

信息增益是决策树算法中用于特征选择的一种标准，它衡量了在选择某个特征进行划分后，数据集的信息不确定性减少的程度。在构建决策树时，我们希望选择能够最大化信息增益的特征来进行节点的划分。

信息增益的计算基于信息熵的概念，信息熵是对数据集的纯度或不确定性的度量。信息熵越高，表示数据集中的样本越混乱、越不纯。而信息增益则表示在某个特征上进行划分后，由于该特征的引入，数据集的信息熵相对于划分前减少的程度。

具体而言，信息增益的计算过程如下：

  1. 计算划分前数据集的信息熵 $ H(D) $，表示数据集的不确定性。
  2. 对于每个特征 ( A )，计算在该特征上进行划分后的条件熵 $ H(D|A) $，表示在给定特征 ( A ) 的情况下，数据集的不确定性。
  3. 计算信息增益 Gain ( A ) \text{Gain}(A) Gain(A)：
    Gain ( A ) = H ( D ) − H ( D ∣ A ) \text{Gain}(A) = H(D) - H(D|A) Gain(A)=H(D)−H(D∣A)

选择信息增益最大的特征作为当前节点的划分特征。信息增益越大，表示使用该特征进行划分后，数据集的纯度提高，不确定性降低的程度越大，因此，该特征更有助于提高决策树的分类能力。

信息增益在决策树的构建过程中起着关键作用，帮助算法选择最优的特征进行节点的划分，从而生成具有良好泛化能力的决策树模型。

20.5 树模型怎么判断叶子节点是否要分裂？

在树模型中，判断叶子节点是否需要进一步分裂是非常重要的，这直接影响到模型的复杂度和泛化能力。通常，判断叶子节点是否要分裂的方法取决于树的算法和所使用的评价准则。

以下是一些常见的方法：

  1. 信息增益/基尼不纯度（Decision Tree）：对于决策树，可以使用信息增益或基尼不纯度来衡量特征的重要性。在决策树的构建过程中，选择信息增益或基尼不纯度最大的特征来划分节点。如果某个叶子节点的信息增益或基尼不纯度减小不足够多，那么就停止分裂，将该节点视为叶子节点。

  2. 不纯度减少量（Random Forest）：在随机森林等集成学习方法中，通常使用不纯度减少量（impurity decrease）来评估特征的重要性。对于每个特征，计算其在树的所有节点上对不纯度的平均减少量。如果某个叶子节点上的不纯度减少量小于某个阈值，则停止分裂该节点。

  3. 节点深度/样本数量（Tree Boosting）：在梯度提升树等树提升方法中，通常通过控制节点的最大深度或最小样本数来限制树的生长。如果叶子节点的深度达到了预设的最大深度，或者叶子节点的样本数量小于某个阈值，那么就停止分裂该节点。

  4. 验证集上的性能（Early Stopping）：有时候可以使用验证集来评估树的性能，并根据验证集上的性能来决定是否停止树的生长。如果在验证集上分裂节点并不能提高模型的性能，那么就停止分裂该节点。

这些方法都旨在避免过拟合，通过控制树的生长来提高模型的泛化能力。在实际应用中，选择合适的判断标准和参数设置非常重要，以便获得性能良好的树模型。

20.6 ID3和C4.5的区别

详细版

特征 ID3 C4.5
处理连续特征 需要离散化处理。通常使用二元划分或多项式划分方法将连续特征转换为离散特征。 直接处理连续特征。使用一种基于信息增益率的方法来处理连续特征，不需要额外的离散化步骤。
处理缺失值 对于含有缺失值的样本，ID3算法会直接舍弃该样本，不考虑其信息。 能够处理含有缺失值的样本。C4.5在计算划分准则时会考虑到缺失值样本的影响，采用一种处理缺失值的机制。
树剪枝方法 在树的构建过程中，ID3算法没有考虑剪枝操作，可能会产生过拟合的问题。 C4.5在树的构建完成后采用自底向上的剪枝策略。它通过交叉验证来确定合适的剪枝点，以提高模型的泛化能力。
处理不平衡数据 对于不平衡数据的处理能力相对较弱，容易受到少数类样本的影响。 C4.5通过对样本进行加权，能够更好地处理不平衡数据，提高了模型的鲁棒性。

精简版

特征 ID3 C4.5
处理连续特征 需要离散化处理 直接处理
处理缺失值 舍弃含有缺失值的样本 能处理含有缺失值的样本
树剪枝方法 未考虑剪枝 自底向上剪枝
处理不平衡数据 相对较弱 更好的处理能力
20.7 决策树有哪些要素？

决策树是由多个要素构成的，这些要素共同定义了决策树的结构和特性。以下是决策树中的主要要素：

  1. 根节点（Root Node）：决策树的起始节点，代表整个数据集。根节点是树的入口点，通常根据某个特征进行划分。

  2. 内部节点（Internal Nodes）：除了根节点以外的节点称为内部节点，它们代表数据集中的某一特征属性，并根据该属性将数据集划分为更小的子集。

  3. 叶节点（Leaf Nodes）：叶节点是决策树的最终节点，它们代表数据集中的最终类别标签或预测值。叶节点不再进行划分，而是表示决策树的输出。

  4. 分裂准则（Splitting Criterion）：决策树在每个内部节点处根据某种分裂准则来选择最优的特征进行划分。常用的分裂准则包括信息增益、信息增益比、基尼不纯度等。

  5. 决策规则（Decision Rules）：决策树的每个内部节点和叶节点都对应着一个决策规则，表示在该节点上根据特征属性的取值进行判定，从而确定样本的类别或预测值。

  6. 剪枝策略（Pruning Strategy）：为了防止过拟合，决策树通常需要进行剪枝操作。剪枝策略定义了剪枝的条件和方法，包括预剪枝（在树的生长过程中进行剪枝）和后剪枝（在树的构建完成后进行剪枝）等。

  7. 停止条件（Stopping Criteria）：决策树的构建过程中需要定义停止条件，用来决定是否继续分裂节点。常见的停止条件包括节点包含的样本数小于阈值、树的深度达到预设值等。

这些要素共同构成了决策树模型的结构和属性，决定了决策树在分类和回归任务中的表现和性能。

20.8 决策树中剪枝的作用？

剪枝在决策树中起着非常重要的作用，它主要用于减少模型的复杂度，防止过拟合，并提高模型的泛化能力。以下是剪枝在决策树中的作用：

  1. 防止过拟合：决策树在构建过程中可能会过分追求训练数据的细节，导致模型在训练集上表现良好但在测试集上泛化能力差。剪枝可以有效地减少决策树的复杂度，避免模型过度拟合训练数据，从而提高模型在未见数据上的表现。

  2. 简化模型：剪枝可以将决策树中一些冗余的节点和分支剪掉，从而简化模型结构。简化后的模型更易于理解和解释，同时也更加高效，减少了计算和存储的成本。

  3. 提高泛化能力：剪枝过程通常通过交叉验证等方法来确定剪枝点，从而选择最优的模型复杂度。优化后的模型能够更好地适应未见数据，提高了模型的泛化能力。

  4. 减少计算开销：剪枝可以减少决策树的规模和深度，降低了预测时的计算开销。特别是在大规模数据集上，剪枝可以显著减少模型的预测时间。

综上所述，剪枝在决策树中扮演着关键的角色，它不仅可以防止过拟合和简化模型，还可以提高模型的泛化能力和降低计算开销，是构建高效、准确的决策树模型的重要步骤。

20.9 剪枝有哪些策略

决策树剪枝是为了避免过拟合和提高模型泛化能力而进行的重要步骤。剪枝策略是指确定哪些节点需要剪枝以及如何剪枝的方法。以下是常见的决策树剪枝策略：

  1. 预剪枝（Pre-pruning）：

    • 最大深度限制（Max Depth）：限制树的最大深度，当达到最大深度时停止分裂。
    • 叶节点最小样本数（Min Samples Leaf）：限制叶节点的最小样本数，当叶节点样本数低于阈值时停止分裂。
    • 叶节点最小不纯度（Min Impurity Decrease）：限制叶节点的不纯度减少量，如果分裂后不纯度减少量低于阈值，则停止分裂。
    • 提前停止（Early Stopping）：在验证集上监控模型的性能，当性能不再提升时，提前停止树的生长。

  2. 后剪枝（Post-pruning）：

    • 代价复杂度剪枝（Cost Complexity Pruning）：基于代价复杂度来选择剪枝点，代价复杂度考虑了剪枝节点的复杂度和模型的准确率之间的权衡。通常使用交叉验证来确定最优的剪枝点。
    • 错误率剪枝（Error-based Pruning）：根据剪枝后的错误率来选择最优的剪枝点，例如，选择使错误率最小的剪枝点。

  3. 基于规则的剪枝（Rule-based Pruning）：

    • 单子集剪枝（One-Subtree Pruning）：如果剪枝后的子树表现不比未剪枝前的子树差，则进行剪枝。
    • 全子集剪枝（All-Subtree Pruning）：对整棵树进行剪枝，然后再选择最优的子树。

  4. 剪枝过程：

    • 自底向上剪枝（Bottom-up Pruning）：从叶节点开始，逐层向上检查节点的剪枝条件，直到根节点。
    • 自顶向下剪枝（Top-down Pruning）：从根节点开始，递归地检查子树的剪枝条件，直到叶节点。

这些剪枝策略和方法在决策树的剪枝过程中起到关键作用，可以有效地提高模型的泛化能力，防止过拟合，并产生更简洁、更具有解释性的决策树模型。选择合适的剪枝策略需要考虑数据集的特点、模型的复杂度以及需要的泛化能力等因素。

20.10 剪枝中的预剪枝与后剪枝对比

精简版

剪枝类型 策略描述 过程描述 常见剪枝准则 优点 缺点
预剪枝 在树的构建过程中，在决定是否分裂节点之前进行剪枝。 每次对节点进行划分之前，先根据预设的条件来判断是否继续分裂该节点。 最大深度限制、叶节点最小样本数、叶节点最小不纯度 简单快速、可以有效地控制树的生长、降低过拟合的风险 可能会因为过早停止生长而导致欠拟合，不能充分利用数据的信息
后剪枝 在决策树构建完成后，根据某种准则来选择节点进行剪枝。 首先构建一颗完整的决策树，然后根据后剪枝的准则选择节点进行剪枝，直到剪枝后模型的性能不能再提高为止。 代价复杂度剪枝、错误率剪枝 充分利用了数据的信息、能够在构建完整树后更准确地选择剪枝点 相对于预剪枝，后剪枝的计算成本较高，需要构建完整的决策树后再进行剪枝

详细版

剪枝类型 策略描述 过程描述 常见剪枝准则 优点 缺点
预剪枝 在树的构建过程中，在决定是否分裂节点之前进行剪枝。 每次对节点进行划分之前，先根据预设的条件来判断是否继续分裂该节点。 - 最大深度限制（Max Depth）：限制树的最大深度。
- 叶节点最小样本数（Min Samples Leaf）：限制叶节点的最小样本数。
- 叶节点最小不纯度（Min Impurity Decrease）：限制叶节点的不纯度减少量。		 - 简单快速，可以有效地控制树的生长。
- 降低过拟合的风险。
- 可以减少不必要的计算开销。		 - 可能会因为过早停止生长而导致欠拟合。
- 不能充分利用数据的信息。
后剪枝 在决策树构建完成后，根据某种准则来选择节点进行剪枝。 首先构建一颗完整的决策树，然后根据后剪枝的准则选择节点进行剪枝，直到剪枝后模型的性能不能再提高为止。 - 代价复杂度剪枝（Cost Complexity Pruning）：基于代价复杂度来选择剪枝点，通常使用交叉验证来确定最优的剪枝点。
- 错误率剪枝（Error-based Pruning）：根据剪枝后的错误率来选择最优的剪枝点。		 - 充分利用了数据的信息，能够在构建完整树后更准确地选择剪枝点。
- 可以避免过早停止生长导致的欠拟合问题。
- 能够提高模型的泛化能力。		 - 相对于预剪枝，后剪枝的计算成本较高。
- 需要构建完整的决策树后再进行剪枝，可能会增加额外的计算开销。
20.11 预剪枝和后剪枝的优缺点
剪枝类型 优点 缺点
预剪枝 - 简单快速
- 控制树的生长
- 降低过拟合风险		 - 欠拟合风险
- 无法修复错误
后剪枝 - 充分利用数据
- 提高泛化能力
- 可以避免欠拟合		 - 计算成本高
- 无法解决树的结构问题
20.12 树模型怎么处理离散特征

树模型处理离散特征的方式与处理连续特征有所不同。离散特征是具有有限取值集合的特征，通常表示为分类变量。树模型（例如决策树、随机森林等）处理离散特征的方法主要取决于特征的类型和树算法的实现。以下是一些常见的处理方法：

  1. 决策树：

    • 对于离散特征，决策树算法通常根据特征的每个取值进行划分，即每个取值对应一个分支。
    • 在进行划分时，决策树会遍历每个可能的特征取值，并选择能够最好地分割数据集的特征取值作为分裂点。
    • 划分后的子节点会继续根据其他特征进行划分，直到达到停止条件为止。

  2. 随机森林：

    • 随机森林是由多棵决策树组成的集成模型，每棵树使用的特征子集是随机选择的。
    • 在每棵决策树的节点划分时，仍然会根据离散特征的每个取值进行划分，选择能够最大程度降低不纯度的特征取值进行划分。

  3. 梯度提升树（Gradient Boosting Trees）：

    • 梯度提升树是一种集成学习算法，通过迭代地训练决策树来拟合数据的残差。
    • 在每次迭代中，新的决策树会根据离散特征的每个取值进行划分，选择能够最大程度减少损失函数的特征取值进行划分。

  4. 处理多值离散特征：

    • 对于多值离散特征，有时可以将其转换为二进制编码（例如独热编码）来表示每个取值对应的二进制位。
    • 也可以将多值离散特征进行哈希编码，将不同取值映射到固定长度的哈希空间中。

总的来说，树模型处理离散特征时会根据特征的每个取值进行划分，选择能够最好地分割数据集的特征取值作为分裂点，并且会在树的节点划分时考虑特征的离散性。

20.13 决策树需要进行归一化吗

在使用常规的决策树算法（如ID3、C4.5、CART等）时，通常不需要对特征进行归一化或标准化。决策树是一种基于规则的分类与回归算法，它们的分裂准则通常基于特征的取值范围而不是特征的绝对值。因此，在决策树算法中，特征的缩放通常不会影响模型的性能。

而在一些基于距离的算法（如K近邻、支持向量机等）中，特征的缩放会对模型的性能产生影响，因为这些算法的决策依赖于特征之间的距离或相似度。在这种情况下，对特征进行归一化或标准化可以确保各个特征对模型的影响权重大致相等，从而提高模型的性能。

因此，在使用决策树算法时，通常不需要进行归一化。特征的原始值直接用于决策树的构建和划分过程，不需要额外的预处理步骤。

20.14 决策树优缺点
优点 缺点
易于理解和解释 容易产生过拟合
适用于离散和连续特征 对于包含大量特征的数据集，可能会产生过于复杂的模型
可以处理多输出任务 对于不平衡的数据集，决策树容易偏向于具有更多类别的特征
数据预处理的要求较低 对于特征空间很大的数据集，表现不佳
能够处理缺失值
20.15 决策树过拟合原因与解决办法

决策树容易产生过拟合的原因主要是因为它有很强的拟合能力，可以很好地适应训练数据，甚至将训练数据中的噪声也学习进来。以下是决策树过拟合的主要原因和解决办法：

过拟合原因：

  1. 过于复杂的模型： 决策树在训练过程中会不断地划分节点，直到每个叶节点都包含单一的类别或样本。当模型过于复杂时，容易出现过拟合。
  2. 数据噪声： 决策树对训练数据非常敏感，容易将数据中的噪声当作真实的模式学习，导致模型泛化能力差。
  3. 不适当的停止条件： 如果停止划分节点的条件设置不当，可能会导致模型在训练集上表现良好，但泛化能力差。

解决办法：

  1. 剪枝： 剪枝是防止决策树过拟合的有效方法之一。剪枝可以通过降低树的复杂度来提高泛化能力，包括预剪枝和后剪枝两种方法。
  2. 限制树的深度： 限制树的最大深度可以控制树的复杂度，防止模型过拟合。通过设置树的最大深度，可以避免树在训练集上过度生长。
  3. 增加停止条件： 设置适当的停止条件可以防止模型过拟合。例如，限制叶节点的最小样本数、限制叶节点的最小不纯度减少量等。
  4. 集成学习： 使用集成学习方法如随机森林和梯度提升树可以降低决策树过拟合的风险。通过构建多棵树并对它们进行组合，可以提高模型的泛化能力。
  5. 特征选择： 选择合适的特征可以减少模型的复杂度，避免决策树过拟合。可以使用特征选择方法来筛选最具代表性的特征，从而降低模型的复杂度。
20.16 决策树中的损失函数

在决策树中，用于衡量节点分裂质量的指标通常被称为分裂准则或损失函数。决策树的目标是选择使得损失函数最小化的特征和划分点来构建树的结构。以下是一些常见的决策树中使用的损失函数：

  1. 基尼不纯度（Gini Impurity）： 基尼不纯度是衡量一个数据集中类别不纯度的指标。对于给定的节点，基尼不纯度可以定义为该节点中每个类别的概率乘以该类别被错误分类的概率的总和。决策树会选择使得基尼不纯度最小化的特征和划分点进行分裂。

  2. 信息增益（Information Gain）： 信息增益是衡量一个特征对于分类任务的重要性的指标。对于给定的节点，信息增益可以定义为该节点的熵与使用该特征进行划分后子节点的加权平均熵之间的差值。决策树会选择使得信息增益最大化的特征和划分点进行分裂。

  3. 熵（Entropy）： 熵是衡量一个数据集中随机变量不确定性的指标。对于给定的节点，熵可以定义为该节点中每个类别的概率乘以该类别的对数概率的总和的负值。决策树会选择使得熵最小化的特征和划分点进行分裂。

  4. 均方误差（Mean Squared Error）： 均方误差是用于回归任务的损失函数，用于衡量模型预测值与真实值之间的平方差的平均值。决策树会选择使得均方误差最小化的特征和划分点进行分裂。

这些损失函数在决策树的构建过程中起着重要作用，帮助决策树算法选择最优的特征和划分点来构建树的结构。具体选择哪种损失函数取决于具体的任务类型和数据特征。

  • 公式表达

以下是常见的决策树中使用的损失函数的数学表达式：

  1. 基尼不纯度（Gini Impurity）：

    基尼不纯度可以通过以下公式计算：

    G i n i = 1 − ∑ i = 1 C p i 2 Gini = 1 - \sum_{i=1}^{C} p_i^2 Gini=1−∑i=1C​pi2​

    其中 (C) 是类别的数量，(p_i) 是第 (i) 个类别的样本在节点中的比例。

  2. 信息增益（Information Gain）：

    信息增益可以通过以下公式计算：

    I G = H ( p a r e n t ) − ∑ i = 1 k N i N × H ( c h i l d i ) IG = H(parent) - \sum_{i=1}^{k} \frac{N_i}{N} \times H(child_i) IG=H(parent)−∑i=1k​NNi​​×H(childi​)

    其中 (H(parent)) 是父节点的熵，(k) 是子节点的数量，(N_i) 是第 (i) 个子节点的样本数量，(N) 是父节点的样本总数，(H(child_i)) 是第 (i) 个子节点的熵。

  3. 熵（Entropy）：

    熵可以通过以下公式计算：

    E n t r o p y = − ∑ i = 1 C p i log ⁡ 2 ( p i ) Entropy = - \sum_{i=1}^{C} p_i \log_2(p_i) Entropy=−∑i=1C​pi​log2​(pi​)

    其中 (C) 是类别的数量，(p_i) 是第 (i) 个类别的样本在节点中的比例。

  4. 均方误差（Mean Squared Error）：

    均方误差可以通过以下公式计算：

    M S E = 1 N ∑ i = 1 N ( y i − y ˉ ) 2 MSE = \frac{1}{N} \sum_{i=1}^{N} (y_i - \bar{y})^2 MSE=N1​∑i=1N​(yi​−yˉ​)2

    其中 (N) 是样本总数，(y_i) 是第 (i) 个样本的真实值，(\bar{y}) 是预测值的平均值。

这些公式用于衡量节点分裂的质量，并在决策树的构建过程中用于选择最优的特征和划分点。