个人技术分享

决策树是一种常用的机器学习算法，它通过模拟人类做决策的过程，构建一棵树状模型来进行预测和分类。在每一步中，决策树会基于特征对数据集进行划分，形成一系列节点，直到达到某个停止条件，如达到最大深度或所有样本属于同一类别。

【代码】第四章-决策树。

纯度选择最优特征分裂熵基尼不准度均方误差。

划分选择的各种准则虽然对决策树的尺寸有较大影响，但对泛化性能的影响很有限；如果剪枝后的树>未剪枝的树则剪枝，否则不剪，当正确率相等时不做操作，一方面是防止欠拟合，一方面是剪枝也会有一定的开销。（2）若某一个类别比其他类别多，则该结点为该类别，如结点中的样本“好瓜”>“坏瓜”，则该结点为好瓜。（3）若所有类别样本数一样，或为空集，则取其父节点的类别作为该结点的类别。（1）若全为一个类别，则该结点为该类别，如全为“好瓜”，则该结点为好瓜。有属性，但是在属性上划分的结果都一样。（1）结点包含样本全为同一类别。

本文首先介绍了决策树的数学背景，同时介绍集成学习相关的bagging boosting 模型理论，最后介绍了随机森林模型和两种最常用的随机森林模型算法GBDT 和XGBoost

本文首先介绍了决策树的数学背景，同时介绍集成学习相关的bagging boosting 模型理论，最后介绍了随机森林模型和两种最常用的随机森林模型算法GBDT 和XGBoost

在本篇博客中，我们将通过使用 Python、Pandas 和多种机器学习技术，对一组贷款数据进行全面分析。通过详细的步骤展示，你将学会如何进行数据预处理、可视化分析以及构建预测模型。通过这些步骤，我们成功地对贷款数据进行了分析和建模，希望这篇教程能够帮助你更好地理解数据科学的工作流程。

二分类提升决策树（Two-class Boosted Decision Tree）是一种常用的机器学习方法，主要用于分类任务。该方法结合了决策树模型和提升（boosting）算法的优点，通过多个弱分类器（通常是简单的决策树）来构建一个强分类器。

面试，面经，面试问题，算法工程师面试

tips：标题前有“***”的内容为补充内容，是给好奇心重的宝宝看的，可自行跳过。文章内容被“文章内容”删除线标记的，也可以自行跳过。！！”一般需要特别注意或者容易出错的地方。本系列文章是作者边学习边总结的，内容有不对的地方还请多多指正，同时本系列文章会不断完善，每篇文章不定时会有修改。由于作者时间不算富裕，有些内容的《算法实现》部分暂未完善，以后有时间再来补充。见谅！文中为方便理解，会将接口在用到的时候才导入，实际中应在文件开始统一导入。

tips：标题前有“***”的内容为补充内容，是给好奇心重的宝宝看的，可自行跳过。文章内容被“文章内容”删除线标记的，也可以自行跳过。！！”一般需要特别注意或者容易出错的地方。本系列文章是作者边学习边总结的，内容有不对的地方还请多多指正，同时本系列文章会不断完善，每篇文章不定时会有修改。由于作者时间不算富裕，有些内容的《算法实现》部分暂未完善，以后有时间再来补充。见谅！文中为方便理解，会将接口在用到的时候才导入，实际中应在文件开始统一导入。

Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。

Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。Python 机器学习是利用 Python 编程语言中的各种工具和库来实现机器学习算法和技术的过程。

在这篇博客中，我们将深入探讨回归决策树的构建和应用。首先，我们将讨论如何选择和调整回归决策树的关键参数，以优化模型的性能。接着，我们将准备用于训练和测试的数据，并进行必要的预处理。然后，我们将构建回归决策树模型，包括拟合模型、预测数据、查看特征重要性以及评估模型拟合效果。最后，我们将通过可视化工具展示回归决策树的真实值和预测值，以及决策树的结构。这篇博客旨在帮助读者全面理解回归决策树的工作原理，并通过实践案例提升其在数据科学领域的应用能力。