简介：一、决策树基础定义：决策树是一种基于特征条件构建的分类与回归模型，通过树状结构模拟决策过程，因分支类似树的枝干而得名，是可解释性强的 “白盒模型”。组成 :内部节点：表示一个特征（如 “天气”“温度”）叶节点：表示一个类别（如 “举行运动会”“不举行”）有向边：对应特征的取值（如 “天气 = 晴天”“温度 = 寒冷”）构建核心：通过选择最优特征顺序划分样本，使分支节点的 “纯度”（同类样本占比）逐渐提高，最终实现准确分类。二、熵与条件熵熵（Entropy）作用：衡量随机变量的不确定性（混乱程度），熵值越大，样本越混乱。定义：对于有 k 个类别的离散变量 X ，其熵为：H(X)=−∑i=1k​pi​ log pi​ 其中 p i ​ 是第 i 类的概率。示例：抛硬币（2 类）的熵为 log2≈0.69 ，掷骰子（6 类）的熵为 log6≈1.17 ，单一类别样本的熵为 0（完全有序）。条件熵作用：已知某特征 X 的取值时，目标变量 Y 的不确定性。定义：特征 X 取 x i ​ 的概率为 p i ​ ，则条件熵为： H(Y∣X)=∑ i=1 k ​ p i ​ H(Y∣X=x i ​ )示例：已知 “天气 = 阴天” 时，运动会 “举行” 的概率为 1，此时该分支的熵为 0，降低了整体不确定性。三、特征划分选择算法评估标准定义特点ID3信息增益g(D,X)=H(D)−H(D∣X)衡量特征X降低数据集D不确定性的程度，值越大越好；但偏向取值多的特征（如 “编号”）。C4.5信息增益率gR​(D,X)=HX​(D)g(D,X)​信息增益除以特征X自身的熵HX​(D)，修正了对取值多的特征的偏好。CART基尼系数Gini(p)=1−∑i=1k​pi2​衡量随机样本分类错误的概率，值越小纯度越高；计算无需对数，更高效。补充：CART 还会用到基尼增益（G(D,X)=Gini(D)−Gini(D,X)）和基尼增益率（基尼增益除以特征取值数），进一步优化特征选择。四、连续值处理连续特征（如温度、年龄）需先离散化：1.对连续值排序，取相邻样本的中位点作为候选划分点（如 2 a i ​ +a i+1 ​ ​ ）2.计算每个划分点对应的信息熵，选择使熵最小的点作为最优划分点（即该点划分后样本纯度最高）五、剪枝处理：防止过拟合预剪枝（构建时剪枝）限制树的最大深度 限制叶子节点的最大数量限制叶子节点的最小样本数（如每个叶子至少含 20 个样本） 限制最小信息增益（如低于 0.8 则停止分支）后剪枝（构建后剪枝）基于损失函数判断是否剪枝： L α ​ (T)=Gini(T)×∣T∣+α∣T leaf ​ ∣ ，其中 α 为惩罚系数（ α 越大，越倾向简化树） 若剪枝后损失降低，则保留剪枝结果

简介：Anaconda介绍Anaconda，中文大蟒蛇，是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。其中，conda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同版本的软件包及其依赖，并能够在不同的环境之间切换。为什么要安装Anaconda？1、Anaconda对于python初学者而言及其友好，相比单独安装python主程序，选择Anaconda可以帮助省去很多麻烦，Anaconda里添加了许多常用的功能包，如果单独安装python，这些功能包则需要一条一条自行安装，在Anaconda中则不需要考虑这些，同时Anaconda还附带捆绑了两个非常好用的交互式代码编辑器（Spyder、Jupyternotebook）。2、如果我们不安装Anaconda的话，我们安装第三方库就必须要用pip install xxx去安装，当我们安装的库多了，就会形成文件紊乱和繁杂问题。而且pip install方法会默认把库安装在同一个路径中，假如当你去做项目时，别人给你的程序用的库是低版本的，而你自己通过pip安装的是高版本的库，由于存在兼容问题，你的库不能运行该程序，而你也不可能为了这个而删去你的高版本的库去下载这个符合环境的低版本库吧，所以这及其繁琐和不方便。这时Anaconda的作用就出来了！！！它能够创建一个虚拟环境，这个虚拟环境和你的主环境是分开的，就好像宿舍楼一样，一栋大宿舍楼有很多宿舍房间组成，每个房间都住着人，但是他们都是独立分开的，互不影响。如果你不想住宿，你随时可以退宿。也就是说，如果你创建的虚拟环境你不想要了，占内存了，你随时可以移走删除。那么怎么通过Anaconda创建虚拟环境呢？就是conda方法！！！一、清华镜像网站下载下载网址常规安装步骤不多赘述二、配置清华镜像源作为下载源点击打开Anaconda Prompt，执行以下命令，将清华镜像配置添加到Anaconda中： conda config add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config set show_channel_urls yes三、配置环境变量1.在开始界面搜索：编辑系统环境变量2.弹出的窗口中点击”环境变量“3.找到path变量，点击编辑4.点击新建，把Anaconda的目录，以及其中的Library、Scripts文件夹目录复制粘贴进去5.在终端输入conda version四、创建和接入虚拟环境创建1.首先启动Anaconda，在主界面点击坐标列表的Environments，再点击create按图片添加解释器找到刚刚创建环境的网址，找到 python.exe 接入成功！