python一阶惯性离散化

‘壹’ PID算法的算法种类

离散化公式：
△u(k)= u(k)- u(k-1)
△u(k)=Kp[e(k)-e(k-1)]+Kie(k)+Kd[e(k)-2e(k-1)+e(k-2)]
进一步可以改写成
△u(k)=Ae(k)-Be(k-1)+Ce(k-2)
对于增量式算法，可以选择的功能有：
(1) 滤波的选择
可以对输入加一个前置滤波器，使得进入控制算法的给定值不突变，而是有一定惯性延迟的缓变量。
(2) 系统的动态过程加速
在增量式算法中，比例项与积分项的符号有以下关系：如果被控量继续偏离给定值，则这两项符号相同，而当被控量向给定值方向变化时，则这两项的符号相反。
由于这一性质，当被控量接近给定值的时候，反号的比例作用阻碍了积分作用，因而避免了积分超调以及随之带来的振荡，这显然是有利于控制的。但如果被控量远未接近给定值，仅刚开始向给定值变化时，由于比例和积分反向，将会减慢控制过程。
为了加快开始的动态过程，我们可以设定一个偏差范围v，当偏差|e(t)|< β时，即被控量接近给定值时，就按正常规律调节，而当|e(t)|>= β时，则不管比例作用为正或为负，都使它向有利于接近给定值的方向调整，即取其值为|e(t)-e(t-1)|，其符号与积分项一致。利用这样的算法，可以加快控制的动态过程。
(3) PID增量算法的饱和作用及其抑制
在PID增量算法中，由于执行元件本身是机械或物理的积分储存单元，如果给定值发生突变时，由算法的比例部分和微分部分计算出的控制增量可能比较大，如果该值超过了执行元件所允许的最大限度，那么实际上执行的控制增量将时受到限制时的值，多余的部分将丢失，将使系统的动态过程变长，因此，需要采取一定的措施改善这种情况。
纠正这种缺陷的方法是采用积累补偿法，当超出执行机构的执行能力时，将其多余部分积累起来，而一旦可能时，再补充执行。 离散公式：
u(k)=Kp*e(k) +Ki*+Kd*[e(k)-e(k-1)]
对于位置式算法，可以选择的功能有：
a、滤波：同上为一阶惯性滤波
b、饱和作用抑制： 在基本PID控制中，当有较大幅度的扰动或大幅度改变给定值时， 由于此时有较大的偏差，以及系统有惯性和滞后，故在积分项的作用下，往往会产生较大的超调量和长时间的波动。特别是对于温度、成份等变化缓慢的过程，这一现象将更严重。为此可以采用积分分离措施，即偏差较大时，取消积分作用；当偏差较小时才将积分作用投入。
另外积分分离的阈值应视具体对象和要求而定。若阈值太大，达不到积分分离的目的，若太小又有可能因被控量无法跳出积分分离区，只进行PD控制，将会出现残差。
离散化公式：

当时当|e(t)|>β时
q0 = Kp(1+Td/T)
q1 = -Kp(1+2Td/T)
q2 = Kp Td /T
u(t) = u(t-1) + Δu(t)
注：各符号含义如下
u(t);;;;; 控制器的输出值。
e(t);;;;; 控制器输入与设定值之间的误差。
Kp;;;;;;; 比例系数。
Ti;;;;;;; 积分时间常数。
Td;;;;;;; 微分时间常数。（有的地方用Kd表示）
T;;;;;;;; 调节周期。
β;;;;;;; 积分分离阈值 当根据PID位置算法算出的控制量超出限制范围时，控制量实际上只能取边际值U=Umax,或U=Umin,有效偏差法是将相应的这一控制量的偏差值作为有效偏差值计入积分累计而不是将实际的偏差计入积分累计。因为按实际偏差计算出的控制量并没有执行。
如果实际实现的控制量为U=U（上限值或下限值），则有效偏差可以逆推出，即：
=
然后，由该值计算积分项
微分先行PID算法
当控制系统的给定值发生阶跃时，微分作用将导致输出值大幅度变化，这样不利于生产的稳定操作。因此在微分项中不考虑给定值，只对被控量（控制器输入值）进行微分。微分先行PID算法又叫测量值微分PID算法。公式如下：
离散化公式：
参数说明同上
对于纯滞后对象的补偿
控制点采用了Smith预测器，使控制对象与补偿环节一起构成一个简单的惯性环节。
PID参数整定
(1) 比例系数Kp对系统性能的影响
：
比例系数加大，使系统的动作灵敏，速度加快，稳态误差减小。Kp偏大，振荡次数加多，调节时间加长。Kp太大时，系统会趋于不稳定。Kp太小，又会使系统的动作缓慢。Kp可以选负数，这主要是由执行机构、传感器以控制对象的特性决定的。如果Kc的符号选择不当对象状态(pv值)就会离控制目标的状态(sv值)越来越远，如果出现这样的情况Kp的符号就一定要取反。
(2) 积分控制Ti对系统性能的影响
：
积分作用使系统的稳定性下降，Ti小（积分作用强）会使系统不稳定，但能消除稳态误差，提高系统的控制精度。
(3) 微分控制Td对系统性能的影响
：
微分作用可以改善动态特性，Td偏大时，超调量较大，调节时间较短。Td偏小时，超调量也较大，调节时间也较长。只有Td合适，才能使超调量较小，减短调节时间。

‘贰’ python培训课程哪家好

不同机构课程安排不同，每个人需求不一样，选择上也是存在差异，建议根据自身需求，实地体验一下。
课程安排：
阶段一：Python开发基础
Python全栈开发与人工智能之Python开发基础知识学习内容包括：Python基础语法、数据类型、字符编码、文件操作、函数、装饰器、迭代器、内置方法、常用模块等。
阶段二：Python高级编程和数据库开发
Python全栈开发与人工智能之Python高级编程和数据库开发知识学习内容包括：面向对象开发、Socket网络编程、线程、进程、队列、IO多路模型、Mysql数据库开发等。
阶段三：前端开发
Python全栈开发与人工智能之前端开发知识学习内容包括：Html、CSS、JavaScript开发、Jquery&bootstrap开发、前端框架VUE开发等。
阶段四：WEB框架开发
Python全栈开发与人工智能之WEB框架开发学习内容包括：Django框架基础、Django框架进阶、BBS+Blog实战项目开发、缓存和队列中间件、Flask框架学习、Tornado框架学习、Restful API等。
阶段五：爬虫开发
Python全栈开发与人工智能之爬虫开发学习内容包括：爬虫开发实战。
阶段六：全栈项目实战
Python全栈开发与人工智能之全栈项目实战学习内容包括：企业应用工具学习、CRM客户关系管理系统开发、路飞学城在线教育平台开发等。
阶段七：数据分析
Python全栈开发与人工智能之数据分析学习内容包括：金融量化分析。
阶段八：人工智能
Python全栈开发与人工智能之人工智能学习内容包括：机器学习、图形识别、无人机开发、无人驾驶等。
阶段九：自动化运维&开发
Python全栈开发与人工智能之自动化运维&开发学习内容包括：CMDB资产管理系统开发、IT审计+主机管理系统开发、分布式主机监控系统开发等。
阶段十：高并发语言GO开发
Python全栈开发与人工智能之高并发语言GO开发学习内容包括：GO语言基础、数据类型与文件IO操作、函数和面向对象、并发编程等。

‘叁’ Python pandas用法

在Python中，pandas是基于NumPy数组构建的，使数据预处理、清洗、分析工作变得更快更简单。pandas是专门为处理表格和混杂数据设计的，而NumPy更适合处理统一的数值数组数据。
使用下面格式约定，引入pandas包：

pandas有两个主要数据结构：Series和DataFrame。

Series是一种类似于一维数组的对象，它由 一组数据 （各种NumPy数据类型）以及一组与之相关的 数据标签（即索引） 组成，即index和values两部分，可以通过索引的方式选取Series中的单个或一组值。

pd.Series(list,index=[ ]) ，第二个参数是Series中数据的索引，可以省略。

Series类型索引、切片、运算的操作类似于ndarray，同样的类似Python字典类型的操作，包括保留字in操作、使用.get()方法。
Series和ndarray之间的主要区别在于Series之间的操作会根据索引自动对齐数据。

DataFrame是一个表格型的数据类型，每列值类型可以不同，是最常用的pandas对象。DataFrame既有行索引也有列索引，它可以被看做由Series组成的字典（共用同一个索引）。DataFrame中的数据是以一个或多个二维块存放的（而不是列表、字典或别的一维数据结构）。

pd.DataFrame(data,columns = [ ],index = [ ]) ：columns和index为指定的列、行索引，并按照顺序排列。

如果创建时指定了columns和index索引，则按照索引顺序排列，并且如果传入的列在数据中找不到，就会在结果中产生缺失值：

数据索引 ：Series和DataFrame的索引是Index类型，Index对象是不可修改，可通过索引值或索引标签获取目标数据，也可通过索引使序列或数据框的计算、操作实现自动化对齐。索引类型index的常用方法：

重新索引 ：能够改变、重排Series和DataFrame索引，会创建一个新对象，如果某个索引值当前不存在，就引入缺失值。
df.reindex(index, columns ,fill_value, method, limit, ) ：index/columns为新的行列自定义索引；fill_value为用于填充缺失位置的值；method为填充方法，ffill当前值向前填充，bfill向后填充；limit为最大填充量； 默认True，生成新的对象，False时，新旧相等不复制。

删除指定索引 ：默认返回的是一个新对象。
.drop() ：能够删除Series和DataFrame指定行或列索引。
删除一行或者一列时，用单引号指定索引，删除多行时用列表指定索引。
如果删除的是列索引，需要增加axis=1或axis='columns'作为参数。
增加inplace=True作为参数，可以就地修改对象，不会返回新的对象。

在pandas中，有多个方法可以选取和重新组合数据。对于DataFrame，表5-4进行了总结

适用于Series和DataFrame的基本统计分析函数 ：传入axis='columns'或axis=1将会按行进行运算。
.describe() ：针对各列的多个统计汇总，用统计学指标快速描述数据的概要。
.sum() ：计算各列数据的和
.count() ：非NaN值的数量
.mean( )/.median() ：计算数据的算术平均值、算术中位数
.var()/.std() ：计算数据的方差、标准差
.corr()/.cov() ：计算相关系数矩阵、协方差矩阵，是通过参数对计算出来的。Series的corr方法用于计算两个Series中重叠的、非NA的、按索引对齐的值的相关系数。DataFrame的corr和cov方法将以DataFrame的形式分别返回完整的相关系数或协方差矩阵。
.corrwith() ：利用DataFrame的corrwith方法，可以计算其列或行跟另一个Series或DataFrame之间的相关系数。传入一个Series将会返回一个相关系数值Series（针对各列进行计算），传入一个DataFrame则会计算按列名配对的相关系数。
.min()/.max() ：计算数据的最小值、最大值
.diff() ：计算一阶差分，对时间序列很有效
.mode() ：计算众数，返回频数最高的那（几）个
.mean() ：计算均值
.quantile() ：计算分位数（0到1）
.isin() ：用于判断矢量化集合的成员资格，可用于过滤Series中或DataFrame列中数据的子集
适用于Series的基本统计分析函数，DataFrame[列名]返回的是一个Series类型。
.unique() ：返回一个Series中的唯一值组成的数组。
.value_counts() ：计算一个Series中各值出现的频率。
.argmin()/.argmax() ：计算数据最大值、最小值所在位置的索引位置（自动索引）
.idxmin()/.idxmax() ：计算数据最大值、最小值所在位置的索引（自定义索引）

pandas提供了一些用于将表格型数据读取为DataFrame对象的函数。下表对它们进行了总结，其中read_csv()、read_table()、to_csv()是用得最多的。

在数据分析和建模的过程中，相当多的时间要用在数据准备上：加载、清理、转换以及重塑。

在许多数据分析工作中，缺失数据是经常发生的。对于数值数据，pandas使用浮点值NaN（np.nan）表示缺失数据，也可将缺失值表示为NA（Python内置的None值）。

替换值
.replace(old, new) ：用新的数据替换老的数据，如果希望一次性替换多个值，old和new可以是列表。默认会返回一个新的对象，传入inplace=True可以对现有对象进行就地修改。

删除重复数据

利用函数或字典进行数据转换

df.head()：查询数据的前五行
df.tail()：查询数据的末尾5行
pandas.cut()
pandas.qcut() 基于分位数的离散化函数。基于秩或基于样本分位数将变量离散化为等大小桶。
pandas.date_range() 返回一个时间索引
df.apply() 沿相应轴应用函数
Series.value_counts() 返回不同数据的计数值
df.aggregate()
df.reset_index() 重新设置index，参数drop = True时会丢弃原来的索引，设置新的从0开始的索引。常与groupby()一起用
numpy.zeros()

‘肆’ python数据分析与应用-Python数据分析与应用 pdf 内部全资料版

给大家带来的一篇关于Python数据相关的电子书资源，介绍了关于Python方面的内容，本书是由人民邮电出版社出版，格式为PDF，资源大小281 MB，黄红梅 张良均编写，目前豆瓣、亚马逊、当当、京东等电子书综合评分为：7.8。

内容介绍

目录

第1章Python数据分析概述1

任务1.1认识数据分析1

1.1.1掌握数据分析的概念2

1.1.2掌握数据分析的流程2

1.1.3了解数据分析应用场景4

任务1.2熟悉Python数据分析的工具5

1.2.1了解数据分析常用工具6

1.2.2了解Python数据分析的优势7

1.2.3了解Python数据分析常用类库7

任务1.3安装Python的Anaconda发行版9

1.3.1了解Python的Anaconda发行版9

1.3.2在Windows系统中安装Anaconda9

1.3.3在Linux系统中安装Anaconda12

任务1.4掌握Jupyter Notebook常用功能14

1.4.1掌握Jupyter Notebook的基本功能14

1.4.2掌握Jupyter Notebook的高 级功能16

小结19

课后习题19

第2章NumPy数值计算基础21

任务2.1掌握NumPy数组对象ndarray21

2.1.1创建数组对象21

2.1.2生成随机数27

2.1.3通过索引访问数组29

2.1.4变换数组的形态31

任务2.2掌握NumPy矩阵与通用函数34

2.2.1创建NumPy矩阵34

2.2.2掌握ufunc函数37

任务2.3利用NumPy进行统计分析41

2.3.1读/写文件41

2.3.2使用函数进行简单的统计分析44

2.3.3任务实现48

小结50

实训50

实训1创建数组并进行运算50

实训2创建一个国际象棋的棋盘50

课后习题51

第3章Matplotlib数据可视化基础52

任务3.1掌握绘图基础语法与常用参数52

3.1.1掌握pyplot基础语法53

3.1.2设置pyplot的动态rc参数56

任务3.2分析特征间的关系59

3.2.1绘制散点图59

3.2.2绘制折线图62

3.2.3任务实现65

任务3.3分析特征内部数据分布与分散状况68

3.3.1绘制直方图68

3.3.2绘制饼图70

3.3.3绘制箱线图71

3.3.4任务实现73

小结77

实训78

实训1分析1996 2015年人口数据特征间的关系78

实训2分析1996 2015年人口数据各个特征的分布与分散状况78

课后习题79

第4章pandas统计分析基础80

任务4.1读/写不同数据源的数据80

4.1.1读/写数据库数据80

4.1.2读/写文本文件83

4.1.3读/写Excel文件87

4.1.4任务实现88

任务4.2掌握DataFrame的常用操作89

4.2.1查看DataFrame的常用属性89

4.2.2查改增删DataFrame数据91

4.2.3描述分析DataFrame数据101

4.2.4任务实现104

任务4.3转换与处理时间序列数据107

4.3.1转换字符串时间为标准时间107

4.3.2提取时间序列数据信息109

4.3.3加减时间数据110

4.3.4任务实现111

任务4.4使用分组聚合进行组内计算113

4.4.1使用groupby方法拆分数据114

4.4.2使用agg方法聚合数据116

4.4.3使用apply方法聚合数据119

4.4.4使用transform方法聚合数据121

4.4.5任务实现121

任务4.5创建透视表与交叉表123

4.5.1使用pivot_table函数创建透视表123

4.5.2使用crosstab函数创建交叉表127

4.5.3任务实现128

小结130

实训130

实训1读取并查看P2P网络贷款数据主表的基本信息130

实训2提取用户信息更新表和登录信息表的时间信息130

实训3使用分组聚合方法进一步分析用户信息更新表和登录信息表131

实训4对用户信息更新表和登录信息表进行长宽表转换131

课后习题131

第5章使用pandas进行数据预处理133

任务5.1合并数据133

5.1.1堆叠合并数据133

5.1.2主键合并数据136

5.1.3重叠合并数据139

5.1.4任务实现140

任务5.2清洗数据141

5.2.1检测与处理重复值141

5.2.2检测与处理缺失值146

5.2.3检测与处理异常值149

5.2.4任务实现152

任务5.3标准化数据154

5.3.1离差标准化数据154

5.3.2标准差标准化数据155

5.3.3小数定标标准化数据156

5.3.4任务实现157

任务5.4转换数据158

5.4.1哑变量处理类别型数据158

5.4.2离散化连续型数据160

5.4.3任务实现162

小结163

实训164

实训1插补用户用电量数据缺失值164

实训2合并线损、用电量趋势与线路告警数据164

实训3标准化建模专家样本数据164

课后习题165

第6章使用scikit-learn构建模型167

任务6.1使用sklearn转换器处理数据167

6.1.1加载datasets模块中的数据集167

6.1.2将数据集划分为训练集和测试集170

6.1.3使用sklearn转换器进行数据预处理与降维172

6.1.4任务实现174

任务6.2构建并评价聚类模型176

6.2.1使用sklearn估计器构建聚类模型176

6.2.2评价聚类模型179

6.2.3任务实现182

任务6.3构建并评价分类模型183

6.3.1使用sklearn估计器构建分类模型183

6.3.2评价分类模型186

6.3.3任务实现188

任务6.4构建并评价回归模型190

6.4.1使用sklearn估计器构建线性回归模型190

6.4.2评价回归模型193

6.4.3任务实现194

小结196

实训196

实训1使用sklearn处理wine和wine_quality数据集196

实训2构建基于wine数据集的K-Means聚类模型196

实训3构建基于wine数据集的SVM分类模型197

实训4构建基于wine_quality数据集的回归模型197

课后习题198

第7章航空公司客户价值分析199

任务7.1了解航空公司现状与客户价值分析199

7.1.1了解航空公司现状200

7.1.2认识客户价值分析201

7.1.3熟悉航空客户价值分析的步骤与流程201

任务7.2预处理航空客户数据202

7.2.1处理数据缺失值与异常值202

7.2.2构建航空客户价值分析关键特征202

7.2.3标准化LRFMC模型的5个特征206

7.2.4任务实现207

任务7.3使用K-Means算法进行客户分群209

7.3.1了解K-Means聚类算法209

7.3.2分析聚类结果210

7.3.3模型应用213

7.3.4任务实现214

小结215

实训215

实训1处理信用卡数据异常值215

实训2构造信用卡客户风险评价关键特征217

实训3构建K-Means聚类模型218

课后习题218

第8章财政收入预测分析220

任务8.1了解财政收入预测的背景与方法220

8.1.1分析财政收入预测背景220

8.1.2了解财政收入预测的方法222

8.1.3熟悉财政收入预测的步骤与流程223

任务8.2分析财政收入数据特征的相关性223

8.2.1了解相关性分析223

8.2.2分析计算结果224

8.2.3任务实现225

任务8.3使用Lasso回归选取财政收入预测的关键特征225

8.3.1了解Lasso回归方法226

8.3.2分析Lasso回归结果227

8.3.3任务实现227

任务8.4使用灰色预测和SVR构建财政收入预测模型228

8.4.1了解灰色预测算法228

8.4.2了解SVR算法229

8.4.3分析预测结果232

8.4.4任务实现234

小结236

实训236

实训1求取企业所得税各特征间的相关系数236

实训2选取企业所得税预测关键特征237

实训3构建企业所得税预测模型237

课后习题237

第9章家用热水器用户行为分析与事件识别239

任务9.1了解家用热水器用户行为分析的背景与步骤239

9.1.1分析家用热水器行业现状240

9.1.2了解热水器采集数据基本情况240

9.1.3熟悉家用热水器用户行为分析的步骤与流程241

任务9.2预处理热水器用户用水数据242

9.2.1删除冗余特征242

9.2.2划分用水事件243

9.2.3确定单次用水事件时长阈值244

9.2.4任务实现246

任务9.3构建用水行为特征并筛选用水事件247

9.3.1构建用水时长与频率特征248

9.3.2构建用水量与波动特征249

9.3.3筛选候选洗浴事件250

9.3.4任务实现251

任务9.4构建行为事件分析的BP神经网络模型255

9.4.1了解BP神经网络算法原理255

9.4.2构建模型259

9.4.3评估模型260

9.4.4任务实现260

小结263

实训263

实训1清洗运营商客户数据263

实训2筛选客户运营商数据264

实训3构建神经网络预测模型265

课后习题265

附录A267

附录B270

参考文献295

学习笔记

Jupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编程语言。 Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 markdown。 用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等 。 定义 （推荐学习：Python视频教程） 用户可以通过电子邮件，Dropbox，GitHub 和 Jupyter Notebook Viewer，将 Jupyter Notebook 分享给其他人。 在Jupyter Notebook 中，代码可以实时的生成图像，视频，LaTeX和JavaScript。 使用 数据挖掘领域中最热门的比赛 Kaggle 里的资料都是Jupyter 格式 。 架构 Jupyter组件 Jupyter包含以下组件： Jupyter Notebook 和 ……

本文实例讲述了Python实现的微信好友数据分析功能。分享给大家供大家参考，具体如下： 这里主要利用python对个人微信好友进行分析并把结果输出到一个html文档当中，主要用到的python包为 itchat ， pandas ， pyecharts 等 1、安装itchat 微信的python sdk，用来获取个人好友关系。获取的代码 如下： import itchatimport pandas as pdfrom pyecharts import Geo, Baritchat.login()friends = itchat.get_friends(update=True)[0:]def User2dict(User): User_dict = {} User_dict["NickName"] = User["NickName"] if User["NickName"] else "NaN" User_dict["City"] = User["City"] if User["City"] else "NaN" User_dict["Sex"] = User["Sex"] if User["Sex"] else 0 User_dict["Signature"] = User["Signature"] if User["Signature"] else "NaN" ……

基于微信开放的个人号接口python库itchat，实现对微信好友的获取，并对省份、性别、微信签名做数据分析。 效果： 直接上代码，建三个空文本文件stopwords.txt，newdit.txt、unionWords.txt，下载字体simhei.ttf或删除字体要求的代码，就可以直接运行。 #wxfriends.py 2018-07-09import itchatimport sysimport pandas as pdimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei']#绘图时可以显示中文plt.rcParams['axes.unicode_minus']=False#绘图时可以显示中文import jiemport jieba.posseg as psegfrom scipy.misc import imreadfrom wordcloud import WordCloudfrom os import path#解决编码问题non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd) #获取好友信息def getFriends():……

Python数据分析之双色球基于线性回归算法预测下期中奖结果示例

本文实例讲述了Python数据分析之双色球基于线性回归算法预测下期中奖结果。分享给大家供大家参考，具体如下： 前面讲述了关于双色球的各种算法，这里将进行下期双色球号码的预测，想想有些小激动啊。 代码中使用了线性回归算法，这个场景使用这个算法，预测效果一般，各位可以考虑使用其他算法尝试结果。 发现之前有很多代码都是重复的工作，为了让代码看的更优雅，定义了函数，去调用，顿时高大上了 #!/usr/bin/python# -*- coding:UTF-8 -*-#导入需要的包import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport operatorfrom sklearn import datasets,linear_modelfrom sklearn.linear_model import LogisticRegression#读取文件d……

以上就是本次介绍的Python数据电子书的全部相关内容，希望我们整理的资源能够帮助到大家，感谢大家对鬼鬼的支持。

注·获取方式：私信（666）

‘伍’ 用python实现红酒数据集的ID3,C4.5和CART算法

ID3算法介绍
ID3算法全称为迭代二叉树3代算法（Iterative Dichotomiser 3）
该算法要先进行特征选择，再生成决策树，其中特征选择是基于“信息增益”最大的原则进行的。
但由于决策树完全基于训练集生成的，有可能对训练集过于“依赖”，即产生过拟合现象。因此在生成决策树后，需要对决策树进行剪枝。剪枝有两种形式，分别为前剪枝（Pre-Pruning）和后剪枝（Post-Pruning），一般采用后剪枝。
信息熵、条件熵和信息增益
信息熵：来自于香农定理，表示信息集合所含信息的平均不确定性。信息熵越大，表示不确定性越大，所含的信息量也就越大。
设x 1 , x 2 , x 3 , . . . x n {x_1, x_2, x_3, ...x_n}x
1

,x
2

,x
3

,...x
n

为信息集合X的n个取值，则x i x_ix
i

的概率：
P ( X = i ) = p i , i = 1 , 2 , 3 , . . . , n P(X=i) = p_i, i=1,2,3,...,n
P(X=i)=p
i

,i=1,2,3,...,n

信息集合X的信息熵为：
H ( X ) = − ∑ i = 1 n p i log ⁡ p i H(X) =- \sum_{i=1}^{n}{p_i}\log{p_i}
H(X)=−
i=1
∑
n

p
i

logp
i

条件熵：指已知某个随机变量的情况下，信息集合的信息熵。
设信息集合X中有y 1 , y 2 , y 3 , . . . y m {y_1, y_2, y_3, ...y_m}y
1

,y
2

,y
3

,...y
m

组成的随机变量集合Y，则随机变量（X，Y）的联合概率分布为
P ( x = i , y = j ) = p i j P(x=i,y=j) = p_{ij}
P(x=i,y=j)=p
ij

条件熵：
H ( X ∣ Y ) = ∑ j = 1 m p ( y j ) H ( X ∣ y j ) H(X|Y) = \sum_{j=1}^m{p(y_j)H(X|y_j)}
H(X∣Y)=
j=1
∑
m

p(y
j

)H(X∣y
j

)
由
H ( X ∣ y j ) = − ∑ j = 1 m p ( y j ) ∑ i = 1 n p ( x i ∣ y j ) log ⁡ p ( x i ∣ y j ) H(X|y_j) = - \sum_{j=1}^m{p(y_j)}\sum_{i=1}^n{p(x_i|y_j)}\log{p(x_i|y_j)}
H(X∣y
j

)=−
j=1
∑
m

p(y
j

)
i=1
∑
n

p(x
i

∣y
j

)logp(x
i

∣y
j

)
和贝叶斯公式：
p ( x i y j ) = p ( x i ∣ y j ) p ( y j ) p(x_iy_j) = p(x_i|y_j)p(y_j)
p(x
i

y
j

)=p(x
i

∣y
j

)p(y
j

)
可以化简条件熵的计算公式为:
H ( X ∣ Y ) = ∑ j = 1 m ∑ i = 1 n p ( x i , y j ) log ⁡ p ( x i ) p ( x i , y j ) H(X|Y) = \sum_{j=1}^m \sum_{i=1}^n{p(x_i, y_j)\log\frac{p(x_i)}{p(x_i, y_j)}}
H(X∣Y)=
j=1
∑
m

i=1
∑
n

p(x
i

,y
j

)log
p(x
i

,y
j

)
p(x
i

)

信息增益：信息熵-条件熵，用于衡量在知道已知随机变量后，信息不确定性减小越大。
d ( X , Y ) = H ( X ) − H ( X ∣ Y ) d(X,Y) = H(X) - H(X|Y)
d(X,Y)=H(X)−H(X∣Y)

python代码实现
import numpy as np
import math

def calShannonEnt(dataSet):
""" 计算信息熵 """
labelCountDict = {}
for d in dataSet:
label = d[-1]
if label not in labelCountDict.keys():
labelCountDict[label] = 1
else:
labelCountDict[label] += 1
entropy = 0.0
for l, c in labelCountDict.items():
p = 1.0 * c / len(dataSet)
entropy -= p * math.log(p, 2)
return entropy

def filterSubDataSet(dataSet, colIndex, value):
"""返回colIndex特征列label等于value，并且过滤掉改特征列的数据集"""
subDataSetList = []
for r in dataSet:
if r[colIndex] == value:
newR = r[:colIndex]
newR = np.append(newR, (r[colIndex + 1:]))
subDataSetList.append(newR)
return np.array(subDataSetList)

def chooseFeature(dataSet):
""" 通过计算信息增益选择最合适的特征"""
featureNum = dataSet.shape[1] - 1
entropy = calShannonEnt(dataSet)
bestInfoGain = 0.0
bestFeatureIndex = -1
for i in range(featureNum):
uniqueValues = np.unique(dataSet[:, i])
condition_entropy = 0.0

for v in uniqueValues: #计算条件熵
subDataSet = filterSubDataSet(dataSet, i, v)
p = 1.0 * len(subDataSet) / len(dataSet)
condition_entropy += p * calShannonEnt(subDataSet)
infoGain = entropy - condition_entropy #计算信息增益

if infoGain >= bestInfoGain: #选择最大信息增益
bestInfoGain = infoGain
bestFeatureIndex = i
return bestFeatureIndex

def creatDecisionTree(dataSet, featNames):
""" 通过训练集生成决策树 """
featureName = featNames[:] # 拷贝featNames，此处不能直接用赋值操作，否则新变量会指向旧变量的地址
classList = list(dataSet[:, -1])
if len(set(classList)) == 1: # 只有一个类别
return classList[0]
if dataSet.shape[1] == 1: #当所有特征属性都利用完仍然无法判断样本属于哪一类，此时归为该数据集中数量最多的那一类
return max(set(classList), key=classList.count)

bestFeatureIndex = chooseFeature(dataSet) #选择特征
bestFeatureName = featNames[bestFeatureIndex]
del featureName[bestFeatureIndex] #移除已选特征列
decisionTree = {bestFeatureName: {}}

featureValueUnique = sorted(set(dataSet[:, bestFeatureIndex])) #已选特征列所包含的类别， 通过递归生成决策树
for v in featureValueUnique:
FeatureName = featureName[:]
subDataSet = filterSubDataSet(dataSet, bestFeatureIndex, v)
decisionTree[bestFeatureName][v] = creatDecisionTree(subDataSet, FeatureName)
return decisionTree

def classify(decisionTree, featnames, featList):
""" 使用训练所得的决策树进行分类 """
classLabel = None
root = decisionTree.keys()[0]
firstGenDict = decisionTree[root]
featIndex = featnames.index(root)
for k in firstGenDict.keys():
if featList[featIndex] == k:
if isinstance(firstGenDict[k], dict): #若子节点仍是树，则递归查找
classLabel = classify(firstGenDict[k], featnames, featList)
else:
classLabel = firstGenDict[k]
return classLabel
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
下面用鸢尾花数据集对该算法进行测试。由于ID3算法只能用于标称型数据，因此用在对连续型的数值数据上时，还需要对数据进行离散化，离散化的方法稍后说明，此处为了简化，先使用每一种特征所有连续性数值的中值作为分界点，小于中值的标记为1，大于中值的标记为0。训练1000次，统计准确率均值。

from sklearn import datasets
from sklearn.model_selection import train_test_split

iris = datasets.load_iris()
data = np.c_[iris.data, iris.target]

scoreL = []
for i in range(1000): #对该过程进行10000次
trainData, testData = train_test_split(data) #区分测试集和训练集

featNames = iris.feature_names[:]
for i in range(trainData.shape[1] - 1): #对训练集每个特征，以中值为分界点进行离散化
splitPoint = np.mean(trainData[:, i])
featNames[i] = featNames[i]+'<='+'{:.3f}'.format(splitPoint)
trainData[:, i] = [1 if x <= splitPoint else 0 for x in trainData[:, i]]
testData[:, i] = [1 if x <= splitPoint else 0 for x in testData[:, i]]

decisionTree = creatDecisionTree(trainData, featNames)
classifyLable = [classify(decisionTree, featNames, td) for td in testData]
scoreL.append(1.0 * sum(classifyLable == testData[:, -1]) / len(classifyLable))
print 'score: ', np.mean(scoreL)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
输出结果为：score: 0.7335，即准确率有73%。每次训练和预测的准确率分布如下：

数据离散化
然而，在上例中对特征值离散化的划分点实际上过于“野蛮”，此处介绍一种通过信息增益最大的标准来对数据进行离散化。原理很简单，当信息增益最大时，说明用该点划分能最大程度降低数据集的不确定性。
具体步骤如下：

对每个特征所包含的数值型特征值排序
对相邻两个特征值取均值，这些均值就是待选的划分点
用每一个待选点把该特征的特征值划分成两类，小于该特征点置为1， 大于该特征点置为0，计算此时的条件熵，并计算出信息增益
选择信息使信息增益最大的划分点进行特征离散化
实现代码如下：

def filterRawData(dataSet, colIndex, value, tag):
""" 用于把每个特征的连续值按照区分点分成两类，加入tag参数，可用于标记筛选的是哪一部分数据"""
filterDataList = []
for r in dataSet:
if (tag and r[colIndex] <= value) or ((not tag) and r[colIndex] > value):
newR = r[:colIndex]
newR = np.append(newR, (r[colIndex + 1:]))
filterDataList.append(newR)
return np.array(filterDataList)

def dataDiscretization(dataSet, featName):
""" 对数据每个特征的数值型特征值进行离散化 """
featureNum = dataSet.shape[1] - 1
entropy = calShannonEnt(dataSet)

for featIndex in range(featureNum): #对于每一个特征
uniqueValues = sorted(np.unique(dataSet[:, featIndex]))
meanPoint = []

for i in range(len(uniqueValues) - 1): # 求出相邻两个值的平均值
meanPoint.append(float(uniqueValues[i+1] + uniqueValues[i]) / 2.0)
bestInfoGain = 0.0
bestMeanPoint = -1
for mp in meanPoint: #对于每个划分点
subEntropy = 0.0 #计算该划分点的信息熵
for tag in range(2): #分别划分为两类
subDataSet = filterRawData(dataSet, featIndex, mp, tag)
p = 1.0 * len(subDataSet) / len(dataSet)
subEntropy += p * calShannonEnt(subDataSet)

## 计算信息增益
infoGain = entropy - subEntropy
## 选择最大信息增益
if infoGain >= bestInfoGain:
bestInfoGain = infoGain
bestMeanPoint = mp
featName[featIndex] = featName[featIndex] + "<=" + "{:.3f}".format(bestMeanPoint)
dataSet[:, featIndex] = [1 if x <= bestMeanPoint else 0 for x in dataSet[:, featIndex]]
return dataSet, featName
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
重新对数据进行离散化，并重复该步骤1000次，同时用sklearn中的DecisionTreeClassifier对相同数据进行分类，分别统计平均准确率。运行代码如下:

from sklearn.tree import DecisionTreeClassifier
import matplotlib.pyplot as plt
scoreL = []
scoreL_sk = []
for i in range(1000): #对该过程进行1000次
featNames = iris.feature_names[:]
trainData, testData = train_test_split(data) #区分测试集和训练集
trainData_tmp = .(trainData)
testData_tmp = .(testData)
discritizationData, discritizationFeatName= dataDiscretization(trainData, featNames) #根据信息增益离散化
for i in range(testData.shape[1]-1): #根据测试集的区分点离散化训练集
splitPoint = float(discritizationFeatName[i].split('<=')[-1])
testData[:, i] = [1 if x<=splitPoint else 0 for x in testData[:, i]]
decisionTree = creatDecisionTree(trainData, featNames)
classifyLable = [classify(decisionTree, featNames, td) for td in testData]
scoreL.append(1.0 * sum(classifyLable == testData[:, -1]) / len(classifyLable))

clf = DecisionTreeClassifier('entropy')
clf.fit(trainData[:, :-1], trainData[:, -1])
clf.predict(testData[:, :-1])
scoreL_sk.append(clf.score(testData[:, :-1], testData[:, -1]))

print 'score: ', np.mean(scoreL)
print 'score-sk: ', np.mean(scoreL_sk)
fig = plt.figure(figsize=(10, 4))
plt.subplot(1,2,1)
pd.Series(scoreL).hist(grid=False, bins=10)
plt.subplot(1,2,2)
pd.Series(scoreL_sk).hist(grid=False, bins=10)
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
两者准确率分别为：
score: 0.7037894736842105
score-sk: 0.7044736842105263

准确率分布如下：

两者的结果非常一样。
（但是。。为什么根据信息熵离散化得到的准确率比直接用均值离散化的准确率还要低啊？？哇的哭出声。。）

最后一次决策树图形如下：

决策树剪枝
由于决策树是完全依照训练集生成的，有可能会有过拟合现象，因此一般会对生成的决策树进行剪枝。常用的是通过决策树损失函数剪枝，决策树损失函数表示为:
C a ( T ) = ∑ t = 1 T N t H t ( T ) + α ∣ T ∣ C_a(T) = \sum_{t=1}^TN_tH_t(T) +\alpha|T|
C
a

(T)=
t=1
∑
T

N
t

H
t

(T)+α∣T∣

其中，H t ( T ) H_t(T)H
t

(T)表示叶子节点t的熵值，T表示决策树的深度。前项∑ t = 1 T N t H t ( T ) \sum_{t=1}^TN_tH_t(T)∑
t=1
T

N
t

H
t

(T)是决策树的经验损失函数当随着T的增加，该节点被不停的划分的时候，熵值可以达到最小，然而T的增加会使后项的值增大。决策树损失函数要做的就是在两者之间进行平衡，使得该值最小。
对于决策树损失函数的理解，如何理解决策树的损失函数? - 陶轻松的回答 - 知乎这个回答写得挺好，可以按照答主的思路理解一下

C4.5算法
ID3算法通过信息增益来进行特征选择会有一个比较明显的缺点：即在选择的过程中该算法会优先选择类别较多的属性（这些属性的不确定性小，条件熵小，因此信息增益会大），另外，ID3算法无法解决当每个特征属性中每个分类都只有一个样本的情况（此时每个属性的条件熵都为0）。
C4.5算法ID3算法的改进，它不是依据信息增益进行特征选择，而是依据信息增益率，它添加了特征分裂信息作为惩罚项。定义分裂信息：
S p l i t I n f o ( X , Y ) = − ∑ i n ∣ X i ∣ ∣ X ∣ log ⁡ ∣ X i ∣ ∣ X ∣ SplitInfo(X, Y) =-\sum_i^n\frac{|X_i|}{|X|}\log\frac{|X_i|}{|X|}
SplitInfo(X,Y)=−
i
∑
n

∣X∣
∣X
i

∣

log
∣X∣
∣X
i

∣

则信息增益率为：
G a i n R a t i o ( X , Y ) = d ( X , Y ) S p l i t I n f o ( X , Y ) GainRatio(X,Y)=\frac{d(X,Y)}{SplitInfo(X, Y)}
GainRatio(X,Y)=
SplitInfo(X,Y)
d(X,Y)

关于ID3和C4.5算法
在学习分类回归决策树算法时，看了不少的资料和博客。关于这两个算法，ID3算法是最早的分类算法，这个算法刚出生的时候其实带有很多缺陷：

无法处理连续性特征数据
特征选取会倾向于分类较多的特征
没有解决过拟合的问题
没有解决缺失值的问题
即该算法出生时是没有带有连续特征离散化、剪枝等步骤的。C4.5作为ID3的改进版本弥补列ID3算法不少的缺陷：

通过信息最大增益的标准离散化连续的特征数据
在选择特征是标准从“最大信息增益”改为“最大信息增益率”
通过加入正则项系数对决策树进行剪枝
对缺失值的处理体现在两个方面：特征选择和生成决策树。初始条件下对每个样本的权重置为1。
特征选择：在选取最优特征时，计算出每个特征的信息增益后，需要乘以一个**“非缺失值样本权重占总样本权重的比例”**作为系数来对比每个特征信息增益的大小
生成决策树：在生成决策树时，对于缺失的样本我们按照一定比例把它归属到每个特征值中，比例为该特征每一个特征值占非缺失数据的比重
关于C4.5和CART回归树
作为ID3的改进版本，C4.5克服了许多缺陷，但是它自身还是存在不少问题：

C4.5的熵运算中涉及了对数运算，在数据量大的时候效率非常低。
C4.5的剪枝过于简单
C4.5只能用于分类运算不能用于回归
当特征有多个特征值是C4.5生成多叉树会使树的深度加深
————————————————
版权声明：本文为CSDN博主“Sarah Huang”的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_44794704/article/details/89406612