本书从具体的应用实例出发，由浅入深，力求系统全面而又简明扼要地阐述机器学习的基本概念、理论、方法和算法，并提供必要的数学推导和详细算法描述，便于读者掌握机器学习方法的本质。本书主要介绍了线性回归、逻辑回归、决策树、支持向量机、聚类等经典机器学习方法，并对卷积神经网络、循环神经网络和Transformer等深度学习方法进行了简要介绍。本书结合编者多年从事人工智能科研和教学的经验，注重内容的实用性和先进性，并通过丰富的应用实例引导读者动手实现算法，使读者能够更好地理解理论知识，将其应用于实际场景中，培养读者解决实际问题的能力。 　　本书适合作为普通高校人工智能、计算机、自动化、电子信息、机器人等专业的教材，也可作为广大从事人工智能应用系统开发的工程技术人员的参考书。 　　本书配有教学课件、教学大纲、习题答案和教学视频等教学资源，欢迎选用本书作教材的教师登录www.cmpedu.com注册后下载，或发邮件至jinacmp@163.com索取。 　　

高等院校教师

目录机器学习前言
第1章绪论1
导读1
本章知识点1
1.1机器学习简述1
1.2机器学习发展历史3
1.3机器学习基本概念6
1.3.1机器学习术语6
1.3.2机器学习基本要素7
1.3.3过拟合与欠拟合10
1.3.4评估方法与性能度量12
1.4机器学习应用现状15
思考题与习题16
参考文献16
第2章机器学习的数学基础18
导读18
本章知识点18
2.1线性代数 18
2.1.1线性空间18
2.1.2范数19
2.1.3矩阵20
2.1.4特征值与特征向量21
2.1.5奇异值分解22
2.2概率与信息论22
2.2.1随机变量与概率分布22
2.2.2期望、方差与协方差24
2.2.3常用概率分布25
2.2.4熵、互信息、KL散度27
2.3最优化理论28
2.3.1多元函数28
2.3.2梯度下降法32
2.3.3拉格朗日对偶性33
思考题与习题35
参考文献36
第3章回归模型37
导读37
本章知识点37
3.1引言37
3.2一元线性回归38
3.3多元线性回归41
3.3.1线性回归模型41
3.3.2最小二乘法41
3.3.3梯度下降算法42
3.4多项式回归44
3.5正则化方法46
3.6逻辑回归48
3.6.1逻辑回归模型48
3.6.2交叉熵损失50
3.7应用案例51
3.7.1简单的逻辑回归51
3.7.2多元线性回归52
思考题与习题52
参考文献52
第4章决策树54
导读54
本章知识点54
4.1引言54
4.2决策树学习算法的基本框架57
4.2.1终止条件57
4.2.2基本框架62
4.3属性选择63
4.3.1数据集的熵64
4.3.2信息增益65
4.3.3信息增益率66
4.4属性测试72
4.5剪枝处理74
4.5.1过拟合74
4.5.2预剪枝75
4.6应用案例81
思考题与习题82
参考文献82
第5章支持向量机84
导读84
本章知识点84
5.1引言85
5.2硬间隔线性支持向量机86
5.2.1基本问题86
5.2.2函数间隔与几何间隔87
5.2.3最大间隔分类器87
5.2.4求解支持向量机的原始问题89
5.2.5支持向量机的对偶问题89
5.3软间隔线性支持向量机92
5.3.1软间隔在实际问题中的优化92
5.3.2合页损失94
5.4核支持向量机95
5.4.1模型96
5.4.2常用的核函数97
5.5应用案例98
思考题与习题99
参考文献100
第6章贝叶斯分类器101
导读101
本章知识点101
6.1引言101
6.2贝叶斯决策论101
6.3极大似然估计102
6.4朴素贝叶斯分类器103
6.5应用案例106
思考题与习题107
参考文献108
第7章聚类109
导读109
本章知识点109
7.1引言109
7.2聚类基本原理110
7.2.1聚类任务描述110
7.2.2相似性度量111
7.2.3类间距离112
7.3聚类算法113
7.3.1Kmeans聚类算法113
7.3.2DBSCAN聚类算法115
7.3.3层次聚类算法120
7.4应用案例120
思考题与习题122
参考文献123
第8章集成学习125
导读125
本章知识点125
8.1引言125
8.2集成学习基本原理126
8.2.1集成学习的结构126
8.2.2集成学习理论分析127
8.2.3集成学习的类型132
8.3集成策略133
8.3.1平均法133
8.3.2投票法133
8.3.3学习法134
8.4集成学习主要算法135
8.4.1Bagging方法135
8.4.2Boosting方法138
8.4.3Stacking方法141
8.5应用案例142
思考题与习题143
参考文献144
第9章降维145
导读145
本章知识点145
9.1引言145
9.2线性降维方法146
9.2.1主成分分析法147
9.2.2线性判别分析150
9.2.3多维尺度变换152
9.3非线性降维方法154
9.3.1等度量映射155
9.3.2局部线性嵌入156
9.4应用案例158
思考题与习题161
参考文献161
第10章神经网络163
导读163
本章知识点164
10.1前馈神经网络164
10.1.1神经网络基本概念164
10.1.2感知机和前馈神经网络165
10.1.3神经网络训练167
10.1.4激活函数168
10.2卷积神经网络171
10.2.1卷积神经网络组成171
10.2.2卷积层172
10.2.3池化层178
10.2.4全连接层179
10.2.5应用案例179
10.3循环神经网络181
10.3.1循环神经网络181
10.3.2长短期记忆网络185
10.3.3门控循环单元网络186
10.3.4应用案例187
10.4Transformer189
10.4.1位置编码190
10.4.2自注意力机制191
10.4.3多头注意力机制193
10.4.4应用案例194
思考题与习题197
参考文献198