本书旨在用极少的数学基本思想、概念和方法，处理大量的应用问题。全书分为三部分，第壹部分介绍向量及各种向量运算和函数，如加法、内积、距离及夹角，还描述了在应用问题中如何使用向量表示文档的单词计数、时间序列、患者的属性、商品的销售、音轨、图像或投资组合；第二部分对矩阵做了类似的介绍，并介绍了矩阵的逆和求解线性方程组的方法；第三部分介绍*小二乘法。本书展示了求解一组超定方程组简单而又自然的思想，并将这一思想加以推广，以求解很多应用问题。

斯蒂芬·博伊德(Stephen Boyd)是斯坦福大学电子工程系主任、工程学院Samsung教授、电子工程系信息系统实验室教授。他还在管理科学与工程系和计算机科学系任教，并且是计算和数学工程研究所的成员。他目前的研究重点是凸优化在控制、信号处理、机器学习和金融方面的应用。 利芬·范登伯格（Lieven Vandenberghe）是加州大学洛杉矶分校电子与计算机工程系和数学系教授，讲授应用数值计算、线性规划、凸优化、优化方法等课程。

译者序
前言
第一部分 向量
第 1 章 向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1 定义 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 向量加法 . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3 标量与向量的乘法. . . . . . . . . . . . . . . .11
1.4 内积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.5 向量运算的复杂度. . . . . . . . . . . . . . . .17
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
第 2 章 线性函数 . . . . . . . . . . . . . . . . . . . . . . . 24
2.1 表示形式 . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2 Taylor 近似 . . . . . . . . . . . . . . . . . . . . . . . 29
2.3 回归模型 . . . . . . . . . . . . . . . . . . . . . . . . . 31
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
第 3 章 范数和距离. . . . . . . . . . . . . . . . . . . . .37
3.1 范数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2 距离 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.3 标准差. . . . . . . . . . . . . . . . . . . . . . . . . . . .43
3.4 夹角 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.5 复杂度. . . . . . . . . . . . . . . . . . . . . . . . . . . .51
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
第 4 章 聚类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.1 向量的聚类 . . . . . . . . . . . . . . . . . . . . . . . 58
4.2 聚类的目标函数 . . . . . . . . . . . . . . . . . . 60
4.3 k-means 算法 . . . . . . . . . . . . . . . . . . . . . 62
4.4 例子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.5 应用问题 . . . . . . . . . . . . . . . . . . . . . . . . . 70
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
第 5 章 线性无关 . . . . . . . . . . . . . . . . . . . . . . . 73
5.1 线性相关 . . . . . . . . . . . . . . . . . . . . . . . . . 73
5.2 基 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
5.3 规范正交向量 . . . . . . . . . . . . . . . . . . . . 78
5.4 Gram-Schmidt 算法. . . . . . . . . . . . . . .80
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
第二部分 矩阵
第 6 章 矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
6.1 矩阵的形式 . . . . . . . . . . . . . . . . . . . . . . . 88
6.2 零矩阵与单位矩阵. . . . . . . . . . . . . . . .93
6.3 转置、加法和范数 . . . . . . . . . . . . . . . . 95
6.4 矩阵与向量的乘法. . . . . . . . . . . . . . . .98
6.5 复杂度 . . . . . . . . . . . . . . . . . . . . . . . . . . 102
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
第 7 章 矩阵示例 . . . . . . . . . . . . . . . . . . . . . . 108
7.1 几何变换 . . . . . . . . . . . . . . . . . . . . . . . . 108
7.2 提取 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
7.3 关联矩阵 . . . . . . . . . . . . . . . . . . . . . . . . 111
7.4 卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
第 8 章 线性方程组 . . . . . . . . . . . . . . . . . . . 124
8.1 线性函数和仿射函数 . . . . . . . . . . . . 124
8.2 线性函数模型 . . . . . . . . . . . . . . . . . . . 126
8.3 线性方程组及其应用 . . . . . . . . . . . . 129
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
第 9 章 线性动力系统 . . . . . . . . . . . . . . . . . 139
9.1 线性动力系统简介. . . . . . . . . . . . . . .139
9.2 人口动力学. . . . . . . . . . . . . . . . . . . . . .140
9.3 流行病动力学 . . . . . . . . . . . . . . . . . . . 143#12;
VIII
9.4 物体的运动. . . . . . . . . . . . . . . . . . . . . .144
9.5 供应链动力学 . . . . . . . . . . . . . . . . . . . 147
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
第 10 章 矩阵乘法. . . . . . . . . . . . . . . . . . . . .151
10.1 矩阵与矩阵的乘法 . . . . . . . . . . . . . 151
10.2 线性函数的复合 . . . . . . . . . . . . . . . . 156
10.3 矩阵的幂 . . . . . . . . . . . . . . . . . . . . . . . 159
10.4 QR 分解. . . . . . . . . . . . . . . . . . . . . . . .162
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
第 11 章 逆矩阵 . . . . . . . . . . . . . . . . . . . . . . . 173
11.1 左逆和右逆. . . . . . . . . . . . . . . . . . . . .173
11.2 逆 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
11.3 求解线性方程组 . . . . . . . . . . . . . . . . 180
11.4 例子. . . . . . . . . . . . . . . . . . . . . . . . . . . .183
11.5 伪逆. . . . . . . . . . . . . . . . . . . . . . . . . . . .187
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
第三部分 最小二乘法
第 12 章 最小二乘. . . . . . . . . . . . . . . . . . . . .198
12.1 最小二乘问题 . . . . . . . . . . . . . . . . . . 198
12.2 解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
12.3 求解最小二乘问题 . . . . . . . . . . . . . 204
12.4 例子. . . . . . . . . . . . . . . . . . . . . . . . . . . .206
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
第 13 章 最小二乘数据拟合 . . . . . . . . . . . 215
13.1 最小二乘数据拟合简介. . . . . . . . .215
13.2 验证. . . . . . . . . . . . . . . . . . . . . . . . . . . .229
13.3 特征工程 . . . . . . . . . . . . . . . . . . . . . . . 236
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
第 14 章 最小二乘分类 . . . . . . . . . . . . . . . . 252
14.1 分类. . . . . . . . . . . . . . . . . . . . . . . . . . . .252
14.2 最小二乘分类器 . . . . . . . . . . . . . . . . 254
14.3 多类分类器. . . . . . . . . . . . . . . . . . . . .261
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
第 15 章 多目标最小二乘 . . . . . . . . . . . . . 271
15.1 简介. . . . . . . . . . . . . . . . . . . . . . . . . . . .271
15.2 控制. . . . . . . . . . . . . . . . . . . . . . . . . . . .275
15.3 估计与反演. . . . . . . . . . . . . . . . . . . . .277
15.4 正则化的数据拟合 . . . . . . . . . . . . . 286
15.5 复杂度 . . . . . . . . . . . . . . . . . . . . . . . . . 290
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
第 16 章 带约束最小二乘 . . . . . . . . . . . . . 297
16.1 带约束最小二乘问题 . . . . . . . . . . . 297
16.2 解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
16.3 求解带约束最小二乘问题 . . . . . . 305
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
第 17 章 带约束最小二乘的应用 . . . . . . 313
17.1 投资组合优化 . . . . . . . . . . . . . . . . . . 313
17.2 线性二次控制 . . . . . . . . . . . . . . . . . . 320
17.3 线性二次状态估计 . . . . . . . . . . . . . 326
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
第 18 章 非线性最小二乘 . . . . . . . . . . . . . 334
18.1 非线性方程组和最小二乘 . . . . . . 334
18.2 Gauss-Newton 算法. . . . . . . . . . . . .338
18.3 Levenberg-Marquardt 算法 . . . . . 343
18.4 非线性模型拟合 . . . . . . . . . . . . . . . . 349
18.5 非线性最小二乘分类 . . . . . . . . . . . 351
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
第 19 章 带约束非线性最小二乘 . . . . . . 365
19.1 非线性最小二乘问题的推广 . . . . 365
19.2 罚算法 . . . . . . . . . . . . . . . . . . . . . . . . . 366
19.3 增广的 Lagrange 算法 . . . . . . . . . . 367
19.4 非线性控制. . . . . . . . . . . . . . . . . . . . .374
练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
附录 A 记号 . . . . . . . . . . . . . . . . . . . . . . . . . . 380
附录 B 复杂度. . . . . . . . . . . . . . . . . . . . . . . .382
附录 C 导数和优化 . . . . . . . . . . . . . . . . . . . 384
附录 D 进一步学习 . . . . . . . . . . . . . . . . . . . 391
索引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393