数据驱动下的创新为智能驾驶技术带来了巨大的发展潜力，也为用户个性化体验提供了更多可能。毫无疑问，经过标注的高质量、结构化数据已从过去的辅助角色逐渐转变为重要的价值创造者角色，而多维（包括三维重建加时间维度）重建技术则是构建大规模、全自动、高质量数据标注引擎的核心，更是进行建图、仿真、测试、可视化及自动驾驶系统的关键。在学术界，与智能驾驶相关的大规模三维重建、四维标注、鸟瞰图、占用网络、软件2.0等与多维重建强相关的工作越来越多，很多学术会议及期刊也不断推出与之相关的研讨会（Workshop）与特刊（Special Issue）。地平线（Horizon Robotics）拥有多年智能驾驶研发及量产经验，已将多维重建技术应用到产品线中，并且本着开放赋能、共同进步的目标，与苏州大学合作编写本书，系统介绍与多维重建相关的技术、方法及应用，帮助数据及算法团队迅速建立核心能力，并帮助入门者快速了解相关概念与核心技术。本书除了层层递进介绍基础知识外，还加入了大量来自量产一线的多维重建案例，便于读者动手实践。 本书主要面向智能车辆工程、智能视觉工程、智慧交通、人工智能、智能科学与技术等相关专业的学生及与智能驾驶、多维重建相关的开发及研究人员等。本书既可以作为智能驾驶与多维重建的入门级教材，也可用于多维重建开发的参考工具书。

杨聪，博士毕业于德国锡根大学(University of Siegen)，师从Marcin Grzegorzek教授，研究方向为机器视觉与式识别。后在法国国家信息与自动化研究所(INRIA)进行博士后研究，师从Marie-Odile Berger教授，方向集中于机器视觉并涉及多个学科的交叉。 2017年回国，担任扩博智能(Clobotics)算法团队负责人，带领团队成功研发并交付了多个人工智能相关产品。2019年加入地平线(Horizon Robotics)，担任南京人工智能高等研究院高级研究员，带领团队深度参与了地平线征程2-5代芯片在智能驾驶领域的落地与量产。现任苏州大学副教授，苏州大学-地平线智能驾驶生态创新中心主任，先后在IJCV、TVCG、TIP、TITS等国内外知名期刊或会议发表学术论文近70篇，专著2本，主编教材4部，专利近40个(含美国专利4个)。

前言
第1章　智能驾驶中的三维重建…001
1.1　智能驾驶简介…001
1.2　智能驾驶传感器…003
1.2.1　视觉传感器…004
1.2.2　激光雷达…006
1.2.3　毫米波雷达…009
1.2.4　超声波传感器…012
1.2.5　定位传感器…013
1.2.6　多传感器融合…017
1.3　智能驾驶感知…018
1.4　SLAM与VLN中的三维重建…024
1.4.1　视觉SLAM…024
1.4.2　神经表达SLAM…025
1.4.3　VLN…027
1.5　智能驾驶仿真…029
1.6　案例：特斯拉视觉重建与仿真…031
练习题…032
第2章　特征点检测与匹配…034
2.1　特征点检测与描述…034
2.1.1　特征点检测算法…034
2.1.2　特征点描述算法…039
2.2　特征点匹配…041
2.3　深度学习特征点检测与匹配…043
2.3.1　基于学习的特征点检测…043
2.3.2　基于学习的特征点匹配…045
2.3.3　端到端特征点检测与匹配…046
2.3.4　评价指标…047
2.4　特征点检测与匹配的应用…048
2.5　案例：智能驾驶中的关键点检测与匹配…049
练习题…050
第3章　帧间运动估计…052
3.1　相机模型及成像…052
3.1.1　相机模型…053
3.1.2　畸变模型…056
3.2　帧间运动理论模型…057
3.2.1　对极约束…057
3.2.2　单应性变换…060
3.3　帧间运动模型求解…061
3.3.1　直接线性变换法…061
3.3.2　鲁棒估计…063
3.4　基于深度学习的里程计估计…064
3.4.1　基于学习的帧间运动估计…065
3.4.2　基于学习的视觉重建…067
3.4.3　特征点法与直接法对比…069
3.5　案例：智能驾驶中的里程计估计…070
练习题…071
第4章　运动恢复结构…073
4.1　三角测量…073
4.2　透视n点问题…075
4.3　光束法平差非线性优化…076
4.3.1　无约束最小优化问题…076
4.3.2　光束法平差求解…078
4.4　运动恢复结构框架…080
4.4.1　增量运动恢复结构…081
4.4.2　全局运动恢复结构…084
4.4.3　分层运动恢复结构…087
4.4.4　运动恢复结构对比…089
4.5　运动恢复结构的加速处理…090
4.5.1　图像连接图构建加速…090
4.5.2　匹配和几何校验加速…091
4.5.3　光束法平差并行加速…091
4.6　案例：智能驾驶场景中的SfM重建…092
练习题…092
第5章　多视图稠密重建…095
5.1　基于几何方法…095
5.1.1　法向估计…096
5.1.2　视角选择…096
5.1.3　时空平滑…097
5.1.4　光度一致…098
5.1.5　几何一致…099
5.1.6　集成…099
5.1.7　点云融合…100
5.2　基于学习方法…101
5.2.1　基于三维卷积的多视图稠密重建…102
5.2.2　基于二维卷积的多视图稠密重建…103
5.3　基于COLMAP的多视图稠密重建…104
5.3.1　COLMAP SfM…104
5.3.2　COLMAP MVS…107
5.3.3　COLMAP中间结果…108
5.4　三维占用重建…109
5.4.1　基于深度估计的占用…109
5.4.2　端到端三维占用估计…112
5.4.3　占用流…114
5.5　案例：驾驶场景中的稠密点云重建…115
练习题…117
第6章　纹理表面重建…119
6.1　三维物体的表面表达方式…119
6.1.1　边界表示法…119
6.1.2　空间划分法…120
6.1.3　构造体素法…121
6.2　基于图像分割的表面重建…122
6.2.1　德劳内三角剖分…123
6.2.2　图像分割二分类…126
6.3　基于隐函数的表面重建…128
6.3.1　隐函数空间划分…129
6.3.2　局部和全局隐函数重建…130
6.3.3　行进立方体算法生成表面…133
6.4　基于多视角的网格细化…135
6.4.1　连续梯度流离散化…135
6.4.2　数学模型…136
6.5　纹理图像重建…139
6.5.1　纹理贴图基本原理…139
6.5.2　纹理图像自动拼接…141
6.5.3　纹理图像去缝处理…143
6.6　神经辐射场重建…148
6.6.1　神经辐射场的基本原理…148
6.6.2　神经辐射场系列现状及发展…150
6.7　3D高斯溅射…153
6.8　案例：智能驾驶中的稠密点云重建…156
练习题…160
第7章　智能驾驶云端建图…162
7.1　行车场景的建图方案…162
7.1.1　高精地图概述…163
7.1.2　高精地图构建…165
7.1.3　重感知轻地图…167
7.1.4　矢量地图…168
7.2　行车场景的定位方案…170
7.2.1　基于地图的定位…170
7.2.2　轻地图中的定位…173
7.3　泊车场景的建图方案…175
7.4　泊车场景的定位方案…177
7.5　视觉建图与定位案例…178
7.5.1　行车场景…178
7.5.2　泊车场景…181
练习题…183
第8章　纯视觉四维标注…185
8.1　智能驾驶数据需求…185
8.1.1　智驾技术发展历程…185
8.1.2　智驾数据需求…187
8.2　静态场景四维标注…189
8.3　动态场景四维标注…195
8.4　通用障碍物四维标注…197
8.4.1　深度标注…197
8.4.2　占用标注…199
8.5　案例：人工与半自动标注平台案例…200
练习题…203
第9章　三维可视化…205
9.1　计算机图形学基础…205
9.1.1　光栅化…205
9.1.2　曲面转换…206
9.1.3　光线追踪…209
9.2　渲染管线…212
9.2.1　渲染管线原理…212
9.2.2　渲染管线编程…213
9.3　智能驾驶中的渲染元素…217
9.4　案例：智能驾驶中常用的渲染工具介绍…225
9.4.1　Webviz…225
9.4.2　Foxglove…226
练习题…228
第10章　自动驾驶仿真…230
10.1　传统仿真系统…230
10.1.1　物理引擎…231
10.1.2　决策规划…231
10.1.3　CARLA…232
10.2　基于深度学习的仿真系统…233
10.2.1　风格迁移…233
10.2.2　隐式表达…236
10.2.3　动态物体仿真…237
10.3　智能驾驶仿真系统样例…238
10.4　案例：大语言模型与端到端智能驾驶…239
练习题…243
附录　术语列表…245
参考文献…247