本书围绕智能计算架构的设计原理与工程实践，系统阐述从理论基础到硬件实现的全栈技术体系，深入讲解智能计算架构的设计方法、优化策略与工程实现路径。本书理论部分涵盖智能计算芯片的基本概念与发展脉络、主流神经网络模型及其工具链、神经网络加速器的架构设计与数据流映射方法。实践部分以构建一款完整的神经网络加速器为主线，重点介绍硬件架构设计、软硬件交互、数据流生成、系统集成与部署测试等关键环节，形成覆盖人工智能芯片设计全流程的软硬件协同实践体系。 本书注重理论与实践深度融合，通过丰富的案例与完整的设计流程，帮助读者深入理解智能计算架构的设计思想，着重培养软硬件协同思维与系统级开发能力。本书既可作为高等院校计算机、人工智能、集成电路、电子信息等相关专业的教材，也可作为智能计算与人工智能芯片开发领域的工程实践参考书。

杨建磊，博士，副教授，硕士生导师。2014年毕业于清华大学计算机科学与技术系获工学博士学位，随后至2016年在美国匹兹堡大学智能进化实验室从事博士后研究。2016年6月在计算机学院计算新技术研究所、大数据科学与脑机智能高精尖创新中心及费尔北京研究院工作至今。研究领域包括：面向深度学习、机器视觉、类脑计算的算法、系统及芯片等。目前在DAC、ICCAD、ECCV、KDD、TCAD、TNNLS等高水平国际学术会议或期刊上发表论文50余篇，曾先后获得IBM公司与IEEE/ACM组织举办的TAU 2011供电网络仿真竞赛第一名和TAU 2012瞬态仿真竞赛第二名。2013年荣获IEEE ICCD国际会议最佳论文奖。2015年荣获ACM GLSVLSI国际会议最佳论文提名奖。2017年荣获IEEE ICESS最佳论文奖。2020年荣获ACM SIGKDD最佳学生论文奖。目前主持国家自然科学基金项目1项、国家重点研发计划2项，参与国家核高基项目以及华为技术合作项目等。
目前是IEEE高级会员、ACM会员和CCF会员，担任DAC、KDD、AAAI、ASP-DAC等国际学术会议程序委员会委员，担任GLSVLSI 2018/2019国际会议CAD Track Chair，担任FPT 2018国际会议Publication Chair，并作为TCAD、TVLSI、TODAES、TNNLS等国际学术期刊以及DAC、ICCAD、DATE、ASP-DAC等国际学术会议的审稿人。目前承担《计算机组成》、《计算机系统基础》、《计算机科学方法论》、《智能计算体系结构》与《人工智能加速器》等课程的教学工作。

目　　录
前言
理论基础篇
第1章　智能计算概述　2
1.1　智能计算的内涵　2
1.2　智能计算与算力　3
1.3　智能计算系统　5
1.4　智能计算架构　5
1.5　本书的架构　7
1.6　本章小结　8
习题　8
第2章　神经网络基础　9
2.1　深度神经网络模型　11
2.2　神经网络的工作流程　12
2.2.1　收集数据　13
2.2.2　构建模型　14
2.2.3　训练模型　14
2.2.4　量化部署　15
2.3　算法工具库　17
2.4　本章小结　18
习题　18
第3章　神经网络加速器基础　19
3.1　专用硬件加速器出现的背景　19
3.1.1　需求与意义　19
3.1.2　硬件处理器与加速器　21
3.2　神经网络的加速原理　24
3.2.1　神经网络加速的需求　24
3.2.2　神经网络算法加速　25
3.2.3　神经网络硬件加速　29
3.3　专用神经网络加速器　32
3.3.1　专用加速器的加速思路
与方法　33
3.3.2　典型的专用神经网络
加速器　35
3.4　本章小结　52
习题　52
第4章　神经网络加速器的
设计　53
4.1　设计需求与挑战　53
4.1.1　神经网络加速器的
性能瓶颈　53
4.1.2　针对不同应用场景的
设计需求　55
4.2　并行化与流水线设计　57
4.2.1　并行化技术在加速器中的
应用　57
4.2.2　神经网络中的计算任务
划分　58
4.2.3　流水线的设计与调度
策略　60
4.3　数据流架构与层次化存储　62
4.3.1　层次化存储架构与数据
复用　62
4.3.2　数据流架构　63
4.3.3　数据流模型的实现与
优化　64
4.4　稀疏与低精度在神经网络
加速器中的应用　67
4.4.1　神经网络稀疏性的
来源　68
4.4.2　稀疏矩阵乘法的优化及
架构设计　68
4.4.3　低精度运算的硬件
实现　69
4.4.4　量化策略对硬件架构的
影响　70
4.4.5　稀疏性与低精度的协同
优化　70
4.5　神经网络加速器实现
流程分析　71
4.6　神经网络加速器的性能评估
方法　73
4.6.1　精度与准确性　74
4.6.2　计算性能：延迟、
吞吐率、内存带宽、
数据传输效率　74
4.6.3　功耗与能效评估　74
4.6.4　应用性能评估　75
4.6.5　其他方面的评估　76
4.7　本章小结　76
习题　77
第5章　硬件设计平台　78
5.1　加速器开发使用的硬件
平台　78
5.2　FPGA基础　79
5.2.1　FPGA概述　80
5.2.2　FPGA的架构　80
5.2.3　FPGA的开发工具　82
5.2.4　硬件描述语言　82
5.3　FPGA的学习路线　83
5.3.1　入门级学习　84
5.3.2　进阶学习　84
5.4　FPGA神经网络的部署　85
5.4.1　硬件友好算法优化　85
5.4.2　架构优化技术　87
5.4.3　FPGA部署神经网络
推理加速器的步骤　90
5.5　本章小结　90
习题　91
设计实践篇
第6章　NaiveTPU的Zynq
实现　94
6.1　NaiveTPU概述　94
6.2　NaiveTPU的核心算子设计　95
6.3　NaiveTPU的硬件架构　95
6.4　NaiveTPU的工作流程　96
6.5　后续各章的内容体系　98
第7章　算法模型基础与
实践　100
7.1　简单神经网络　100
7.1.1　设计目标　100
7.1.2　神经网络的原理　101
7.1.3　MNIST数据集　103
7.1.4　模型设计与实现　104
7.1.5　硬件与软件环境　105
7.1.6　训练步骤与分析　106
7.2　深度神经网络　107
7.2.1　设计目标　107
7.2.2　模型训练　107
7.2.3　模型设计　108
7.2.4　硬件与软件环境　110
7.2.5　训练步骤　110
7.3　本章小结　112
习题　112
第8章　硬件设计基础　113
8.1　硬件设计方法与EDA
工具链　113
8.1.1　环境配置　114
8.1.2　软件的准备　114
8.1.3　联合仿真和第三方
编辑器的设置　124
8.1.4　环境测试（8位同步
计数器工程仿真）　129
8.2　SoC与软硬件协同设计　142
8.2.1　Zynq的启动机制　143
8.2.2　Linux系统移植　143
8.2.3　制作SD卡文件系统　144
8.2.4　启动Zynq上的文件
系统　147
8.2.5　安装开发环境
（NumPy库）　148
8.2.6　常见问题与解决
方法　149
8.3　本章小结　149
习题　150
第9章　实现矩阵乘法的
硬件设计　152
9.1　基本原理分析　152
9.2　单MAC乘加单元的实现　154
9.2.1　单MAC模块设计　154
9.2.2　单MAC模块仿真
测试　157
9.2.3　MAC功能仿真的
结果分析　158
9.3　搭建8×8 MAC脉动阵列
乘法单元　159
9.3.1　设计8×8 MAC脉动
阵列　159
9.3.2　8×8 MAC脉动阵列的
仿真测试　170
9.3.3　8×8 MAC脉动阵列的
计算性能分析　176
9.4　8×8 MAC脉动阵列的资源
消耗　177
9.5　矩阵乘法单元的封装和抽象　177
9.6　本章小结　182
习题　184
第10章　矩阵乘法的软硬件
交互　185
10.1　矩阵乘法的软硬件交互设计
原理　185
10.2　在PS侧实现BRAM的挂载
和地址划分　187
10.3　在Linux系统中用Python
实现内存映射和BRAM
读写　192
10.4　矩阵乘法软件接口Matmul
实现　196
10.4.1　Matmul类模板　196
10.4.2　input和weight补零的
原因　197
10.5　矩阵乘法的软硬件交互上板
测试　198
10.6　本章小结　199
习题　200
第11章　神经网络加速器的
硬件设计　201
11.1　设计目标　201
11.2　软硬件接口设计　202
11.3　子模块功能分析　204
11.4　数据格式约束　207
11.5　子模块详细设计　210
11.5.1　总控制模块CTRL　210
11.5.2　FM数据重组模块
FM_reshape　212
11.5.3　WM数据重组模块
WM_reshape　213
11.5.4　子矩阵相乘控制
模块　213
11.5.5　子矩阵输出缓存模块Align_fifo　214
11.5.6　输出控制模块
Out_ctrl　214
11.6　神经网络硬件加速器的
功能仿真验证　215
11.6.1　仿真器的选择　215
11.6.2　工程结构　218
11.6.3　自动化仿真环境　220
11.7　神经网络硬件加速器上板
测试和结果分析　222
11.7.1　信号提取　222
11.7.2　板级测试　224
11.8　本章小结　227
习题　228
第12章　使用NaiveTPU实现
神经网络推理　229
12.1　NaiveTPU的总体架构与
控制流程　229
12.2　用NaiveTPU加速MLP和
LeNet推理过程　231
12.2.1　代码文件目录结构　231
12.2.2　处理流程　232
12.2.3　软硬件协同测试　238
12.3　推理过程性能分析及优化
思路　240
12.4　本章小结　243
习题　243