本书系统讲解大模型时代智能计算系统的原理与实践，覆盖深度学习算法、编程框架、智能编程语言及处理器芯片等全栈核心技术，结合典型场景与实验案例详解实现路径。上一版出版以来，深度学习已从传统模型转向以预训练大语言模型为核心的新范式，GPT-3等大模型推动技术革新，对智能计算系统提出更高要求。新版教材全面重构内容，保留经典知识，强化大模型体系，新增DeepSeek、Qwen等模型与文生图、语音合成案例。实验分四大板块循序渐进，倡导大模型辅助学习，以应用为驱动，助力读者构建完整知识体系。本书可作为高等院校人工智能、计算机科学及相关专业的本科生与研究生的教材，也可作为大模型领域技术人员的参考书。

陈云霁 中国科学院计算技术研究所副所长、博导，处理器芯片全国重点实验室主任，中国科学院大学岗位教授，中国计算机学会体系结构专委会主任。他带领团队研制了国际上首个深度学习处理器芯片“寒武纪1号”，相关成果两获计算机体系结构顶级国际会议最佳论文奖，并已应用在上亿台智能手机和服务器中。他的学术论文受五大洲、三十个国家、数百个知名机构广泛跟踪引用。他曾获国家杰出青年科学基金、全国五一劳动奖章、中国青年五四奖章、全国创新争先奖、何梁何利基金科学与技术创新奖。

前言

第1章　绪论1

1.1　人工智能发展背景1
1.1.1　深度学习2
1.1.2　大模型及智能体2
1.2　智能计算系统4
1.3　实验设计7
1.4　实验平台11
1.4.1　硬件平台11
1.4.2　软件环境12

第2章　聊天机器人的部署与应用14

2.1　大模型部署与推理应用14
2.1.1　实验目的14
2.1.2　实验背景14
2.1.3　实验环境28
2.1.4　实验内容28
2.1.5　实验步骤28
2.1.6　实验思考32
2.2　大模型微调32
2.2.1　实验目的32
2.2.2　实验背景32
2.2.3　实验环境35
2.2.4　实验内容36
2.2.5　实验步骤36
2.2.6　实验思考40

第3章　多领域模型的部署与应用41

3.1　基于VGG19实现图像分类41
3.1.1　实验目的41
3.1.2　实验背景41
3.1.3　实验环境43
3.1.4　实验内容43
3.1.5　实验步骤43
3.1.6　实验思考44
3.2　基于YOLOv5目标检测的模型训练44
3.2.1　实验目的44
3.2.2　实验背景44
3.2.3　实验环境46
3.2.4　实验内容47
3.2.5　实验步骤47
3.2.6　实验思考50
3.3　基于Tacotron 2 的语音合成50
3.3.1　实验目的50
3.3.2　实验背景50
3.3.3　实验环境52
3.3.4　实验内容52
3.3.5　实验步骤52
3.3.6　实验思考53
3.4　基于BERT的问答任务53
3.4.1　实验目的53
3.4.2　实验背景53
3.4.3　实验环境56
3.4.4　实验内容56
3.4.5　实验步骤57
3.4.6　实验思考58
3.5　基于Stable Diffusion的图文生成59
3.5.1　实验目的59
3.5.2　实验背景59
3.5.3　实验环境60
3.5.4　实验内容60
3.5.5　实验步骤61
3.5.6　实验思考63
3.6　基于CodeV的Verilog代码生成64
3.6.1　实验目的64
3.6.2　实验背景64
3.6.3　实验环境65
3.6.4　实验内容66
3.6.5　实验步骤66
3.6.6　实验思考76
3.7　基于DeepSeek-R1的数学推理76
3.7.1　实验目的76
3.7.2　实验背景76
3.7.3　实验环境77
3.7.4　实验内容77
3.7.5　实验步骤77
3.7.6　实验思考80
3.8　基于Qwen2.5-1M的长上下文理解80
3.8.1　实验目的80
3.8.2　实验背景81
3.8.3　实验环境81
3.8.4　实验内容81
3.8.5　实验步骤81
3.8.6　实验思考85

第4章　基于PyTorch的模型实现86

4.1　基于VGG19实现图像分类86
4.1.1　实验目的86
4.1.2　实验背景87
4.1.3　实验环境89
4.1.4　实验内容89
4.1.5　实验步骤89
4.1.6　实验评估94
4.1.7　实验思考94
4.2　实时风格迁移算法的推理94
4.2.1　实验目的94
4.2.2　实验背景94
4.2.3　实验环境97
4.2.4　实验内容97
4.2.5　实验步骤97
4.2.6　实验评估102
4.2.7　实验思考103
4.3　实时风格迁移算法的训练103
4.3.1　实验目的103
4.3.2　实验背景103
4.3.3　实验环境104
4.3.4　实验内容105
4.3.5　实验步骤105
4.3.6　实验评估111
4.3.7　实验思考111
4.4　自定义基于PyTorch的CPU算子111
4.4.1　实验目的111
4.4.2　实验背景112
4.4.3　实验环境112
4.4.4　实验内容112
4.4.5　实验步骤113
4.4.6　实验评估117
4.4.7　实验思考117
4.5　Transformer架构实现与应用118
4.5.1　实验目的118
4.5.2　实验背景118
4.5.3　实验环境120
4.5.4　实验内容120
4.5.5　实验步骤120
4.5.6　实验评估137
4.5.7　实验思考137

第5章　基于Triton的大模型优化138

5.1　Triton入门：矩阵乘的实现139
5.1.1　实验目的139
5.1.2　实验背景139
5.1.3　实验环境143
5.1.4　实验内容143
5.1.5　实验步骤143
5.1.6　实验评估151
5.1.7　实验思考152
5.2　Triton进阶：Flash Attention的实现152
5.2.1　实验目的152
5.2.2　实验背景152
5.2.3　实验环境154
5.2.4　实验内容155
5.2.5　实验步骤155
5.2.6　实验评估174
5.2.7　实验思考174
5.3　Triton实战：模型应用的实现175
5.3.1　实验目的175
5.3.2　实验背景175
5.3.3　实验环境175
5.3.4　实验内容175
5.3.5　实验步骤175
5.3.6　实验评估204
5.3.7　实验思考205

第6章　深度学习算子及模型实验206

6.1　深度学习高性能算子库206
6.1.1　CNNL介绍207
6.1.2　CNNL-Extra介绍209
6.1.3　MLU-OPS介绍210
6.1.4　Torch-MLU-Ops介绍210
6.2　基于三层神经网络实现手写数字分类211
6.2.1　实验目的211
6.2.2　实验背景212
6.2.3　实验环境218
6.2.4　实验内容218
6.2.5　三层神经网络CPU训练的实验步骤219
6.2.6　三层神经网络MLU推理的实验步骤229
6.3　基于VGG19实现图像分类234
6.3.1　实验目的234
6.3.2　实验背景235
6.3.3　实验环境238
6.3.4　实验内容238
6.3.5　CPU平台上的实验步骤239
6.3.6　MLU平台上的实验步骤247
6.4　基于Torch-MLU-Ops的Transformer模型推理252
6.4.1　实验目的252
6.4.2　实验背景252
6.4.3　实验环境255
6.4.4　实验内容255
6.4.5　实验步骤255
6.4.6　实验评估273
6.4.7　实验思考273

第7章　智能编程语言274

7.1　智能编程模型274
7.1.1　核函数276
7.1.2　地址空间277
7.1.3　异步278
7.1.4　并行279
7.2　智能编程语言基础284
7.2.1　C++标准和扩展284
7.2.2　数学运算和精度286
7.2.3　二进制的加载和执行288
7.3　智能计算开发平台289
7.3.1　软件栈289
7.3.2　开发环境293
7.3.3　编译工具295
7.3.4　调试工具296
7.3.5　调优工具297
7.4　智能编程语言算子开发与集成实验303
7.4.1　实验目的303
7.4.2　实验环境303
7.4.3　实验内容303
7.4.4　实验步骤304
7.4.5　实验运行313
7.4.6　实验评估314
7.4.7　实验思考314
7.5　智能编程语言性能优化实验315
7.5.1　实验目的315
7.5.2　实验环境315
7.5.3　实验内容315
7.5.4　实验步骤315
7.5.5　实验运行326
7.5.6　实验评估327
7.5.7　实验思考328

第8章　*深度学习处理器运算器设计329

8.1　实验目的329
8.2　实验背景330
8.2.1　算法特征330
8.2.2　DLP总体架构331
8.3　实验环境332
8.3.1　工具安装332
8.3.2　代码文件组织333
8.4　实验内容333
8.5　实验步骤334
8.5.1　内积运算器334
8.5.2　矩阵乘向量运算器340
8.5.3　矩阵乘法运算器343
8.5.4　编译调试346
8.6　实验评估348
8.7　实验思考348

参考文献349