本书由中科院计算所、软件所的专家学者倾心写就，以“图像风格迁移”应用为例，全面介绍智能计算系统的软硬件技术栈。第2版以大模型为牵引进行更新，第1章回顾人工智能、智能计算系统的发展历程，第2、3章在介绍深度学习算法知识的基础上增加了大模型算法的相关知识，第4章介绍深度学习编程框架PyTorch的发展历程、基本概念、编程模型和使用方法，第5章介绍编程框架的工作原理，第6章回顾深度学习所用的处理器结构从通用逐步走向专用的过程，第7章介绍深度学习处理器的体系结构应当如何应对大模型处理中的计算、访存、通信瓶颈，第8章介绍基于BCL语言的高性能算子开发优化实践，第9章介绍面向大模型的计算系统并以BLOOM作为驱动范例。本书适合作为高等院校相关专业的教材，也适合人工智能领域的科研人员参考。

陈云霁 中国科学院计算技术研究所副所长、研究员、博导，处理器芯片全国重点实验室主任，中国科学院大学岗位教授，中国计算机学会体系结构专委会主任。他带领团队研制了国际上首个深度学习处理器芯片“寒武纪1号”，相关成果两获计算机体系结构顶级国际会议最佳论文奖，并已应用在上亿台智能手机和服务器中。他的学术论文受五大洲、三十个国家、数百个知名机构广泛跟踪引用。他被Science杂志刊文评价为深度学习处理器的“先驱”和“引领者”，并获我国处理器芯片领域迄今为止唯一的国家自然科学二等奖（第一完成人）。他还曾获国家杰出青年科学基金、全国五一劳动奖章、中国青年五四奖章、全国创新争先奖、何梁何利基金科学与技术创新奖、教育部“青年长江学者”，并被MIT Technology Review 评为全球35位杰出青年创新者（2015
年度）。
李玲 中国科学院软件研究所研究员、博导，CCF高级会员，IEEE Senior Member。研究方向为智能计算。在相关领域出版中文教材2本、英文教材1本，发表30多篇CCF A类期刊和会议论文。曾获得CCF A类会议MICRO 2014最佳论文奖（该会议五十年来唯一一次美国以外国家获此奖）、中国科学院杰出科技成就奖等奖励。作为负责人主持过多项国家自然科学基金项目、国家重点研发计划课题、中国科学院先导C类专项课题等。
赵永威 中国科学院计算技术研究所副研究员。研究方向为智能处理器体系结构。在ISCA、MICRO、Proc. IEEE等会议和期刊上发表学术论文20篇。曾获得中国计算机学会优秀博士学位论文奖、MICRO 2022最佳论文Runner-up奖。
李威 中国科学院计算技术研究所副研究员。研究方向为高性能智能计算系统设计技术。作为负责人或骨干承担了国家重点研发计划课题、国家科技重大专项项目、国家自然科学基金、中国科学院战略性先导课题等。作为核心成员参与了多款深度学习处理器的研发，发表或录用学术论文30余篇，出版专著三部。
郭崎 中国科学院计算技术研究所研究员。长期从事计算机体系结构及人工智能相关研究。发表50余篇CCF A类期刊和会议论文。入选国家级青年人才，曾获得国家自然科学二等奖、中国科学院青年科学家奖、中国科学院杰出科技成就奖等。
文渊博 中国科学院计算技术研究所助理研究员。研究方向为智能处理器体系结构和系统软件。深度参与多款深度学习处理器的系统软件研发工作，在ASPLOS、MICRO、ICML、NeurIPS等顶级会议和期刊上发表论文10余篇。
张蕊 中国科学院计算技术研究所副研究员。研究方向为深度学习和处理器设计智能化，长期从事人工智能算法和软硬件协同相关的研究工作。先后在人工智能相关领域的国际顶级期刊和会议（包括IEEE Trans. on PAMI、NeurIPS、ICML、CVPR、ICCV、ICLR、AAAI、IJCAI等）上发表论文40余篇，申请专利20余项。多次荣获中国科学院计算技术研究所优秀科研人员称号。

目录<br />丛书序言<br />序言一<br />序言二<br />第 2 版前言<br />第 1 版前言<br />第 1 章 概述 1<br />1.1 人工智能1<br />1.1.1 什么是人工智能 1<br />1.1.2 人工智能的主要方法1<br />1.1.3 人工智能的发展历史5<br />1.2 智能计算系统 8<br />1.2.1 什么是智能计算系统8<br />1.2.2 为什么需要智能计算系统8<br />1.2.3 智能计算系统的发展9<br />1.3 驱动范例 12<br />1.4 本章小结 13<br />习题.14<br />第 2 章 深度学习基础15<br />2.1 机器学习 15<br />2.1.1 基本概念15<br />2.1.2 线性回归16<br />2.2 神经网络 19<br />2.2.1 感知机19<br />2.2.2 多层感知机 22<br />2.2.3 深度学习23<br />2.2.4 神经网络的发展历程24<br />2.3 神经网络的训练方法 26<br />2.3.1 正向传播26<br />2.3.2 反向传播29<br />2.4 神经网络的设计基础 30<br />2.4.1 网络的拓扑结构30<br />2.4.2 激活函数31<br />2.4.3 损失函数35<br />2.5 过拟合与正则化 38<br />2.5.1 过拟合38<br />2.5.2 正则化39<br />2.6 交叉验证 44<br />2.7 本章小结 46<br />习题 47<br />第 3 章 深度学习应用48<br />3.1 适合图像处理的卷积神经网络 48<br />3.1.1 卷积神经网络的总体结构 49<br />3.1.2 应用于图像分类的卷积神经<br />网络.60<br />3.1.3 应用于图像目标检测的卷积神#12;<br />XXI<br />经网络79<br />3.1.4 应用于图像生成的神经网络95<br />3.2 适合文本/语音处理的循环神经<br />网络110<br />3.2.1 RNN110<br />3.2.2 LSTM 114<br />3.2.3 GRU117<br />3.2.4 小结118<br />3.3 大模型118<br />3.3.1 Seq2Seq119<br />3.3.2 注意力机制120<br />3.3.3 Transformer124<br />3.3.4 自然语言处理大模型 126<br />3.3.5 图像处理和多模态大模型 139<br />3.3.6 基于大模型的智能体系统 152<br />3.3.7 小结156<br />3.4 神经网络的优化157<br />3.4.1 初始化方法158<br />3.4.2 梯度下降法159<br />3.4.3 动量法 163<br />3.4.4 二阶优化方法 164<br />3.4.5 自适应学习率算法165<br />3.5 神经网络量化 167<br />3.5.1 数据量化 169<br />3.5.2 神经网络量化过程173<br />3.5.3 神经网络量化应用174<br />3.5.4 神经网络的混合精度量化.175<br />3.5.5 大模型量化176<br />3.5.6 小结177<br />3.6 驱动范例 177<br />3.6.1 图像风格迁移简介177<br />3.6.2 基于卷积神经网络的图像风格<br />迁移算法 178<br />3.6.3 实时图像风格迁移算法 181<br />3.7 本章小结 182<br />习题 183<br />第 4 章 编程框架使用 184<br />4.1 编程框架概述 184<br />4.1.1 为什么需要编程框架 184<br />4.1.2 编程框架的发展历程 186<br />4.2 PyTorch 概述 187<br />4.3 PyTorch 编程模型及基本<br />用法188<br />4.3.1 NumPy 基础 188<br />4.3.2 张量194<br />4.3.3 操作202<br />4.3.4 计算图 206<br />4.4 基于 PyTorch 的模型推理<br />实现208<br />4.4.1 读取输入图像 210<br />4.4.2 构建神经网络 214<br />4.4.3 实例化神经网络模型 222<br />4.4.4 神经网络模型的调试 226<br />4.4.5 神经网络模型优化228<br />4.5 基于 PyTorch 的模型训练<br />实现231<br />4.5.1 加载训练数据集 231<br />4.5.2 模型训练 233<br />4.5.3 模型的保存与恢复239<br />4.6 驱动范例 241<br />4.6.1 加载依赖包241<br />4.6.2 加载并显示内容图像和<br />风格图像 242<br />4.6.3 创建输入图像 243<br />4.6.4 定义并计算损失函数 244<br />4.6.5 构建风格迁移算法247#12;<br />XXII<br />4.6.6 风格迁移算法运行248<br />4.7 本章小结 249<br />习题 249<br />第 5 章 编程框架原理 250<br />5.1 编程框架设计 250<br />5.1.1 设计原则 250<br />5.1.2 整体架构 251<br />5.2 计算图构建 252<br />5.2.1 正向计算图构建 253<br />5.2.2 反向计算图构建 256<br />5.3 计算图执行 260<br />5.3.1 设备管理 260<br />5.3.2 张量实现 262<br />5.3.3 算子执行 269<br />*5.4 深度学习编译 278<br />5.4.1 为什么需要深度学习编译 278<br />5.4.2 图层级编译优化 281<br />5.4.3 算子层级编译优化287<br />5.4.4 常见深度学习编译器 294<br />*5.5 分布式训练299<br />5.5.1 为什么需要分布式训练 300<br />5.5.2 分布式训练基础 300<br />5.5.3 分布式训练方法 305<br />5.5.4 分布式训练框架实现 312<br />5.6 本章小结 318<br />习题 319<br />第 6 章 面向深度学习的处理器原理320<br />6.1 通用处理器 320<br />6.1.1 通用处理器的执行原理 321<br />6.1.2 通用处理器的结构发展 323<br />6.1.3 通用处理器分析和优化 339<br />6.1.4 总结和讨论346<br />6.2 向量处理器 347<br />6.2.1 向量处理器的执行原理 347<br />6.2.2 向量处理器的结构发展 352<br />6.2.3 向量处理器分析和优化 359<br />6.2.4 总结和讨论363<br />6.3 深度学习处理器364<br />6.3.1 深度学习处理器的执行<br />原理364<br />6.3.2 深度学习处理器的结构<br />发展376<br />6.3.3 总结和讨论382<br />6.4 大规模深度学习处理器382<br />6.4.1 一致性访存模型 383<br />6.4.2 非一致性访存模型384<br />6.4.3 分形计算模型 386<br />6.4.4 深度学习处理器示例 386<br />6.5 本章小结 387<br />习题 387<br />第 7 章 深度学习处理器架构.389<br />7.1 计算389<br />7.1.1 矩阵运算单元 390<br />7.1.2 向量与标量单元 400<br />7.1.3 总结和讨论408<br />7.2 存储409<br />7.2.1 便笺存储器409<br />7.2.2 外部存储器访问 412<br />7.2.3 总结和讨论417<br />7.3 通信418<br />7.3.1 互联网络 419<br />7.3.2 集合通信原语 420<br />7.3.3 通信架构设计 424<br />7.3.4 总结和讨论426<br />*7.4 设计优化 426<br />7.4.1 变换427#12;<br />XXIII<br />7.4.2 压缩429<br />7.4.3 近似431<br />7.4.4 非传统结构和器件434<br />7.5 本章小结 437<br />习题 437<br />第 8 章 智能编程语言 439<br />8.1 为什么需要智能编程语言439<br />8.1.1 语义鸿沟 440<br />8.1.2 硬件鸿沟 442<br />8.1.3 平台鸿沟 445<br />8.1.4 小结445<br />8.2 智能计算系统抽象架构446<br />8.2.1 抽象硬件架构 447<br />8.2.2 典型智能计算系统447<br />8.2.3 控制模型 448<br />8.2.4 存储模型 449<br />8.2.5 计算模型 450<br />8.3 智能编程模型 450<br />8.3.1 异构编程 450<br />8.3.2 多核并行 452<br />8.3.3 存储空间 454<br />8.4 智能编程语言基础　455<br />8.4.1 语法概述 455<br />8.4.2 内建变量与内建函数 457<br />8.4.3 BCL 程序示例458<br />8.5 智能应用编程接口　459<br />8.5.1 核函数接口459<br />8.5.2 运行时接口460<br />8.5.3 使用示例 462<br />8.6 智能应用功能调试　465<br />8.6.1 功能调试方法 465<br />8.6.2 功能调试接口 470<br />8.6.3 功能调试工具 472<br />8.6.4 精度调试方法 474<br />8.6.5 功能调试实践 476<br />8.7 智能应用性能调优　483<br />8.7.1 性能分析工具 483<br />8.7.2 性能调优方法 489<br />8.8 智能编程语言的应用 495<br />8.8.1 高性能算子开发 496<br />8.8.2 编程框架算子开发502<br />8.9 本章小结 509<br />习题 509<br />第 9 章 大模型计算系统511<br />9.1 大模型算法分析512<br />9.2 大模型驱动范例：BLOOM 516<br />9.2.1 BLOOM-176B 模型 516<br />9.2.2 BLOOM-176B 运行平台517<br />9.2.3 BLOOM-176B 计算过程及<br />分析518<br />9.3 大模型系统软件524<br />9.3.1 训练场景 525<br />9.3.2 推理场景 530<br />9.4 大模型基础硬件534<br />9.4.1 大模型计算节点 534<br />9.4.2 大模型计算集群 538<br />9.5 本章小结 541<br />习题 541<br />参考文献 544<br />后记566