多模态信号处理是一个跨学科的领域，它涉及多个专业和领域的知识与技能。本书以讲授信号处理与分析基础知识以及多模态信号应用为主要目标，在阐述单模态信号处理与变换、系统特性与系统作用等理论的基础上，进一步介绍相关理论在语音、图像、高铁钢轨检测、脑电信号中的应用以及多模态信号融合处理的方法、技术和实现方法。本书辅以大量Python程序与应用案例,帮助学生更加直观地理解相关理论知识，提高学生运用知识解决工程领域相关问题的能力。全书共计11章，由基础篇和应用篇构成。基础篇共6章，主要阐述信号与系统的基本概念、基本理论与方法。应用篇共5章，主要从多模态信号处理的角度出发，介绍多模态信号处理、融合相关理论以及面向人工智能、机器视觉等新兴领域的应用。 　　本书可作为普通高校电气工程、电子信息工程、人工智能、机器人工程、通信工程、计算机科学与技术、智能制造、生物医学工程等专业，以及一些与多模态信号处理相关的交叉学科和领域，如认知科学、心理学、神经科学等领域相关专业的教材，也可作为以上学科和领域中专业人士的参考书。 　　本书配有电子课件、习题答案、教学视频、教学大纲、程序代码等教学资源，欢迎选用本书作教材的教师登录www.cmpedu.com注册后下载，或发邮件至jinacmp@163.com索取。 　　

高等院校教师

序
前言
基础篇信号处理与分析基础理论
第1章信号与系统的基本概念2
1.1信号的描述与分类3
1.1.1信号的描述3
1.1.2信号的分类4
1.2信号的基本处理与分析7
1.2.1信号的加减与乘除7
1.2.2信号的反转与平移8
1.2.3信号的尺度变换（横坐标展缩）9
1.2.4连续信号的微积分12
1.2.5离散信号的差分与求和12
1.2.6信号分析12
1.3典型信号13
1.3.1冲激信号与阶跃信号13
1.3.2指数信号与正弦信号17
1.3.3抽样信号18
1.4系统的描述与分类19
1.4.1系统的描述19
1.4.2系统的分类23
1.4.3系统分析26
习题与思考题27
第2章系统的时域分析30
2.1LTI系统的描述及特点30
2.1.1连续系统的数学描述30
2.1.2离散系统的数学描述31
2.2LTI连续系统的响应33
2.2.1微分方程经典解33
2.2.20-到0+的问题34
2.2.3零输入响应和零状态响应36
2.2.4冲激响应和阶跃响应39
2.3卷积积分41
2.3.1卷积积分的定义与计算42
2.3.2卷积积分的性质44
2.4LTI离散系统的响应47
2.4.1差分方程经典解47
2.4.2零输入响应与零状态响应49
2.4.3单位序列响应和单位阶跃响应51
2.5序列卷积和53
2.5.1卷积和的定义与计算53
2.5.2卷积和的性质56
2.5.3离散系统卷积和的分析方法56
习题与思考题57
第3章信号的频域分析60
3.1信号分解与傅里叶级数60
3.1.1信号的正交分解60
3.1.2周期信号的傅里叶级数形式62
3.1.3周期信号的频谱特点及带宽66
3.2傅里叶变换69
3.2.1非周期信号的分解与频谱69
3.2.2傅里叶变换的定义70
3.2.3傅里叶变换的性质70
3.3常用周期信号和非周期信号的傅里叶变换73
3.3.1周期信号的傅里叶变换与频谱73
3.3.2典型非周期信号的傅里叶变换与频谱76
3.4傅里叶逆变换81
3.5能量谱与功率谱84
3.6离散信号的傅里叶分析85
3.6.1周期序列的离散傅里叶级数85
3.6.2非周期序列的离散时间傅里叶变换87
3.6.3离散傅里叶变换88
习题与思考题89
第4章LTI系统频域分析93
4.1连续系统的频域分析93
4.1.1频率响应的定义93
4.1.2频率响应的求解95
4.1.3连续系统频域分析95
4.2无失真传输系统与理想低通滤波器98
4.2.1无失真传输系统98
4.2.2理想低通滤波器102
4.3采样定理110
4.3.1信号的采样110
4.3.2时域采样定理113
4.3.3频域采样定理115
4.3.4应用举例116
4.4离散系统的频域分析119
4.4.1离散系统的频率响应119
4.4.2频率响应和单位样值响应的计算120
习题与思考题121
第5章信号的拉普拉斯变换与z变换124
5.1连续信号的拉普拉斯变换124
5.1.1拉普拉斯变换的定义124
5.1.2单边拉普拉斯变换的性质126
5.1.3拉普拉斯逆变换129
5.2离散信号的z变换132
5.2.1z变换的定义132
5.2.2z变换的性质135
5.2.3逆z变换139
5.3拉普拉斯变换与z变换的特点及应用144
习题与思考题146
第6章系统的变换域分析149
6.1LTI连续系统的复频域分析149
6.1.1LTI连续系统的复频域模型149
6.1.2LTI连续系统的复频域分析152
6.2LTI离散系统的z域分析156
6.2.1LTI离散系统的z域模型157
6.2.2LTI离散系统的z域分析160
6.3系统函数与系统特性161
6.3.1系统函数的零极点分布162
6.3.2系统函数与时域响应163
6.3.3系统的因果性与稳定性165
6.4信号流图与系统结构167
6.4.1信号流图167
6.4.2系统结构170
习题与思考题175
应用篇多模态信号处理及应用
第7章多模态信号处理179
7.1多模态信号处理的概念179
7.2多模态信号处理模型181
7.2.1线性回归182
7.2.2随机森林183
7.2.3支持向量机184
7.2.4稀疏表示185
7.2.5卷积神经网络186
7.2.6Transformer模型191
7.2.7多模态大模型196
7.3多模态信号处理技术199
7.3.1多模态融合199
7.3.2多模态增强201
7.3.3多模态识别202
7.3.4多模态转换204
7.4多模态信号处理技术的应用领域205
第8章在多模态图像处理中的应用207
8.1多模态图像概述207
8.1.1多模态图像成像207
8.1.2图像基本要素210
8.1.3图像处理系统的基本组成214
8.2图像的基本处理216
8.2.1图像滤波216
8.2.2图像增强219
8.2.3图像恢复221
8.2.4图像分割222
8.3多模态医学图像的应用226
8.3.1医学图像配准227
8.3.2医学图像分割230
8.3.3医学图像诊断232
第9章语音信号处理、识别与多模态融合应用235
9.1语音信号采集与预处理235
9.1.1语音信号采集236
9.1.2语音信号预处理236
9.2短时语音信号的时域与频域特征分析239
9.2.1时域特征分析239
9.2.2频域特征分析241
9.3语音识别241
9.3.1语音信号端点检测241
9.3.2基于DTW的语音识别242
9.3.3基于深度学习的语音识别246
9.4基于多模态融合的语音分离249
9.4.1纯语音分离原理249
9.4.2多模态语音分离252
第10章在高速铁路轨道检测中的应用256
10.1高铁钢轨磨耗的典型检测方法256
10.1.1断面轮廓检测257
10.1.2钢轨波磨检测259
10.2傅里叶变换理论在弦测法中的应用261
10.2.1两点弦测法261
10.2.2三点弦测法262
10.3钢轨表面缺陷与机器视觉识别方法265
10.4多模态融合的钢轨表面磨耗检测266
第11章融合脑电信号的处理及应用270
11.1脑电信号概述270
11.1.1脑电信号的频域特点270
11.1.2脑电信号的采集方法271
11.1.3脑电信号分析的用途272
11.2脑电信号采集前端电路与系统分析272
11.2.1脑电信号采集前端电路原理框图272
11.2.2前端电路设计与系统分析273
11.3脑电信号后端处理278
11.3.1视觉诱发脑电信号的处理278
11.3.2脑机接口信号的处理283
11.4融合脑电信号的情感识别285
11.4.1基本概念285
11.4.2多模态信号数据集286
11.4.3脑电信号与人脸图像融合情感识别288
11.4.4融合脑电信号的多模态信号处理领域290
参考文献292