目　　录
前　言
第1章　认识大数据 1
1.1 信息爆炸 1
1.1.1 大数据时代 1
1.1.2 数据、信息与知识 2
1.1.3 数据的来源 3
1.2 大数据的概念与特征 4
1.2.1 大数据的概念 4
1.2.2 大数据的特征 4
1.2.3 大数据的类型 5
1.3 大数据的技术架构及处理技术 6
1.3.1 大数据的技术架构 6
1.3.2 大数据的处理技术 7
1.4 大数据处理的集成平台 7
1.5 工业大数据 8
1.5.1 工业大数据及其特征 8
1.5.2 工业大数据技术及应用 9
1.5.3 工业大数据面临的挑战 10
本章小结 12
阅读材料：啤酒与尿布 12
习题 12
第2章　大数据学科与职业 13
2.1 大数据学科 13
2.2 大数据专业人才培养方案 14
2.3 大数据职业道德 16
本章小结 18
阅读材料：道格 切特 18
习题 19
第3章　大数据生态系统 20
3.1 大数据生态系统概述 20
3.2 并行与分布式处理 21
3.2.1 并行处理 21
3.2.2 分布式处理 22
3.3 Hadoop 22
3.3.1 Hadoop概述 22
3.3.2 Hadoop生态圈 25
3.4 Spark 25
3.4.1 Spark概述 25
3.4.2 Spark生态圈 26
3.5 Storm 26
3.5.1 Storm概述 27
3.5.2 Storm集群架构与工作流程 27
本章小结 28
阅读材料：南森 马茨 28
习题 29
第4章　大数据采集与预处理 30
4.1 大数据采集与预处理概述 30
4.1.1 大数据采集技术 30
4.1.2 大数据预处理技术 32
4.2 大数据采集方法及工具 33
4.2.1 网络数据采集方法 33
4.2.2 系统日志采集方法 36
4.2.3 科研数据采集方法 40
4.2.4 关系型数据库数据采集方法 42
4.3 大数据预处理方法及工具 43
4.3.1 数据清洗 43
4.3.2 数据集成 45
4.3.3 数据归约 46
4.3.4 数据变换 49
本章小结 53
阅读材料：园中有金 53
习题 53
第5章　大数据存储 54
5.1 集中式存储与分布式存储 54
5.2 非结构化数据库 55
5.2.1 NewSQL 56
5.2.2 云数据库 56
5.2.3 HBase 57
5.2.4 MongoDB 58
5.3 数据仓库与OLAP 59
5.3.1 概述 59
5.3.2 基本架构 60
5.3.3 典型应用 62
本章小结 62
阅读材料：盘古系统 63
习题 63
第6章　大数据分析 64
6.1 大数据分析与商业智能 64
6.1.1 大数据与大数据分析 65
6.1.2 大数据分析的种类 66
6.2 大数据统计分析 67
6.2.1 分类问题 68
6.2.2 回归问题 72
6.2.3 聚类问题 74
6.2.4 人工神经网络 75
6.2.5 数据建模 80
6.3 大数据分析的应用与挑战 80
6.3.1 Web挖掘 81
6.3.2 文本挖掘 84
6.3.3 社会网络分析 87
6.3.4 智能制造中的数据分析 89
本章小结 89
阅读材料：贝叶斯 89
习题 90
第7章　大数据可视化 91
7.1 数据可视化概述 91
7.1.1 数据可视化的特点 91
7.1.2 数据可视化的典型应用 92
7.2 数据可视化的常用工具 92
7.2.1 Tableau 92
7.2.2 Matplotlib 93
7.2.3 ECharts 94
本章小结 95
阅读材料：马克 扎克伯格 95
习题 96
第8章　大数据技术的典型应用 97
8.1 案例一：大型工业设备实时监
测系统 97
8.1.1 集群部署与配置 97
8.1.2 数据表结构 101
8.2 案例二：基于MapReduce的
薪资核算 102
参考文献 107