面向高端制造领域的大数据管理系统

本书介绍“工业大数据管理系统”的重要构件，包括多模态异构数据源管理引擎、语义融合与一体化管理、运维工具与测试床等。

本书是“十三五”国家重点研发计划“云计算和大数据”专项“面向高端制造领域的大数据管理系统”项目的研究成果。全书共25章，分为导论篇、多模态异构数据源管理引擎篇、语义融合与一体化管理引擎篇、运维工具篇、测试篇和应用篇，紧密围绕我国先进制造发展的需求和国际大数据管理技术的前沿，在工业大数据一体化管理体系架构、多模态异构数据管理、语义融合与协同优化、运维工具与测试床等多个方面论述了本项目的重要成果。 本书可供高端制造企业大数据管理和工业大数据管理领域的科研、开发和运维人员阅读。

该书各章节均由我国著名高等学府与产业界领袖合作完成。

第1篇导论篇
第1章什么是工业大数据3
1.1工业大数据的定义3
1.2确定性与不确定性并存3
1.34V特征4
1.4多模态、强关联、高通量5
1.5应用特征5
本章参考文献7

第2章发展动态与现实需求8
2.1国际动态8
2.2国内现状9
2.3现实需求10
本章参考文献11

第3章系统架构与关键技术12
3.1工业大数据技术架构12
3.2工业大数据管理系统架构14
3.3工业大数据管理关键技术15
本章参考文献16
第2篇多模态异构数据源管理引擎篇
第4章高通量监测时序数据管理引擎19
4.1概述19
4.2需求19
4.2.1时序数据19
4.2.2应用场景19
4.2.3功能需求20
4.2.4现有工作21
4.3系统设计21
4.3.1系统架构21
4.3.2系统特点22
4.3.3数据模型23
4.3.4编码压缩23
4.3.5查询功能23
4.4技术实现25
4.4.1TsFile文件格式25
4.4.2存储引擎26
4.4.3查询引擎26
4.5性能27
4.5.1性能概述27
4.5.2测试结果27
4.6本章小结32
本章参考文献33
面向高端制造领域的大数据管理系统目录
第5章海量非结构化仿真数据管理引擎34
5.1概述34
5.2需求34
5.2.1应用场景34
5.2.2相关工作36
5.2.3需求描述36
5.3方法设计39
5.3.1系统框架执行原理39
5.3.2系统管理者模块40
5.3.3元数据存储模块40
5.3.4非结构化数据存储模块41
5.4技术实现41
5.4.1小文件管理策略42
5.4.2查询语法43
5.5性能48
5.5.1Benchmark测试48
5.5.2ImageNet测试49
5.6本章小结50
本章参考文献51

第6章BOM图数据管理引擎52
6.1概述52
6.2需求52
6.2.1BOM数据的建模需求52
6.2.2BOM数据的查询需求56
6.2.3需求小结62
6.3方法设计63
6.3.1以BOM为核心的产品生命周期信息闭环模型设计思想63
6.3.2结构化数据集成64
6.3.3非结构化数据集成67
6.3.4信息闭环的应用场景70
6.4技术实现74
6.4.1系统架构74
6.4.2功能结构实现75
6.5性能81
6.5.1数据准备81
6.5.2数据导入81
6.5.3应用案例82
6.6本章小结83
本章参考文献83

第7章BOM图数据模式匹配算法85
7.1概述85
7.2需求85
7.3相关工作88
7.3.1图同构查询88
7.3.2分布式图计算框架88
7.3.3分布式图模式匹配89
7.4方法设计89
7.4.1系统整体架构89
7.4.2查询计划SSD的构造90
7.4.3消息传递规则构建92
7.4.4消息传递规则附加到数据节点94
7.4.5查询计划的执行94
7.4.6方法分析96
7.5性能97
7.5.1实验设置97
7.5.2优化策略分析98
7.5.3可扩展性分析99
7.5.4相关方法对比分析100
7.6本章小结101
本章参考文献101

第8章BOM图数据测试与分析算法103
8.1概述103
8.2需求103
8.3方法设计105
8.4技术实现106
8.4.1社区发现106
8.4.2介数中心度计算111
8.4.3图数据库管理系统测试117
8.5效果与特色117
8.5.1界面展示117
8.5.2社区发现效率119
8.5.3介数中心度更新效率120
8.6本章小结123
本章参考文献123
第3篇语义融合与一体化管理引擎篇
第9章数据融合与一体化数据查询模型127
9.1概述127
9.2需求127
9.2.1数据集成128
9.2.2面向多源异构数据的统一数据操作接口规范130
9.3模型设计与实现130
9.3.1数据源130
9.3.2数据模式131
9.4本章小结133
本章参考文献133

第10章数据融合与一体化数据查询调度135
10.1概述135
10.2需求135
10.2.1查询语言统一问题135
10.2.2跨引擎访问切换问题136
10.2.3跨引擎查询执行效率问题136
10.3方法设计137
10.3.1设计思想137
10.3.2元数据模式信息138
10.3.3架构设计139
10.4技术实现140
10.4.1整体框架140
10.4.2语法设计141
10.4.3词法、语法与语义模块143
10.4.4元数据管理模块144
10.4.5计划与整合规则生成模块145
10.4.6执行器模块146
10.4.7结果整合模块和JSON转换模块146
10.5性能146
10.5.1首页146
10.5.2数据源147
10.5.3映射模式147
10.5.4数据集信息148
10.5.5数据查询149
10.6本章小结150
本章参考文献150

第11章语义融合中的实体抽取与关联151
11.1概述151
11.2需求151
11.3方法设计152
11.3.1方法概述152
11.3.2候选样本提取与特征选择方法153
11.3.3基于标签函数的标签推断方法154
11.3.4基于专家委员会的主动学习交互方法155
11.3.5标签函数构造方法156
11.4技术实现160
11.4.1概述160
11.4.2数据结构160
11.4.3实现细节161
11.4.4外部接口161
11.5性能162
11.5.1实体挖掘模块成果162
11.5.2实体抽取系统性能162
11.6本章小结163
本章参考文献163第12章语义融合与一体化语义查询实现165
12.1概述165
12.2需求165
12.3方法设计166
12.3.1方法概述166
12.3.2时序模式生成算法166
12.3.3文本匹配方法167
12.3.4时间序列的模式匹配算法168
12.4技术实现169
12.4.1组件选取169
12.4.2数据结构与预处理171
12.4.3系统实现174
12.4.4外部接口175
12.5性能176
12.5.1被测系统简介176
12.5.2测试环境介绍177
12.5.3测试方法177
12.5.4测试内容178
12.5.5测试结果179
12.6本章小结179
本章参考文献179
第4篇运维工具篇
第13章性能监控工具183
13.1概述183
13.2需求183
13.3模型设计183
13.3.1数据库监控模块185
13.3.2硬件监控模块186
13.3.3集群监控模块188
13.3.4Docker监控模块189
13.4技术实现189
13.4.1数据采集189
13.4.2监控数据处理与可视化193
13.4.3异常检测194
13.4.4历史任务评价197
13.5效果与优势198
13.5.1监控效果演示198
13.5.2与相关工具相比的优势199
13.6本章小结200
本章参考文献200

第14章系统调优工具202
14.1概述202
14.2需求202
14.3方法设计203
14.3.1关系型数据库调优工具设计203
14.3.2键值数据库调优工具设计204
14.3.3时间序列数据库调优工具设计204
14.3.4Apache Spark分布式数据处理平台调优工具设计206
14.4技术实现208
14.4.1关系型数据库调优工具实现208
14.4.2键值数据库调优工具实现209
14.4.3时间序列数据库调优工具实现212
14.4.4Apache Spark分布式数据处理平台调优工具实现215
14.5性能217
14.6本章小结219
本章参考文献219

第15章资源规划和调度工具222
15.1概述222
15.2需求222
15.2.1功能需求222
15.2.2挑战224
15.3方法设计224
15.3.1系统结构224
15.3.2数据持久化227
15.3.3资源的规划和调度230
15.3.4资源动态伸缩机制231
15.3.5资源预估机制233
15.3.6资源管理系统界面233
15.4系统实现234
15.4.1共享存储的集成235
15.4.2时序数据库管理引擎的集成239
15.4.3结构化数据库管理引擎的集成242
15.4.4键值数据库管理引擎的集成244
15.4.5BOM图数据库管理引擎的集成246
15.4.6非结构化数据库管理引擎的集成251
15.4.7自定义调度器的实现254
15.4.8资源动态伸缩机制的实现259
15.4.9资源预估机制的实现263
15.5性能与优势265
15.6本章小结270
本章参考文献271

第16章数据备份与容灾工具273
16.1概述273
16.2需求273
16.2.1术语解释273
16.2.2系统需求274
16.3相关工作275
16.3.1请求分发模块276
16.3.2用户命令处理模块277
16.3.3磁盘I/O管理模块277
16.3.4远程传输模块280
16.3.5监听模块283
16.3.6主从角色互换模块284
16.3.7远程复制灾难恢复模块284
16.3.8连续数据备份模块286
16.3.9连续数据恢复模块286
16.4本章小结290
本章参考文献290

第17章故障诊断与修复工具292
17.1概述292
17.2需求292
17.3方法设计293
17.3.1总体框架293
17.3.2功能设计294
17.4技术实现296
17.4.1系统结构296
17.4.2图形用户界面312
17.5性能318
17.5.1集群组件监控模块318
17.5.2规则检测模块323
17.5.3日志检测模块324
17.5.4故障诊断与报警模块325
17.6本章小结325
本章参考文献325

第18章数据清洗工具327
18.1概述327
18.2需求327
18.2.1需求分析327
18.2.2总体设计328
18.3方法设计328
18.3.1不完整或不精确数据修复模块328
18.3.2不一致数据中的错列检测与修复模块328
18.3.3异常区间检测与修复模块330
18.4技术实现330
18.4.1不完整或不精确数据修复模块330
18.4.2错列检测与修复模块333
18.4.3异常区间检测与修复333
18.5性能335
18.5.1不完整或不精确数据修复实验结果335
18.5.2错列检测与修复实验结果337
18.5.3异常片段检测与修复实验结果339
18.6本章小结340
本章参考文献340
第5篇测试篇
第19章高通量监测时序数据管理引擎测试基准与工具345
19.1概述345
19.2需求345
19.2.1现有测试基准和工具345
19.2.2应用场景需求描述346
19.3方法设计348
19.3.1数据模型348
19.3.2性能指标349
19.3.3负载模型350
19.4技术实现352
19.4.1评测方案352
19.4.2评测工具的设计和实现352
19.5评测方式和结果354
19.6本章小结356
本章参考文献357

第20章BOM图数据管理引擎测试基准与工具359
20.1概述359
20.2需求360
20.2.1分析360
20.2.2功能360
20.2.3挑战360
20.3方法设计361
20.3.1数据模型分析与设计361
20.3.2数据生成器的设计363
20.3.3查询负载生成器的设计367
20.4技术实现369
20.4.1数据生成器的实现369
20.4.2数据负载生成器的实现373
20.5性能374
20.5.1数据生成器生成的图数据374
20.5.2负载生成器生成的负载374
20.5.3进行测试375
20.5.4基准评价体系设计与建立376
20.6本章小结377
本章参考文献377

第21章海量非结构化工程数据管理引擎测试基准与工具378
21.1概述378
21.2需求378
21.2.1需求概述378
21.2.2基准概述380
21.3模型设计380
21.3.1模型设计概述380
21.3.2数据模型380
21.3.3负载模型383
21.4技术实现385
21.4.1评测系统设计385
21.4.2数据生成部分387
21.4.3负载测试部分392
21.4.4结果显示部分394
21.5特点395
21.6本章小结396
本章参考文献396
第6篇应用篇
第22章支持航天航空装备创新研制的大数据挖掘与分析平台401
22.1概述401
22.2需求401
22.2.1气动特性分析需求402
22.2.2气动热数据分析需求402
22.2.3载荷与环境相关数据分析需求403
22.3方法设计403
22.3.1总体架构403
22.3.2气动特性挖掘算法库405
22.4技术实现407
22.4.1气动规律分析407
22.4.2气动不确定度挖掘416
22.5性能及优势419
22.6本章小结419
本章参考文献419

第23章民机协同大数据设计平台421
23.1概述421
23.2需求421
23.3方法设计422
23.4技术实现424
23.4.1数据接入与存储424
23.4.2数据融合424
23.4.3预研流程与数据协同425
23.5性能426
23.5.1客机多参数综合分析优化平台427
23.5.2中心数据库435
23.5.3基于快速数值分析方法的机翼气动/结构等多学科设计优化软件437
23.6本章小结442
本章参考文献442

第24章基于风电大数据平台的风电场智能运维与设计443
24.1概述443
24.2现状443
24.2.1风电场运维业务现状443
24.2.2风电场设计现状444
24.3平台设计445
24.3.1风电大数据平台总体设计445
24.3.2风电场智能运维服务系统设计446
24.3.3风电厂定制化设计系统设计447
24.4技术方案450
24.4.1风电大数据平台技术方案450
24.4.2风电场智能运维系统技术方案456
24.4.3基于大数据的开放式风电场定制化设计关键技术457
24.5性能459
24.6本章小结460
本章参考文献461

第25章风电装备全生命周期绿色供应链管理462
25.1概述462
25.2应用背景与建设目标462
25.2.1风电绿色供应链建设现状462
25.2.2风电绿色供应链建设需求464
25.2.3风电装备全生命周期绿色供应链管理数据需求466
25.2.4风电绿色供应链建设目标466
25.3风电装备绿色供应链管理的设计467
25.3.1总体任务467
25.3.2总体设计467
25.4技术方案468
25.4.1技术路线468
25.4.2平台建设472
25.4.3关键技术479
25.5性能480
25.5.1特色与优势480
25.5.2经济效益480
25.5.3社会效益481
25.6本章小结482
本章参考文献482

寄语484

两百多年来的人类工业文明正在新兴信息通信技术的驱动下发生着深刻的变化。今天，智能制造正在成为新兴信息通信技术与新一代工业革命蓬勃发展的历史交汇点，是现代社会挺进数字经济时代的主战场。
改革开放四十多年来，我国制造业尽管取得了举世瞩目的成就，但是，在国际产业链分工中总体上仍处于低端地位的状况却没有得到根本改变。因此，抓住新工业革命与信息技术融合发展的历史机遇，大力推进智能制造，全面推动工业互联网的发展，已成为我国重要的战略部署。
作为智能制造、工业互联网中关键生产要素的工业大数据及其管理技术与系统则成为高端制造数字化转型发展的赋能力量。
工业大数据管理系统作为工业大数据软件的核心要件之一，能使工业大数据软件具备高通量数据的采集能力、多模态数据的管理能力和超强关联数据的集成查询能力，可为工业大数据的应用研制提供关键支撑。
在“十三五”国家重点研发计划“云计算和大数据”的专项攻坚战中，“面向高端制造领域的大数据管理系统”项目的参研单位紧密围绕我国先进制造发展的需求和国际大数据管理技术的前沿，分工合作，协同攻关，在工业大数据一体化管理体系架构、典型数据管理引擎、系统监控与数据质量工具、工业大数据测试基准及工具等多个方面取得了重要进展，收获颇丰，遂汇聚成书，以供同仁参考学习并请批评指正。

王建民

清华大学2021年3月