大数据分布式并行处理技术——基于天云星数据库的交通管理大数据处理

本书立足于当前公安交通管理领域利用Hadoop技术在处理非互联网行业大数据时存在的低效问题，基于天云星数据库(SCSDB)对结构化大数据分布式并行处理技术进行了介绍。全书共7章，主要内容包括概论、天云星数据库基础、数据库对象管理、SCSDB安全管理、SCSDB备份与还原、数据库监控与调优、数据导入与导出。在介绍理论知识的同时，本书在文中还穿插了公安交通管理大数据处理应用案例。

本书适用于高校计算机科学与技术、交通信息工程及控制、智能交通技术等专业，也可供大数据、软件工程、人工智能等领域的专业技术人员参考。

伴随着以互联网、即时通信与智能终端等为代表的新一代信息技术的飞速发展及广泛应用，各行各业累积的数据开始爆炸式增长，在此背景下诞生了大数据(Big Data)概念。随着大数据概念从提出到落地，大数据产业即以一日千里的速度向前发展。全球多家权威机构统计，大数据产业正在迎来黄金发展时期。据互联网数据中心(Internet Data Center，IDC)预计，大数据和分析市场将从2016年的1300亿美元增长到2020年的2030亿美元以上；中国报告大厅发布的大数据行业报告表明，自2017年起，我国大数据产业迎来飞速发展，未来2～3年的市场规模增长率将保持在35%左右。

在各个大数据细分领域中，公安交通管理行业所生成的交通大数据占据了重要地位。我国于20世纪90年代开始大力发展城市智能交通系统，从国家到地方高度重视，到目前为止基本建立起覆盖道路、轨道、水运等交通运输方式在内的多模式智能交通系统(Intelligent Transportation System，ITS)。以城市道路交通管理与控制为例，我国绝大部分城市已经建立了较完善的视频监控、交通检测、信号控制、交通诱导、车辆导航等智能化交通管控系统。这些系统每天将产生超过拍字节(PB)级的交通大数据，如何对这些交通大数据进行“加工”处理，从中挖掘出有用的“知识”，为诸如路况预测、风险规避、交通救援、事故鉴定等业务应用提供“增值”服务，是我国目前交通管理大数据亟待研究解决的重要课题。

与其他行业如电子商务、互联网页等产生的大数据相比，公安交通管理行业不仅包含海量的非结构化数据(如交通图像、违法视频等)，还包含海量的结构化数据。因此，针对公安交通管理大数据的数据采集、数据存储、数据挖掘与数据分析等大数据技术开发，需要进一步结合行业应用展开。针对Hadoop技术在处理非互联网行业(如政府、企业等)大数据时存在的低效问题，本书基于天云星数据库(SCSDB)在城市道路公安交通管理结构化大数据处理中的实战案例，重点对城市道路交通警务结构化大数据处理技术进行了分析论述。

全书分为7章。第1章为概论，主要包括大数据发展概况、大数据技术架构、大数据关键技术以及公安交通管理大数据概述；第2章介绍了天云星数据库基础，主要包括天云星数据库概述、天云星数据库安装、天云星数据库运维和管理；第3章介绍了数据库对象管理，包括数据库对象的命名规则、数据库管理、数据表管理、索引管理、视图管理和序列号管理；第4章介绍了SCSDB安全管理，主要包括SCSDB账户管理、SCSDB权限管理和数据库审计；第5章介绍了SCSDB备份与还原，主要包括SCSDB实时备份机制和SCSDB冷备份；第6章介绍了数据库监控与调优，主要包括系统监控、数据库监控、数据库调优以及公安交通大数据应用案例；第7章介绍了数据导入与导出，主要包括使用SOURCE命令导入数据、使用重定向功能导出数据、使用LOAD DATA命令导入数据、使用易镜进行数据的导入和导出、使用SYNCD进行数据同步以及使用Kettle进行数据抽取。为方便读者阅读，本书后提供了两个附录文件，一个是SCSDB的数据类型，另一个是公安交通警务大数据案例表结构。