大数据地理信息系统：原理、技术与应用

大数据GIS是新一代的地理信息系统，利用先进的信息技术，包括分布式存储、分布式计算、流数据处理、实时计算、数据挖掘和知识发现、动态可视化等方法，来应对空间大数据带来的挑战。大数据GIS是对传统GIS的颠覆，是GIS发展到大数据时代的全新产物。
大数据GIS的发展，将满足人们对于空间大数据管理、处理、可视化和分析需求，允许人们实时处理大规模的多源异构数据，并从中获取知识和智慧，实现数据驱动的问题解决方案和决策方案，使GIS软件能够应用于更多领域更广泛的应用，真正融入IT主流。
本书特色主题：
空间大数据的定义、类型和价值
大数据GIS的支撑技术：IT大数据技术、跨平台GIS技术与云-边-端一体化GIS技术
空间大数据技术与经典空间数据技术：存储、计算、流数据处理方案与可视化
大数据GIS基础软件：SuperMap的大数据GIS产品架构
大数据GIS应用涉及船舶、测绘、选址平台等7大领域
人工智能、物联网与GIS的未来

《大数据地理信息系统：原理、技术与应用》共5 部分10 章，从宏观角度介绍大数据GIS 的理论认知、技术研究、产品形态、部署实践、行业应用到未来发展趋势，以图文并茂、深入浅出的方式来介绍大数据GIS 的基础技术、核心技术以及跨行业应用，书中包含7 个大数据GIS 行业应用和近年获得中国地理信息工程金银奖的相关项目，具有非常强的可读性、参考性和可复制性。 尤其值得一提的是，本书在介绍核心技术时，从技术先进性、架构设计和核心原理进行深度剖析，首次详细介绍了如何将底层GIS 技术与开源分布式技术深入融合。另外，作者基于二十多年的丰富经验，率先梳理出GIS 技术、产业和应用发展的现状，勾画出GIS 与人工智能以及物联网相融合的蓝图。 《大数据地理信息系统：原理、技术与应用》结合理论与实践，产品到应用，既可以满足理论和学术参考的需求，又可以满足技术与实践的项目应用需求，对上百万GIS 从业人员和空间技术从业人员具有非常高的参考价值和指导意义。

钟耳顺
北京大学博士，中国科学院地理科学与资源研究所研究员、博士生导师。现任北京超图软件股份有限公司董事长，欧亚系统科学研究会理事长。长期从事地理信息系统技术研究与产业化工作，1997年创建超图公司，领导了SuperMap GIS基础软件的研发和产业化，并在数十个行业和上百个国家获广泛应用。主持国家重点科学研究项5项；获国家科技进步奖二等奖2项、省部级科技奖12项；发表论文100余篇，编写专著5部。

宋关福
中科院博士，教授级高工，国务院特殊津贴专家。现任北京超图软件股份有限公司公司总裁，中国测绘地理信息学会副理事长、中国地理信息产业协会副会长、北京软件行业协会副会长。长期从事地理信息系统技术研究与产业化工作，主持SuperMap GIS基础软件的研发和产业化，并在数十个行业和上百个国家获广泛应用。主持国家重点科学研究项目7项；获国家科技进步奖二等奖1项、省部级科技奖10项。获中国软件企业领军人物、科技北京百名领军人才培养工程、中国信息产业年度创新人物等荣誉。享受国务院政府特殊津贴。

汤国安
奥地利萨尔茨堡大学博士，南京师范大学二级教授，博士生导师。现任南京师范大学江苏省地理信息科学重点实验室主任。近年来，主要从事地理信息科学、GIS空间分析等方面的科学研究与教学工作。在数字地形分析、DEM不确定性、高保真DEM构建、黄土高原地貌等研究等方面进行了系统的探索。主持国家重点科学研究项目10余项，出版研究专著及教材16部，发表研究论文200余篇，获专利12项，以获奖人获省部级科学技术奖3项；主持了十余项教学改革项目，获国家精品课程、规划教材、特色专业以及教学团队，教改成果获两项国家教学成果奖、个人获*“高等学校教学名师奖”；中组部“万人计划”领军人才，享受国务院政府特殊津贴。

目　　录
第I 部分　原　　理
01  空间大数据   3
1.1　大数据时代来临   3
1.2　什么是空间大数据   6
1.3　空间大数据类型   10
1.4　空间大数据价值   12
1.5　本章小结   14
02  大数据GIS 概述   17
2.1　大数据时代GIS 面临的挑战   17
2.2　大数据GIS 技术体系   19
2.3　空间大数据技术   21
2.4　经典空间数据技术的分布式重构   27
2.5　大数据GIS 支撑技术   31
2.6　大数据GIS 应用与发展   34
2.7　本章小结   35
第II 部分　技　　术
03  大数据GIS 支撑技术   39
3.1　概述   39
3.2　IT 大数据技术   40
3.3　跨平台GIS 技术   65
3.4　云-边-端一体化GIS 技术   67
3.5　本章小结   69
04  空间大数据技术   71
4.1　概述   71
4.2　空间大数据存储   72
4.3　空间大数据计算   76
4.4　流数据处理方案   88
4.5　空间大数据可视化   92
4.6　本章小结   102
05  经典空间数据技术的分布式重构   105
5.1　概述   105
5.2　经典空间数据的分布式存储   107
5.3　经典空间数据的分布式处理与分析   112
5.4　经典空间数据的分布式可视化   119
5.5　本章小结   121
第III 部分　产品与应用
06  大数据GIS 基础软件   125
6.1　概述   125
6.2　SuperMap GIS 技术发展历程   125
6.3　SuperMap 大数据GIS 基础软件   128
6.4　本章小结   147
07  大数据地理信息系统应用   149
7.1　概述   149
7.2　船舶大数据监控系统简介   149
7.3　测绘部门大数据业务系统简介   156
7.4　地图慧大数据选址平台简介   162
7.5　大数据GIS 在其他领域中的应用   169
7.6　本章小结   175
第IV 部分　人工智能与GIS
08  地理信息系统发展展望   179
8.1　概述   179
8.2　人工智能浪潮   181
8.3　人工智能GIS 研究   183
8.4　人工智能GIS 基础软件发展方向   188
8.5　本章小结   190
第V 部分　大数据GIS 部署与开发实战
09  大数据GIS 应用快速入门   195
9.1　概述   195
9.2　存档数据应用   195
9.2　流数据应用   207
9.3　经典空间数据应用   216
9.4　本章小结   220
10  大数据GIS 应用进阶   221
10.1　HDFS 分布式存储管理   221
10.2　SuperMap 内置Apache Spark 集群的应用   238
10.3　SuperMap 嵌入独立Apache Spark 集群的应用   244
10.4　SuperMap iObjects for Spark 组件定制开发   250
10.5　本章小结   264

前　言
信息技术的每一次变革，都给GIS 的发展注入新的动力。在信息技术领域，以云计算(Cloud Computing)、大数据(Big Data)、物联网(IoT)、增强现实/ 虚拟现实(AR/VR)、人工智能(AI)和智能自动化(Intelligent Automation) 等为代表的先进技术，正在促进GIS 的技术形态变革和应用模式更新。
伴随着互联网、移动互联网和物联网等技术的快速发展，由移动终端、传感器、可穿戴设备和社交媒体等多源媒介产生的数据集合构成了大数据，具有海量规模、快速流转、多样性和价值密度低等特征。传统数据库软件工具难以满足对大数据的存储、管理、分析计算与可视化的需求。大数据隐含着人类活动的痕迹，可以反映社会活动的某些规律，蕴藏着巨大的应用潜力和能量，在社会经济中发挥着日益重要的作用。可以说，大数据是IT 产业继云计算之后的又一次重大技术变革。
大数据也是当下地理信息技术发展为重要的驱动力之一。一方面，具有或隐含空间位置信息的空间大数据，蕴含着地理空间特征和空间模式，为GIS 提供了新的数据源，驱动了GIS 理论、方法和技术的发展，赋予了GIS 新的生命力。另一方面，GIS 为空间大数据的存储、管理、分析挖掘和可视化等提供了强有力的技术支撑，空间大数据与传统基础地理信息数据结合，可以更好地反映地理要素的分布模式、趋势和相互关系，进而动态揭示人口迁移、商业活动及社会活动规律，助力决策支持，提升地理智慧。
近年来，空间大数据和大数据GIS 已经成为地理空间信息领域的一个热门课题。国内外学术界和产业界都对空间大数据做了大量研究，取得了丰富成果，为空间大数据应用提供了众多范例。如何有效地存储、挖掘和展示空间大数据，并使其成为GIS 基础软件的重要组成，为相关应用提供利器，是我们从事GIS 技术研究及产业化工作者的重要任务。
本书是近年来我们对大数据GIS 技术研究、开发和应用所做的总结，介绍了空间大数据的基础概念，探讨了空间大数据的分布式存储、计算和可视化等核心技术，解析如何实现GIS 与IT 大数据技术的深度融合，同时还介绍了大数据GIS 基础软件的产品形态和技术特征，并以SuperMap GIS 为例，为读者详细阐述如何构建一个满足不同应用场景的大数据地理信息系统应用基础框架。
我们的初衷是为读者提供一本大数据地理信息系统技术与实践的参考书，期望为更多GIS相关从业人员在大数据GIS 的行业应用建设中提供指导和帮助。本书也可以作为高等学校本科生和研究生的教学用书。
本书共包含五部分10 章。
第Ⅰ部分“原理”，包括第1 章和第2 章，主要介绍空间大数据的基础概念和典型类型，阐述空间大数据时代传统GIS 面临的挑战，结合GIS 软件的技术成熟度研究，推出大数据时代的GIS 技术体系，创新性地提出当前大数据GIS 技术包括空间大数据技术和经典空间数据技术的分布式重构两个技术发展思路，并简单介绍了各个发展思路的相关内容和技术支撑。
第Ⅱ部分“技术”，包括第3 章、第4 章和第5 章，从大数据GIS 支撑技术和大数据GIS核心技术两个维度，在技术层面上解析了整个大数据GIS 技术体系。其中，第3 章讲解大数据GIS 支撑技术( 主要包括IT 大数据技术、跨平台GIS 技术以及云- 边- 端一体化GIS技术) 如何为大数据GIS 核心技术的实现提供技术支撑。第4 章和第5 章分别针对空间大数据技术和经典空间数据技术的分布式重构两个技术发展思路，讲解如何实现GIS 各个核心环节与IT 大数据技术的深度融合，并介绍当前已经实现的技术成果。
第Ⅲ部分“产品与应用”，包括第6 章和第7 章，从组件底层开始，介绍了大数据GIS 技术原理和技术实现路线，同时介绍了GIS 服务器、GIS 运维管理器、GIS 门户、GIS 边缘服务器、GIS 端等各个产品的大数据技术特点和技术优势。第7 章根据前几章的介绍，读者已经对大数据GIS 有了非常直观的认识。本章主要结合典型的行业，介绍如何基于大数据GIS 技术为相关行业应用提供技术支持，为新型智慧城市、自然资源、公安、交通、商业等领域的应用建设需求，提供行业应用解决方案，并分享典型应用场景和相关功能，以供读者参考。
第Ⅳ部分“人工智能与GIS”，包括第8 章，主要分析了GIS 软件技术的几个发展方向，重点对大数据GIS 和人工智能的结合与未来应用进行了展望。
第Ⅴ部分“大数据GIS 部署与开发实战”，包括第9 章和第10 章，详细介绍了如何基于SuperMap GIS 9D (2019) 构建面向不同应用场景的大数据GIS 应用部署方案，从面向零基础读者的快速入门，到面向生产项目应用的复杂分布式环境构建，为读者呈现“Step by Step”的部署参考和实践验证，并提供了空间大数据基础组件的开发指导。
本书主创团队包括钟耳顺、宋关福、汤国安、李绍俊、李少华、蔡文文、曾志明、李闻昊、赵英琨、卢浩、云惟英、张永利、胡中南、肖睿、李艳丽和徐芳。编辑校对团队有刘宏恺、王丹、吴晓燕和王静静。在本书的编写过程中，我们得到了中国科学院地理科学与资源研究所鲁学军老师的大力帮助，在此表示感谢。
大数据GIS 技术还在不断发展之中，同时由于作者水平所限，书中难免存在不足和疏漏之处，恳请读者批评指正。

第2 章　大数据GIS 概述　
2.1　大数据时代GIS 面临的挑战
大数据不仅使世界认识到数据的重要性，更引发了社会各个行业领域的技术变革[1]。大数据时代GIS 的发展，主要体现在两个方面。
一方面，空间大数据的出现，要求GI S 变革现有技术体系。一直以来，GI S 以处理和分析精确的、位置相对固定的经典空间数据为目标，并不擅长处理具有L 5V 特征的空间大数据，尤其不擅长处理其中模糊、实时、海量、异构的泛化地理信息[2]。对空间大数据的存储、管理、分析、计算和可视化，是GIS 亟待提升的方向。
另一方面，GI S 擅长处理的，包括矢量和栅格等在内的经典空间数据，呈现出数据体量不断增长、时空尺度不断精细化的发展趋势。对这类数据的处理与分析，也要求GI S 在性能上有数量级的提升。
2.1.1　空间大数据带来的挑战
由于空间大数据的海量异构和实时等特征，GI S 在空间大数据的处理、存储、管理、空间分析与可视化方面，将面临以下挑战[3]。
首先，传统的数据存储与管理方式能力不足。建立在空间数据库之上的空间数据引擎在数据的集中存储和统一管理时代发挥了巨大的作用。但这种模式在应对数据格式不一致、数据内容不一致和时空尺度不一致等情况时[4]，存在适应性低、可扩展性差、高并发处理能力弱、数据互操作能力有限等问题。
第二，GIS 的计算能力严重不足。过去，采用多线程、多进程技术的任务划分和并行计算机制，以及建立在CUDA、OpenCL 等显卡技术上的并行计算引擎[5]，能够在同等数量级上提升数据的处理能力。但这类技术在处理空间大数据时，其计算能力出现了明显的性能瓶颈。
第三，流数据处理能力缺乏。当前，地理信息正在从以静态数据为主的应用逐渐转变为以流数据为主的应用。前者通常具有较长的时间延迟，对处理的时效性具有较大的容忍度，但若用于流数据应用，则无法支持连续的数据接入、动态的数据更新，也无法提供持续的数据处理分析与服务[6]。
第四，空间大数据分析方法缺乏。专门针对矢量、栅格等经典空间数据设计的分析算法，如地统计分析，在应用于空间大数据时，存在效率低、适应性不足等问题[7]。空间大数据的典型特征之一是数据价值密度低，类似“贫矿”，对“提炼技术”要求较高，需要发展新的空间大数据分析与挖掘技术。
另外，空间大数据中存在数据冗余、错误、缺失等问题，降低了数据的质量，需要预先进行数据的清洗和加工，以便于后续的分析和应用。