基于移动通信大数据的城市计算

本书作者阵容非常强大，四位作者分别来自于中国联合网络通信有限公司深圳市分公司、深圳北斗应用技术研究院有限公司和清华大学，是智慧城市方面的专家和学者。 

本书囊括了智慧城市、城市计算及移动通信大数据等概念和理论的相关背景知识，详细阐释了结合移动通信数据进行城市计算的全部处理过程。本书结合基于移动通信大数据的城市计算应用实践案例从多个角度研究城市计算问题。

本书共7章，涵盖了智慧城市与城市计算、基于移动通信大数据的城市计算理论及现状、移动通信网络数据采集、面向城市计算的移动通信大数据分析、大数据计算平台与工具、基于移动通信大数据的城市计算应用实践、城市计算在智慧城市中的未来发展等内容。 第1章阐述了智慧城市与城市计算的宏观联系，介绍了智慧城市的概念、目标和架构，提出在构建智慧城市过程中可以充分借力城市计算。 第2章阐述了基于移动通信大数据的城市计算理论及现状，介绍了城市计算的兴起，分析了城市计算的通用研究框架，总结了基于移动通信的城市计算应用的现状和难点。 第3章深入阐述了移动通信网络数据的采集，论述了移动通信网络的演进、移动通信网络架构与协议、移动数据采集、移动数据管理等领域。 第4章阐述了面向城市计算的移动通信大数据分析方法，针对当前基于移动通信大数据的城市计算相关核心算法进行了介绍，包括聚类分析、分类分析、回归分析、协同过滤、张量分析、深度学习等。 第5章阐述了在工程实践中经常使用到的大数据计算平台及相关工具技术，包括Hadoop、Hive及HBase，详细阐释了其定义、原理及使用方式。 第6章阐述了一个典型的基于移动通信大数据的城市计算应用实践案例，对一个具有普适应用意义的基础研究项目进行了技术性详尽阐述。从数据处理、数据分析、系统展示等方面对在实际项目实施过程中遇到的问题进行了诠释，从多个视点对基于移动通信大数据的城市计算的优势和成果进行了展示。 第7章在基于移动通信大数据的城市计算实践基础上，对城市计算在智慧城市中的应用发展进行了展望，对智慧城市、城市计算的未来进行了设想，并针对可能出现的问题及挑战进行了探讨。

城市计算以城市大数据为背景，将城市中发生的所有活动和信息进行融合，涉及计算机、城市规划、交通、通信等多个领域，是智慧城市建设的核心、关键环节。

 本书囊括了智慧城市、城市计算及移动通信大数据等概念和理论的相关背景知识，详细阐释了结合移动通信数据进行城市计算的全部处理过程——从采集、预处理、分析挖掘直至构建相应大数据平台，对其中每个环节在工程实践中常用的相关工具和技术进行了讲解。此外，结合典型的基于真实移动通信大数据的城市计算应用实践案例，从数据处理、数据分析、系统展示等方面进行了详尽的技术性阐述，并对在实际项目实施过程中遇到的问题进行了诠释，从多个视角对基于移动通信大数据的城市计算的优势和成果进行了展示。后，在基于移动通信大数据的城市计算实践基础上，对城市计算在智慧城市中的应用发展进行了展望，对智慧城市、城市计算的未来进行了设想，并针对可能出现的问题及挑战进行了探讨。

本书适用于城市计算相关专业的本科生或研究生对相关领域知识的学习、学术或工程技术探索，也适用于业内希望使用相关技术进行开发工作的工程师，以及相关领域研究者借鉴和参考。

吴乃星 博士，教授级高级工程师，智慧城市规划师。2005年毕业于北京邮电大学，获计算机应用技术博士学位。目前供职于中国联合网络通信集团有限公司深圳市分公司，任智慧城市总监。

在通信和计算机技术领域从事研究和工程实践20年，主持和参与的国家863计划项目、“九五”科技攻关计划项目、国家重点基础研究课题及企业级科技项目超过25项，是深圳市重大技术攻关项目的主持者。在国家一级学术期刊及国家核心期刊上发表论文27篇。作为主要发明者，已提交、授权的国家发明专利6项。荣获“2015年辽宁省科技进步二等奖”、“深圳市国*70周年计算机科技奖章”。

目前, 被深圳市政府聘任为深圳市新型智慧城市专家委员会专家，被中共深圳市委聘任为深圳市网络与信息安全专家委员会专家，是深圳市科技创新委员会“重大科技计划项目”专家,同时担任深圳市科学技术协会、深圳市发展和改革委员会、财政委员会、交通运输委员会专家。

张 瑞 博士，深圳北斗应用技术研究院院长，中国科学院深圳先进技术研究院计算机科学与技术专业博士后。毕业于华中科技大学，获通信与信息系统专业硕士学位，管理科学与工程专业博士学位。

长期从事大数据、智能交通与智慧城市等领域的研究和开发工作。主持建设广东省新型研发机构，主持和参与国家973计划、科技部国家重点研发计划、国家自然科学基金以及深圳市科技创新委员会、深圳市交通运输委员会、深圳市规划和国土资源委员会、深圳市海洋局大数据类项目20余项。主持的项目入选广东省经济和信息化委员会2015年大数据应用示范项目、“粤治-治理现代化”2016-2017年大数据与公共服务类优秀案例。发表相关的SCI/EI检索论文10余篇，申请相关发明专利20余项。获得2019年中国智能交通协会科学技术三等奖。

汤长猛 高级工程师，1996年毕业于北京邮电大学，获电子与信息工程硕士学位。供职于中国联合网络通信有限公司深圳分公司，任政企客户支撑响应中心经理。 在电信行业从事工程建设、新技术开发、市场营销工作20多年。参与多项企业新技术、新产品开发，尤其专注于基于移动通信技术的行业应用的研究和开发。

李 力 博士，清华大学自动化系副教授、博士生导师。现为IEEE Fellow，中国自动化学会会士，中国自动化学会青年工作委员会副秘书长，IEEE智能交通协会协同驾驶技术专委会主席。

长期从事人工智能、智能汽车与智能交通等领域科研工作。以第一或通信作者在国际权威期刊发表SCI检索论文90余篇，Elsevier中国高被引学者（2017年、2018年）。现任IEEE Transactions on Intelligent Transportation Systems副编辑、Transportation Research Part C: Emerging Technologies编委、《自动化学报》编委。获中国自动化学会青年科学家奖（2018年）、教育部自然科学二等奖（2016年，第一完成人）、中国智能交通协会科学技术二等奖（2012年，第二完成人），多次获得国际知名期刊和国际会议佳论文奖。

第1章智慧城市与城市计算(1)
1.1智慧城市的概念、目标和架构(1)
1.1.1公共基础设施(2)
1.1.2通用功能设施(2)
1.1.3业务应用(2)
1.1.4网络安全空间(4)
1.1.5体制机制与标准规范体系(4)
1.2利用城市计算构建智慧城市(4)
第2章基于移动通信大数据的城市计算理论及现状(6)
2.1城市计算技术(6)
2.1.1城市计算的兴起(6)
2.1.2城市计算的研究(6)
2.2移动通信基站定位技术及其应用现状(12)
2.2.1移动通信基站定位技术原理(12)
2.2.2移动通信基站定位技术应用现状(15)
2.3基于移动通信大数据的城市计算(17)
2.3.1移动通信大数据在城市计算中的应用现状(17)
2.3.2移动通信大数据在城市计算中的应用难点(18)
第3章移动通信网络数据采集(20)
3.1移动通信网络(20)
3.1.1移动通信网络的演进(20)
3.1.2移动通信系统的基本网络结构(24)
3.1.3移动通信网络的关键接口与协议(28)
3.2移动通信数据采集基本原理(33)
3.2.1移动通信的数据与分类应用(33)
3.2.2移动通信信令与协议(34)
3.2.3移动通信基本通信流程(35)
3.2.4话单及信令数据采集(40)
3.3移动通信数据的获取与预处理(44)
3.3.1数据获取(44)
3.3.2数据预处理及数据管理(45)
第4章面向城市计算的移动通信数据分析(49)
4.1面向城市计算的基础数据挖掘技术(49)
4.1.1数据挖掘(49)
4.1.2聚类分析(50)
4.1.3分类分析(52)
4.1.4回归分析(56)
4.2面向城市计算的高级机器学习技术(59)
4.2.1机器学习(59)
4.2.2协同过滤(60)
4.2.3矩阵分解(63)
4.2.4张量分析(65)
4.2.5概率图模型(67)
4.2.6深度学习(68)
4.2.7强化学习(72)
4.2.8集成学习(74)
4.2.9迁移学习(77)
4.3交叉领域知识融合(79)
基于移动通信大数据的城市计算目录第5章移动通信大数据计算平台(81)
5.1Hadoop概述(81)
5.1.1Hadoop的历史(81)
5.1.2Hadoop的定义(82)
5.1.3Hadoop的构成模块(85)
5.1.4Hadoop的生态系统(89)
5.1.5Hadoop的分布式系统(90)
5.1.6Hadoop与SQL数据库(91)
5.2Hadoop原理(92)
5.2.1HDFS原理(92)
5.2.2Hadoop MapReduce原理(94)
5.2.3Hadoop YARN原理(96)
5.3Hive介绍及原理(99)
5.3.1Hive简介(99)
5.3.2Hive架构(100)
5.3.3Hive的数据模型(102)
5.3.4Hive工作原理(105)
5.4HBase介绍及原理(105)
5.4.1HBase简介(105)
5.4.2HBase架构(107)
5.4.3HBase与RDBMS(108)
5.4.4HBase访问接口(109)
5.4.5HBase数据模型(110)
第6章基于移动通信大数据的城市计算应用实践(112)
6.1移动网络用户的多维群体检测和行为特征识别(112)
6.1.1数据处理及出行OD分析(112)
6.1.2用户移动速度分析(117)
6.1.3用户通勤特征分析(118)
6.1.4城市群体潮汐运动(120)
6.1.5城市交通通道识别(123)
6.2基于移动网络数据的多维群体行为演变分析(130)
6.2.1城市群体行为演变分析(130)
6.2.2城市地理空间功能演变分析(139)
6.3基于移动网络数据的多维群体行为预测(144)
6.3.1预测方法与模型(145)
6.3.2多维度预测(149)
6.3.3基于移动网络数据的居民出行调查及多维群体行为预测支持系统
(150)
第7章城市计算在智慧城市中的未来发展(155)
7.1智慧城市未来发展趋势(155)
7.2城市计算面临的未来挑战(158)
7.2.1感知扩张技术(158)
7.2.2异构数据处理(159)
7.2.3协同计算(160)
7.3城市计算推动智慧城市建设的前景(161)
参考文献(163) 

近年来，人们对城市发展的关注和探索逐渐转移到城市建设和运行的智慧化。智慧城市的概念已经被越来越多的国家和公众接受，据统计，智慧城市已在全球近60个国家开展试点和实验，成为新一代信息技术变革和知识经济发展的热点之一。在国内，截至2018年，提出智慧城市规划的城市超过300个，所有副省级以上城市、89%的地级及以上城市、47%的县级及以上城市均提出建设智慧城市。在各级政府的“十三五”规划及配套信息化规划的陆续启动实施中，以智慧城市为主题，利用新兴信息技术加速经济转型和产业升级，推动创新型城市建设，提升公共管理服务水平，这成为改变城市未来发展蓝图的有效途径。
从全球信息技术发展趋势看，大数据应用兴起，移动互联网井喷，物联网、云计算日渐成熟并投入商用，这对城市信息化发展起到了巨大的推动作用。在大（大数据）、物（物联网）、移（移动互联网）、云（云计算）四大领域，物、移、云始终与通信运营商的核心能力天然相连，而在大数据领域，移动通信大数据的应用也日益显示出巨大魅力和重要作用。移动通信网络作为城市运行感知体系的神经网络，城市运行中的人、物、动态信息、静态信息、历史信息、演进信息，都可以在移动通信网络中留下痕迹，当这些痕迹以数据的方式被保存和提取时，就成为移动通信大数据的重要数据来源，从这个来源中获取的大数据，可谓与时俱进、源源不息！
通过对城市中利用各种手段收集起来的海量多源异构数据进行相应的整合及分析，挖掘其信息中所包含的价值信息的过程称为城市计算。城市计算作为一个新兴的领域，是计算机科学在智慧城市应用中的一个延伸及必经环节。城市计算以城市大数据为背景，将城市中所有发生的活动和所产生的各种信息进行融合，涉及人们生活的各个方面。同时，城市计算也是一个多领域的交叉学科，涉及计算机、城市规划、城市管理、移动通信等领域，通过这些领域可以科学地解决现阶段城市及社会发展过程中遇到的环境、交通、管理、安全等问题，帮助人们更好地利用资源。当把移动通信大数据作为城市计算的基础数据来源时，人们打开了一扇新兴研究的瑰丽大门，这就是——基于移动通信大数据的城市计算。
我们很荣幸，在智慧城市建设项目中接触到了基于移动通信大数据的城市计算领域，并在技术研究和工程实践中不断思考、摸索和总结。现在，我们把自己的理解和做法通过本书表达出来，希望能给在智慧城市领域中共同努力的研究者和实践者一些启示。
本书共7章，涵盖了智慧城市与城市计算、基于移动通信大数据的城市计算理论及现状、移动通信网络数据采集、面向城市计算的移动通信数据分析、移动通信大数据计算平台、基于移动通信大数据的城市计算应用实践、城市计算在智慧城市中的未来发展等内容。

本书在创作过程中，得到了中国科学院、清华大学、北京邮电大学、北方工业大学、中国联合网络通信集团有限公司，以及智慧城市业界的科技企业学者和专家的无私帮助和支持，在此表示衷心的感谢！同时，感谢李燕敏、高翔、黄航、温广倩、赵晗笑、李中、吴羿南等人在本书创作中所做的工作。本书的出版还得到了深圳市科技创新委员会的大力资助。
我们深知，在智慧城市建设这个“海洋”中，我们的工作和见识，永远只是沧海一粟，因此，本书一定会存在不尽人意之处，恳请读者批评指正。
作者

智慧城市建设是我国城市转型升级、提质增效的必由之路，直接关系到城市文明延续和复兴的效率、水平和范围。城市计算作为智慧城市建设的重要手段，融合了城市规划、交通、能源、环境等方面的技术，以及计算机科学、社会学和经济学等学科知识，旨在利用与城市相关的大数据来解决城市本身所面临的问题和挑战，并创造“人—环境—城市”三赢的结果。本书从城市计算的独特角度，提供了智慧城市建设的技术新思路和工程新实践。书中有深入的技术剖析和来自智慧城市新实践的经验、成果，这对从事智慧城市建设及相关技术的研究开发人员具有很高的参考价值，这是一本集技术和实践为一体的好书。

杨孟辉  

中国人民大学信息资源管理学院教授，博士生导师

智慧城市是一个复杂的概念，它代表了未来城市发展的方向，是与每个人都息息相关的话题。本书以移动通信大数据为基础，通过对智慧城市建设与城市计算技术的融合发展、移动通信大数据采集与分析技术、大数据计算平台技术体系与应用框架等内容的讲解，让读者深入了解移动通信大数据及城市计算在智慧城市建设过程中的作用和使用方法。同时，本书利用真实的移动通信数据，在城市人流及城市特征分析等方面进行了实践，取得了创新性成果，也展示了移动通信大数据及城市计算在智慧城市中的广阔应用前景。本书将技术原理和工程实践融为一体，适合所有对智慧城市、城市计算、大数据应用有兴趣的人群阅读，也可以作为IT产业人员、政府人员及相关学者的参考书。

鲍玉昆

华中科技大学管理学院 教授，博士生导师

现代信息管理研究中心 副主任

城市计算作为近些年的新兴学科领域，自提出起就成为广大学者及业内专家关注的重点。在智慧城市建设中，如何挖掘城市中纷杂多样的异构数据的潜在价值，是为关键的一环，而城市计算将为解决这一问题发挥核心作用。通过城市计算可以对城市中所产生的数据进行关联利用，大限度发挥数据的作用，终服务于社会。本书对城市计算相关技术进行了深入浅出的讲解，利用移动通信大数据对城市计算的重要环节开展实践探索，针对城市群体移动行为、城市空间功能演变等相关问题进行分析，在理论和应用上皆具价值，其成果和经验对相关研究和开发人员有着很高的借鉴意义。相信智慧城市、城市计算相关领域的学者和从业者都可以从本书中找到想要的答案。

张帆

中国科学院深圳先进技术研究院 特聘研究员，博士生导师

第1章智慧城市与城市计算
1.1智慧城市的概念、目标和架构
自20世纪末以来，世界范围内的城市化发展进程加快，城市被赋予了前所未有的经济、政治和技术权利。但是，在城市发展过程中的各种问题也逐渐显现，人们都希望城市在发展中变得更加“智慧”。
人们通常认为，“智慧”是一种高级创造思维能力，包含感知、知识、记忆、理解、逻辑、计算、分析等过程，是探索、思考、寻找真理的力量，是一套严密的知识体系。“智慧”同时也是一个相对的概念，不仅局限在人类，任何物体组成的体系都可以拥有智慧。相对来说，拥有更高智慧的系统，其内部在组织结构上更加合理，运行机制更加优良。
智慧城市概念起源于“智慧地球”。现代城市发展为智慧城市，被公认为有助于促进城市经济、社会、环境与资源的可持续发展。虽然目前对智慧城市尚无统一定义，但对智慧城市的理解已经达成一定共识。
美国：IBM公司在提出“智慧地球”的概念时，囊括了对智慧城市的思考，它提出智慧城市应从感测入手，运用信息和通信等技术手段分析与整合城市运行核心系统的各项关键信息，从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种城市和居民的需求作出智能响应，这种发展理念强调城市差异化、业务多元化及发展可持续化。
日本：日立公司提出的智慧城市，是一个运用信息技术高效利用能源和其他资源的有环保意识的城市，其智慧城市发展理念强调高新技术的运用及节能、高效与环保的城市发展思路。
奥地利：维也纳理工大学提出智慧城市是一个在智慧经济、智慧民居、智慧管理、智能交通、智慧环境、智慧等六大行业领域有前瞻性，并在此基础上建立智慧连接和自我决策、独立、有知识的公民活动之上的城市，其智慧城市的理念专注于六大个行业领域的发展融合。
西班牙：ESADE商学院认为，智慧城市是通过应用信息与通信技术，达到提高居民生活质量、实现可持续发展并使城市资源管理更加智慧化的城市发展模式，其理念强调智慧城市发展与现代信息与通信技术的发展与应用的有机结合。
中国：国家发展改革委员会在《关于促进智慧城市健康发展的指导意见》里明确指出，智慧城市是集合物联网、大数据、云计算、空间地理信息集成等新一代信息技术，促进城市规划、建设、管理和服务智慧化的新理念与新模式。智慧城市在中国是新一代信息技术的运用，同时具备集约、智能、绿色、低碳的特征。
中国智慧城市建设目标定位在通过构建高速、泛在、融合、安全的智慧城市基础设施，形成高效便捷、无处不在的信息服务，推进现代信息网络的综合化、宽带化、物联化、智能化，加快智慧型商务活动、文化教育、医药卫生、城市建设管理、城市交通、环境监控、公共服务、居家生活等领域的公共服务体系建设，打造低碳绿色、环境友好的宜居城市，建立现代化的社会治理体系与创新活跃的智慧产业体系，全面提高资源利用效率、城市管理水平和居民生活质量，为城市提升综合竞争力和可持续发展能力提供强大支撑。