云计算和边缘计算中的网络管理

本书首先分析了云计算和边缘计算的工作流程，然后针对这两种趋势提供了详细的解决方案，能够为传统的数据中心网络和新兴的边缘网络的发展提供参考和建议。针对云计算，本书阐明了网络应用请求的四个处理过程，并对每个过程提出了一个验证有效的解决方案和优化方案；针对边缘计算，本书关注计算和存储两大问题，以小视频缓存和车联网计算为例提供了解决这些挑战的控制机制。

前言
第1章　引言 1
1.1　研究背景 1
1.2　内容摘要 4
1.3　主要贡献 11
1.4　章节安排 12
参考文献 13
第2章　云计算与边缘计算中的资源管理概述 17
2.1　基于云的服务链的延迟优化 17
2.2　缩短任务完成时间 18
2.3　网络后端的容器放置和重分配 20
2.4　数据副本的近似最优网络传输系统 23
2.5　短视频网络中的分布式边缘缓存 25
2.6　动态边缘计算网络的可控性 26
参考文献 29
第3章　数据中心接入网中的任务调度方案 37
3.1　简介 37
3.2　具有延迟保证的动态差异化服务 39
3.2.1　延迟的组成部分 39
3.2.2　设计理念 40
3.2.3　D3G框架 40
3.2.4　调整资源分配 41
3.3　部署 42
3.4　D3G实验 43
3.4.1　整体表现 43
3.4.2　算法动态性 45
3.4.3　系统可扩展性 46
3.5　总结 46
参考文献 47
第4章　数据中心终端系统中跨层传输协议的设计 49
4.1　简介 50
4.2　TAFA控制方案 52
4.3　主要挑战 53
4.4　TAFA—任务和流协同感知 54
4.4.1　任务感知 54
4.4.2　流感知 58
4.4.3　算法实现 59
4.5　系统稳定性 61
4.6　TAFA实验 64
4.6.1　设置 64
4.6.2　TAFA的整体性能 65
4.6.3　TAFA与任务感知 68
4.6.4　TAFA与流感知 69
4.7　总结 73
参考文献 73
第5章　数据中心后端服务器中容器通信的优化 75
5.1　基于容器组的架构 76
5.2　问题定义 76
5.2.1　优化目标 77
5.2.2　约束 79
5.3　容器放置问题 80
5.3.1　问题分析 80
5.3.2　CA-WFD算法 82
5.4　容器重分配问题 83
5.4.1　问题分析 83
5.4.2　Sweep&Search算法 84
5.5　实现 88
5.6　实验 92
5.6.1　CA-WFD的性能 93
5.6.2　Sweep&Search的性能 98
5.7　Sweep&Search的近似分析 102
5.8　总结 105
参考文献 105
第6章　跨DC网络的大规模数据同步系统 107
6.1　BDS 的设计动机 108
6.1.1　百度的DC间组播工作负载 108
6.1.2　DC间应用程序级覆盖的潜力 110
6.1.3　现有解决方案的局限性 113
6.1.4　关键小结 114
6.2　系统概述 114
6.3　近似最优的应用程序级覆盖网络 117
6.3.1　基本公式 117
6.3.2　解耦调度和路由 119
6.3.3　调度 120
6.3.4　路由 120
6.4　动态带宽分离 121
6.4.1　设计逻辑 122
6.4.2　集成到BDS 122
6.5　系统设计 123
6.5.1　BDS 的集中控制 124
6.5.2　BDS 的动态带宽分离 125
6.5.3　容错 125
6.5.4　实施和部署 126
6.6　BDS 实验 127
6.6.1　BDS 与现有解决方案 127
6.6.2　微基准 130
6.6.3　BDS 的动态带宽分离 135
6.7　总结 139
附录 139
参考文献 141
第7章　边缘存储问题 143
7.1　简介 144
7.1.1　短视频网络边缘缓存的特点 144
7.1.2　现有解决方案的局限性 145
7.2　AutoSight设计 146
7.2.1　系统概述 147
7.2.2　基于关联的预测器：CoStore 147
7.2.3　缓存引擎：Viewfinder 148
7.3　AutoSight 实验 148
7.3.1　实验设置 148
7.3.2　性能对比 149
7.4　总结 151
参考文献 151
第8章　边缘计算问题 153
8.1　背景介绍 153
8.2　DND：控制节点发现算法 155
8.2.1　变量定义 155
8.2.2　建模 155
8.2.3　拓扑抽象 157
8.3　DND实验及分析 158
8.3.1　通信半径 159
8.3.2　节点密度 160
8.3.3　节点速度 161
8.3.4　可控时间 161
8.4　总结 162
参考文献 162

云计算和边缘计算是近些年较为流行的网络技术，各有优势。本书聚焦云计算和边缘计算两大趋势上的挑战并给出了相应的解决方法。
传统的云服务为网络用户提供了越来越方便的服务，但资源的异构性和服务器配置的不同均为网络性能带来了严峻的挑战。这些挑战存在于应用程序处理的整个过程中。首先，当终端用户向一个网络应用程序发送请求时，服务器会进行访问控制并决定是否接受该请求。然后，服务器应该进一步对所有接受的请求进行优先级调度和传输控制。进而，当某请求得到允许时，服务器将调用服务器通信进行协作处理以满足功能需求。最后，对于应用程序后端的跨地区数据同步与备份，需要由不同的网络数据中心（Internet Data Center，IDC）进行信息同步和数据传输操作，以保障应用程序的安全和性能。为了向网络用户提供更高性能和更短时延，本书阐明了网络应用程序请求的上述四个处理过程。对于每一个过程，本书提出了已验证的有效解决方案和优化方案。
新兴的边缘计算在用户附近提供了就近的计算和缓存操作，因而在高吞吐和高实时性等方面具备明显的优势。但由于边缘的限制，其设计原则与云端完全不同。本书聚焦计算和存储两大问题，以短视频缓存和车联网计算为例，介绍了解决这些挑战的控制机制。
总的来说，本书首先分析了云计算和边缘计算的工作流程，然后针对这两种趋势提供了详细的解决方案，能够为传统的数据中心网络和新兴的边缘网络的发展提供参考和建议。
本书组织
本书共8章，分为两个逻辑部分。尽管每章之间存在着连续性和对比关系，但我们尽量使每一章独立，以达到最大的阅读灵活性。
第1章　数据中心具有虚拟化资源环境、模块化基础设施、自动化运维管理、快速扩展能力、高效资源利用、可靠冗余备份等特点。边缘计算由于距离终端用户较近，在延迟方面具有优势，但各种业务应用程序的爆炸式增长，对边缘服务器的基本功能和服务性能提出了更高的要求。本章简要介绍了这两大趋势。
第2章　本章给出了一个关于云计算和边缘计算相关问题的全面调研，包括：整个云计算过程（从服务接入数据中心，到数据传输控制，再到服务器后端通信，以及数据同步服务支持），以及与边缘存储和边缘计算相关的关键问题。我们对这些主题的相关工作进行了深入分析。
第3章　本章设计了一种新型的任务访问控制机制，用以解决不同应用请求之间的公平性问题，并指出现有机制的局部公平性会导致全局公平性的失效。本章设计的访问机制对每个中间服务器进行了延迟预测，预计算请求的总体响应延迟，并根据估计的响应延迟重新分配和调整数据中心资源，使得负载流的整体延迟保持在用户可忍耐的范围内，减少用户流失。
第4章　本章针对终端系统与用户之间的传输协议问题，设计了终端系统的跨层感知调度机制（任务级感知和流级感知），并利用ECN机制的通信，减少了多任务的完成时间。具体来说，本章首先研究任务级和流级的调度机制对数据中心任务调度效果的潜在影响，从而提出任务和流协同感知（TAFA）算法并介绍其中的联动关系。通过基于优先级调整的任务调度策略，使数据流和任务的调度顺序更加合理，进而使任务的资源竞争最小化。
第5章　本章通过主机间的容器重分配来解决同一应用程序的组内通信问题。具体来说，本章设计了一种可以使用新的两阶段在线调整算法来检测容器之间的通信的容器重分配机制FreeContainer。与现有优化策略不同，FreeContainer并不直接以平衡容器分配为目的，而是在第一阶段进行主机清扫，为下一阶段的重分配算法腾出更多空间。第二阶段即容器重分配阶段设计一种改进的变量邻域搜索算法来寻找一个更好的分配方案。FreeContainer算法不需要硬件修改，并且对在线应用程序完全透明。这个算法曾被部署在百度的服务器集群上，并在真实的网络环境中进行了广泛的测量和评估。在线应用请求的数据结果表明，在流量突发环境下，FreeContainer可以显著降低容器之间的通信开销，提高集群的吞吐量。
第6章　本章介绍用于大规模数据同步任务的传输调度平台BDS 系统。具体来说，BDS 使用一种集中控制的方法来协调在线应用服务与离线数据传输任务。通过实现在线流量的实时预测，BDS 能够在不同的传输任务之间进行动态带宽资源分配，根据任务优先级实现了流量最大化。为了验证BDS 系统的传输性能，曾将该系统在百度的内网上进行部署，并与现有技术进行了对比，结果表明BDS 能够将离线数据同步速度提高3～5倍。
第7章　本章介绍一种用于提高短视频网络缓存性能的分布式边缘缓存系统AutoSight。AutoSight由两个主要组件组成，分别为：预测器CoStore，通过分析复杂的视频相关性，解决短视频非平稳和不可预测性的问题；缓存引擎Viewfinder，通过对视频流行度在时间和空间两个维度的影响关系进行分析，自动调整未来缓存决策的时间范畴。这些灵感和实验数据均基于33个城市488个服务器的2800多万条视频和1亿多次访问的真实轨迹。实验结果表明，AutoSight对短视频网络中的分布式边缘缓存性能具有显著的提升作用。
第8章　本章通过分析动态时序网络的可控性，提出了边缘