可伸缩服务架构：框架与中间件

√ 详解高可用架构设计的核心要点：可伸缩与可扩展
√ 详解分布式发号器、消息队列框架、数据库分库分表、缓存、Elasticsearch、分布式调度任务、RPC服务、Dubbo、高性能网络代理中间件等
√ 全面破解可伸缩服务架构的奥秘
√ 分布式服务架构：原理、设计与实战读者的配套技能升级架构书。

本书以高可用服务架构为主题，侧重于讲解高可用架构设计的核心要点：可伸缩和可扩展，从应用层、数据库、缓存、消息队列、大数据查询系统、分布式定时任务调度系统、微服务等层面详细讲解如何设计可伸缩、可扩展的框架，并给出在各个领域解决特定问题的方法论和实践总结。随着本书的出版，我们还开源了4个行之有效的互联网可伸缩框架，包括数据库分库分表dbsplit、缓存分片redic、专业的发号器vesta和消息队列处理机框架kclient，每个框架都开箱即用，也可以作为学习互联网平台化框架搭建的素材，更可以作为开发开源项目的示例。本书的上册《分布式服务架构：原理、设计与实战》详细介绍了如何解决线上高并发服务的一致性、高性能、高可用、敏捷等痛点，本书与上册结合后可覆盖保证线上高并发服务的各个主题：一致性、高性能、高可用、可伸缩、可扩展、敏捷性等，每个主题都是一个方法论。充分理解这些主题，可保障线上服务健壮运行，对实现服务稳定性的n个9有着不可估量的作用。无论是对于互联网的或者传统的软件工程师、测试工程师、架构师，还是对于深耕于IT的其他管理人员，本书都有很强的借鉴性和参考价值，是值得每个技术人员阅读的架构级技术书。

第1章 如何设计一款永不重复的高性能分布式发号器 1
1.1 可选方案及技术选型 2
1.1.1 为什么不用UUID 2
1.1.2 基于数据库的实现方案 2
1.1.3 Snowflake开源项目 3
1.1.4 小结 4
1.2 分布式系统对发号器的基本需求 4
1.3 架构设计与核心要点 6
1.3.1 发布模式 6
1.3.2 ID类型 7
1.3.3 数据结构 7
1.3.4 并发 9
1.3.5 机器ID的分配 9
1.3.6 时间同步 10
1.3.7 设计验证 11
1.4 如何根据设计实现多场景的发号器 11
1.4.1 项目结构 12
1.4.2 服务接口的定义 14
1.4.3 服务接口的实现 15
1.4.4 ID元数据与长整型ID的互相转换 22
1.4.5 时间操作 25
1.4.6 机器ID的生成 27
1.4.7 小结 32
1.5 如何保证性能需求 32
1.5.1 嵌入发布模式的压测结果 33
1.5.2 中心服务器发布模式的压测结果 33
1.5.3 REST发布模式（Netty实现）的压测结果 33
1.5.4 REST发布模式（Spring Boot Tomcat实现）的压测结果 34
1.5.5 性能测试总结 34
1.6 如何让用户快速使用 35
1.6.1 REST发布模式的使用指南 35
1.6.2 服务化模式的使用指南 38
1.6.3 嵌入发布模式的使用指南 41
1.7 为用户提供API文档 43
1.7.1 RESTful API文档 44
1.7.2 Java API文档 45
第2章 可灵活扩展的消息队列框架的设计与实现 49
2.1 背景介绍 50
2.2 项目目标 50
2.2.1 简单易用 50
2.2.2 高性能 51
2.2.3 高稳定性 51
2.3 架构难点 51
2.3.1 线程模型 51
2.3.2 异常处理 53
2.3.3 优雅关机 53
2.4 设计与实现 54
2.4.1 项目结构 54
2.4.2 项目包的规划 55
2.4.3 生产者的设计与实现 57
2.4.4 消费者的设计与实现 58
2.4.5 启动模块的设计与实现 67
2.4.6 消息处理器的体系结构 76
2.4.7 反射机制 79
2.4.8 模板项目的设计 80
2.5 使用指南 82
2.5.1 安装步骤 82
2.5.2 Java API 83
2.5.3 与Spring环境集成 84
2.5.4 对服务源码进行注解 85
2.6 API简介 87
2.6.1 Producer API 87
2.6.2 Consumer API 88
2.6.3 消息处理器 88
2.6.4 消息处理器定义的注解 90
2.7 消息处理机模板项目 91
2.7.1 快速开发向导 91
2.7.2 后台监控和管理 92
第3章 轻量级的数据库分库分表架构与框架 93
3.1 什么是分库分表 94
3.1.1 使用数据库的三个阶段 94
3.1.2 在什么情况下需要分库分表 95
3.1.3 分库分表的典型实例 96

3.2 三种分而治之的解决方案 97
3.2.1 客户端分片 97
3.2.2 代理分片 100
3.2.3 支持事务的分布式数据库 101
3.3 分库分表的架构设计 102
3.3.1 整体的切分方式 102
3.3.2 水平切分方式的路由过程和分片维度 106
3.3.3 分片后的事务处理机制 107
3.3.4 读写分离 119
3.3.5 分库分表引起的问题 119
3.4 流行代理分片框架Mycat的初体验 123
3.4.1 安装Mycat 123
3.4.2 配置Mycat 124
3.4.3 配置数据库节点 128
3.4.4 数据迁移 129
3.4.5 Mycat支持的分片规则 129
3.5 流行的客户端分片框架Sharding JDBC的初体验 138
3.5.1 Sharding JDBC简介 138
3.5.2 Sharding JDBC的功能 139
3.5.3 Sharding JDBC的使用 141
3.5.4 Sharding JDBC的使用限制 152
3.6 自研客户端分片框架dbsplit的设计、实现与使用 153
3.6.1 项目结构 154
3.6.2 包结构和执行流程 155
3.6.3 切片下标命名策略 159
3.6.4 SQL解析和组装 167
3.6.5 SQL实用程序 168
3.6.6 反射实用程序 173
3.6.7 分片规则的配置 177
3.6.8 支持分片的SplitJdbcTemplate和SimpleSplitJdbcTemplate接口API 179
3.6.9 JdbcTemplate的扩展SimpleJdbcTemplate接口API 184
3.6.10 用于创建分库分表数据库的脚本工具 187
3.6.11 使用dbsplit的一个简单示例 192
3.6.12 使用dbsplit的线上真实示例展示 199
第4章 缓存的本质和缓存使用的优秀实践 201
4.1 使用缓存的目的和问题 202
4.2 自相似，CPU的缓存和系统架构的缓存 203
4.2.1 CPU缓存的架构及性能 205
4.2.2 CPU缓存的运行过程分析 206
4.2.3 缓存行与伪共享 208
4.2.4 从CPU的体系架构到分布式的缓存架构 218
4.3 常用的分布式缓存解决方案 221
4.3.1 常用的分布式缓存的对比 221
4.3.2 Redis初体验 225
4.4 分布式缓存的通用方法 229
4.4.1 缓存编程的具体方法 229
4.4.2 应用层访问缓存的模式 233
4.4.3 分布式缓存分片的三种模式 235
4.4.4 分布式缓存的迁移方案 238
4.4.5 缓存穿透、缓存并发和缓存雪崩 244
4.4.6 缓存对事务的支持 246
4.5 分布式缓存的设计与案例 248
4.5.1 缓存设计的核心要素 248
4.5.2 缓存设计的优秀实践 250
4.5.3 关于常见的缓存线上问题的案例 253
4.6 客户端缓存分片框架redic的设计与实现 257
4.6.1 什么时候需要redic 258
4.6.2 如何使用redic 258
4.6.3 更多的配置 258
4.6.4 项目结构 260
4.6.5 包结构 261
4.6.6 设计与实现的过程 261
第5章 大数据利器之Elasticsearch 268
5.1 Lucene简介 269
5.1.1 核心模块 269
5.1.2 核心术语 270
5.1.3 检索方式 271
5.1.4 分段存储 273
5.1.5 段合并策略 275
5.1.6 Lucene相似度打分 278
5.2 Elasticsearch简介 286
5.2.1 核心概念 286
5.2.2 3C和脑裂 289
5.2.3 事务日志 291
5.2.4 在集群中写索引 294
5.2.5 集群中的查询流程 295
5.3 Elasticsearch实战 298
5.3.1 Elasticsearch的配置说明 298
5.3.2 常用的接口 300
5.4 性能调优 305
5.4.1 写优化 305
5.4.2 读优化 308
5.4.3 堆大小的设置 313
5.4.4 服务器配置的选择 315
5.4.5 硬盘的选择和设置 316
5.4.6 接入方式 318
5.4.7 角色隔离和脑裂 319
第6章 全面揭秘分布式定时任务 321
6.1 什么是定时任务 322
6.2 分布式定时任务 341
6.2.1 定时任务的使用场景 342
6.2.2 传统定时任务存在的问题 342
6.2.3 分布式定时任务及其原理 344
6.3 开源分布式定时任务的用法 347
6.3.1 Quartz的分布式模式 347
6.3.2 TBSchedule 356
6.3.3 Elastic-Job 365
第7章 RPC服务的发展历程和对比分析 377
7.1 什么是RPC服务 378
7.2 RPC服务的原理 379
7.2.1 Sokcet套接字 379
7.2.2 RPC的调用过程 380
7.3 在程序中使用RPC服务 382

7.4 RPC服务的发展历程 383
7.4.1 代RPC：以ONC RPC和DCE RPC为代表的函数式RPC 384
7.4.2 第二代RPC：支持面对象的编程 388
7.4.3 第三代RPC：SOA和微服务 398
7.4.4 架构的演进 402
7.5 主流的RPC框架 403
7.5.1 Thrift 403
7.5.2 ZeroC Ice 410
7.5.3 gRPC 418
7.5.4 Dubbo 430
第8章 Dubbo实战及源码分析 436
8.1 Dubbo的四种配置方式 437
8.1.1 XML配置 437
8.1.2 属性配置 440
8.1.3 API配置 441
8.1.4 注解配置 443
8.2 服务的注册与发现 446
8.2.1 注册中心 446
8.2.2 服务暴露 449
8.2.3 引用服务 451
8.3 Dubbo通信协议及序列化探讨 455
8.3.1 Dubbo支持的协议 455
8.3.2 协议的配置方法 456
8.3.3 多协议暴露服务 457
8.3.4 Dubbo协议的使用注意事项 458
8.3.5 Dubbo协议的约束 459
8.4 Dubbo中高效的I/O线程模型 459
8.4.1 对Dubbo中I/O模型的分析 459
8.4.2 Dubbo中线程配置的相关参数 460
8.4.3 在Dubbo线程方面踩过的坑 461
8.4.4 对Dubbo中线程使用的建议 462
8.5 集群的容错机制与负载均衡 462
8.5.1 集群容错机制的原理 462
8.5.2 集群容错模式的配置方法 464
8.5.3 六种集群容错模式 464
8.5.4 集群的负载均衡 465
8.6 监控和运维实践 467
8.6.1 日志适配 467
8.6.2 监控管理后台 467
8.6.3 服务降级 473
8.6.4 优雅停机 475
8.6.5 灰度发布 475
8.7 Dubbo项目线上案例解析 477
8.7.1 线上问题的通用解决方案 477
8.7.2 耗时服务耗尽了线程池的案例 480
8.7.3 容错重试机制引发服务雪崩的案例 481
8.8 深入剖析Dubbo源码及其实现 483
8.8.1 Dubbo的总体架构设计 483
8.8.2 配置文件 486
8.8.3 Dubbo的核心RPC 488
8.8.4 Dubbo巧妙的URL总线设计 491
8.8.5 Dubbo的扩展点加载SPI 492
8.8.6 Dubbo服务暴露的过程 493
8.8.7 服务引用 502
8.8.8 集群容错和负载均衡 503
8.8.9 集群容错 504
8.8.10 负载均衡 509
第9章 高性能网络中间件 512
9.1 TCP/UDP的核心原理及本质探索 513
9.1.1 网络模型 513
9.1.2 UDP、IP及其未解决的问题 515
9.1.3 TCP详解 519
9.1.4 是否可以用UDP代替TCP 527
9.1.5 网络通信的不可靠性讨论 529
9.2 网络测试优秀实践 530
9.2.1 网络测试的关键点 530
9.2.2 那些必不可少的网络测试工具 532
9.2.3 典型的测试报告 539
9.3 高性能网络框架的设计与实现 544
9.3.1 对代理功能的测试及分析 545
9.3.2 网络中间件的使用介绍 549
9.3.3 内存和缓存的优化 551
9.3.4 快速解析流数据 554

如何实现可伸缩架构，是互联网应用面临业务的高速发展时亟须解决的问题，而可伸缩性和高可用性往往是稳定性设计的基石。诸多国外优秀书籍都偏于讲解实践指导原则，读者在面临具体场景时仍然难得其法。因此我在两年前召集了几位志同道合的朋友编写了《深入分布式缓存》，期望能贯通从原理到实践的内容。更可喜的是，艳鹏和杨彪诸君更进一步地呈现了满满都是案例及干货的《可伸缩服务架构：框架与中间件》，本书从分布式发号器、消息队列框架、数据库分库分表、缓存、Elasticsearch、分布式调度任务、RPC服务、Dubbo、高性能网络代理中间件等方面，全面破解了可伸缩服务架构的奥秘，并与《分布式服务架构：原理、设计与实战》相结合，阐述了互联网高可用、高性能、高并发、可伸缩、可扩展、敏捷性等核心要点，值得广大从业人员阅读。
蚂蚁金服高级技术专家    于君泽

分布式系统的设计是一门艺术，作者挥舞着六色画笔谱写了上下两卷：《分布式服务架构：原理、设计与实战》和《可伸缩服务架构：框架与中间件》，在这两卷书里，一致性、高性能、高可用、可伸缩、可扩展、敏捷性等精彩内容皆信手拈来。我在多年前和杨彪相识，工作时一起调Bug，休闲时一起读书，今又与艳鹏结识，如今他们已经成为技术的布道者。
在技术的道路上前行，冷暖自知，却能收获内心的平和。愿这两卷书能够感召更多的朋友，共同享受技术的艺术，享受成长的富足。
BitTiger Co-CEO、北大博士    冯沁原

本书承接《分布式服务架构：原理、设计与实战》一书的主线，继续深入讲解分布式服务架构，对缓存、消息队列、分库分表、定时调用系统、RPC框架等进行了落地与实战讲解，读者可以通过本书实现分布式服务的高效落地。
畅销书《亿级流量网站架构核心技术》作者    开涛

在艳鹏和杨彪合著的《分布式服务架构：原理、设计与实战》中，我看到了分布式理论与实践相结合的全面总结，又从本书中看到了非常实用的分库分表方案、缓存分片方案、消息队列框架、发号器、RPC等互联网架构的重要知识，并在一些内容上开源了公司内部屡试不爽的互联网框架。通过阅读本书，能够更好地提升自己的技术能力，还能够以这些框架为基础搭建适合自己公司业务的轻量级框架，轻而易举地完成业务的功能需求和非功能质量需求。这是一本每个互联网技术人员都应该通读的优秀参考书籍。
开心网副总裁    杨延峰

本书以高可用服务架构为主线，侧重于讲解高可用架构设计的核心要点：可伸缩和可扩展，从数据库分片、缓存分片、消息队列框架、大数据查询系统、分布式定时任务调度系统、微服务RPC等层面，详细讲解了如何设计可伸缩和可扩展的框架，可见作者对分布式系统的理解和实践是深入骨髓的。希望每一位互联网架构师、开发者、技术专家、技术总监都通过本书获取精华，并将其应用到项目实践中，为项目的顺利进行保驾护航。
蚂蚁金服技术专家    张义明

能讲明白分布式架构并不容易，本书却做到了。在本书中，不论是对需求场景的剖析，还是对可行方案的仔细研磨及实现，都体现了架构师的专业素养和精益求精。这是一本分布式服务架构方面的好书。
皇包车CTO  贺伟

本书针对分布式服务架构中常用的缓存分片、数据库分库分表、消息队列、任务调度中间件、RPC、大数据查询系统等技术提供了典型的设计和实现，对我们设计和实现自己的互联网业务系统有重要的参考价值。
《程序员的成长课》作者  安晓辉

互联网业务是爆发式的，其带来的流量压力和对计算能力的要求也是不均衡的，利用廉价的计算机构建分布式计算环境已成为当下的选择。然而，可伸缩技术在带来高性价比的同时，也带来技术上的变革和挑战。大家可以从本书提供的分库分表、缓存分片、消息队列框架、发号器等方案中吸取精髓，快速形成自己的认知，并在工作中积累经验和提升技能，以更好地为公司和团队效力。
企办信息技术有限公司CTO、云像数字技术顾问  马星光

随着企业业务量的增加，流量洪峰在不断挑战着业务系统的承载能力，设计高并发、可伸缩的系统已成为软件架构师的紧迫任务，而分布式、可伸缩的架构模式已成为抵御洪峰的有效方案之一。本书汇集了作者在多年核心系统开发中的架构及实践经验，以理论与案例相结合的方式展现了分布式系统设计、技术选型、可伸缩架构的设计、框架实现等方面的优秀实践。不管你是在从0到1构建系统，还是在寻找服务化治理的正确方向，本书都可以帮你解惑。
菜鸟网络技术专家  高春东
在《分布式服务架构：原理、设计与实战》中，作者通过多年的互联网架构经验，总结了服务化的背景和技术演进，提出了互联网项目技术评审的方法论和提纲，并给出了对真实的线上项目进行性能和容量评估的全过程，可帮助大家轻松地设计大规模、高并发的服务化系统，保证服务化项目按照既定的目标进行实施与落地，并保证系统的稳定性、可用性和高性能，等等。本书延续了《分布式服务架构：原理、设计与实战》的主线，继续讲解在分布式系统设计中非常重要的可伸缩架构设计模式，对数据库分库分表、缓存分片、消息队列处理框架、大数据查询系统、分布式定时任务系统、微服务和RPC等均有详细讲解，并开源了4个开箱即用的框架级项目，大家也可以以其为基础，开发适合自己的业务的分布式系统。
爱奇艺高级技术经理  黄福伟

在本书中，作者将理论与实践相结合，对分库分表、缓存、消息队列、大数据查询及分布式任务调度等的设计与使用进行了深入分析与讲解。本书内容丰富，可作为开发利器，值得参考。
金山云高级开发工程师  李雪冰

金融系统对高并发服务的一致性、高性能及高可用有着强烈的诉求，艳鹏及他的写作团队都是一线资深架构师，不仅有丰富的实践经验，还有深层次的理论基础。本书对高可用架构进行了深入讲解，使读者能够从体系化的角度认识和思考金融系统的本质，其中的方法论是经过实践检验的，更能在工作中应对特定领域的局部问题。
某金控集团总监  王志成

我和本书作者杨彪在多年前相识于工作中，他的踏实、认真给我留下了深刻的印象，后来因为《分布式服务架构：原理、设计与实战》，我又认识了艳鹏，他们的勤奋和刻苦让我非常佩服，也让我非常期待他们的新书。读书如读人，本书不仅展现了可伸缩架构的技术，更展现了作者孜孜不倦的精神。希望读者不仅能从书中学到互联网分布式架构的知识，更能学到不畏艰辛、知难而上的精神。
北大博士  贾涛