Linux开源存储实战：从MinIO到企业级云存储 李文凯 李福龙 陶沙

通过Linux开源存储技术高效降低企业成本
深度解析MinIO分布式存储解决方案及技术
21段教学视频模拟在线课堂速学底层原理
随书赠送MinIO分布式配置文件、各操作系统安装包（含信创ARM）、各操作系统客户端、MinIO多活分布式架构图、负载均衡官方推荐配置和Python SDK测试代码等海量学习资源，并对相关重点、难点提供了扫码看视频的服务，以帮助读者全面理解MinIO。

本书共11章，以企业级应用为出发点，从云计算与云存储、对象存储，到MinIO的部署、MinIO服务端控制台管理、身份认证与数据加密、存储桶的通知与监控、数据备份与故障处理、SDK与API部署、MinIO静态资源服务器，再到MinIO企业级应用案例与优化技巧、MinIO企业级集群架构部署等多个方面，通过实用的案例和通俗易懂的语言，向读者展示了利用MinIO在企业中快速、高效地布局存储应用的全流程。同时，随书赠送MinIO分布式配置文件、各操作系统安装包（含信创ARM）、各操作系统客户端、MinIO多活分布式架构图、负载均衡官方推荐配置和Python SDK测试代码等海量学习资源，并对相关重点、难点提供了扫码看视频的服务，以帮助读者全面理解MinIO。

本书的读者对象包括云计算工程师、数据工程师和数据科学家、系统管理员以及软件开发人员等群体。云计算工程师可以通过本书详细了解MinIO的部署和管理；数据工程师和数据科学家可以通过本书学习如何使用MinIO进行高效的数据存储和管理；系统管理员可以通过本书了解如何配置和优化MinIO，以及如何进行故障处理和数据备份；软件开发人员则可以通过本书学习如何使用MinIO的SDK和API进行开发，以及如何在工作中使用MinIO。

李文凯：分布式存储专家。曾任职千锋教育集团总监、缤纷生活CTO、CmsTop等公司核心技术研发和管理职位，负责过某公司千万级高并发架构的设计和实战，参与建设了山东电视台、参考消息等互联网项目，以及RustFS、CmsTop、PHPCMS等知名开源项目的研发和代码贡献，对MinIO的源代码、技术架构有极为深入的了解和研究。

李福龙：存储领域专家，开源社区活跃分子，拥有个人开源项目，为多家大型企业设计并实施MinIO架构，实战经验丰富。曾任中公教育资深架构师，主导活动项目设计与开发、表单重构，以及橙啦教育运维经理，重构公司Web架构，对高并发处理游刃有余。

陶沙：人工智能专家，曾就职于惠普、百度、美团，从事AI基础设施建设和自动驾驶研发。目前就职于蔚来汽车，担任自动驾驶平台交付负责人，对AI自动驾驶与存储的结合、冷热数据的智能分层和AI与对象存储的基础设施有着非常丰富的实战经验。

第1章云计算与云存储
1.1了解云计算
1.1.1云计算的起源与发展
1.1.2云计算简介
1.1.3云计算部署模型
1.1.4云计算基础核心组件
1.2了解云存储
1.2.1云存储简介
1.2.2云存储的发展史
1.3本章小结
第2章对象存储
2.1了解对象存储
2.1.1对象存储简介
2.1.2对象存储的优势
2.1.3对象存储的应用场景
2.2对象存储的选用
2.2.1开源与闭源
2.2.2不同部署模型下的选用
2.2.3常见的对象存储产品
2.2.4MinIO的优势
2.3对象存储的概念
2.3.1对象存储的基础概念
2.3.2对象存储的高级概念
2.4对象存储的标准通信协议——S3协议
2.4.1S3协议的起源与发展
2.4.2S3协议的底层原理
2.4.3S3协议的优势
2.4.4S3FS协议
2.5对象存储中的纠删码
2.5.1了解纠删码
2.5.2纠删码的发展史
2.5.3纠删码的分类
2.5.4纠删码的类型
2.6RAID技术中的纠删码
2.6.1了解RAID技术
2.6.2RAID5技术的纠删码原理
2.6.3RAID6技术的纠删码原理
2.6.4分布式存储中N元一次方程组的应用
2.7纠删码的实现原理
2.7.1伽罗瓦域
2.7.2Vandermonde矩阵
2.7.3SIMD
2.7.4LRC的数据恢复
2.7.5Hitchhiker算法
2.7.6IO开销
2.8ReedSolomon码
2.8.1ReedSolomon码的发展史
2.8.2ReedSolomon码的应用领域
2.8.3ReedSolomon编码算法的实现原理
2.9本章小结
第3章MinIO的部署
3.1MinIO部署前的准备
3.1.1MinIO的运行优势
3.1.2硬件准备
3.1.3容量规划与纠删码
3.1.4网络规划
3.1.5软件环境
3.2非生产环境部署
3.2.1非生产环境应用说明
3.2.2MinIO在Windows环境下的部署
3.2.3将MinIO注册为后台运行
3.3生产环境部署
3.3.1单节点单驱动器部署
3.3.2单节点多驱动器部署
3.3.3多节点多驱动器部署
3.3.4Kubernetes下部署
3.4扩容与升级
3.4.1MinIO扩容
3.4.2版本升级的作用与周期
3.4.3Linux环境下升级
3.4.4Kubernetes环境下升级
3.5本章小结
第4章MinIO服务端控制台管理
4.1控制台基础操作
4.1.1Access Keys的管理与应用
4.1.2存储桶的创建与配置
4.1.3定制IAM策略
4.1.4用户和用户组管理
4.2监控功能
4.2.1常用性能指标
4.2.2Trace跟踪
4.2.3Watch监听
4.2.4日志审计
4.3对象生命周期与分层管理
4.3.1对象生命周期管理
4.3.2对象分层管理
4.3.3站点复制
4.4本章小结
第5章身份认证与数据加密
5.1了解身份认证
5.1.1身份认证简介
5.1.2身份认证的发展
5.2LDAP身份认证
5.2.1LDAP身份认证简介
5.2.2LDAP产品类型
5.2.3MinIO实现LDAP身份认证
5.3OpenID身份认证
5.3.1OpenID身份认证简介
5.3.2MinIO实现OpenID身份认证
5.3.3LDAP与OpenID的区别
5.4Vault数据加密
5.4.1数据加密简介
5.4.2数据加密相关产品
5.4.3MinIO与Vault实现数据加密
5.5TLS协议
5.5.1TLS协议的基本概念
5.5.2TLS在MinIO中的应用
5.6本章小结
第6章存储桶的通知与监控
6.1存储桶通知
6.1.1存储桶通知的概念与作用
6.1.2支持接收存储桶通知的第三方应用
6.1.3将事件发布至Redis
6.1.4将事件发布至MySQL
6.2存储桶监控
6.2.1存储桶监控简介
6.2.2存储桶监控的产品
6.2.3Prometheus实现存储桶监控
6.3健康检查API
6.4本章小结
第7章数据备份与故障处理
7.1数据备份
7.1.1数据备份的概念与作用
7.1.2MinIO支持的备份工具
7.1.3使用Rclone进行备份和数据恢复
7.2存储桶复制
7.2.1存储桶复制的作用与要求
7.2.2存储桶复制的类型
7.2.3启用存储桶复制
7.3MinIO故障处理
7.3.1MinIO的故障类型
7.3.2MinIO的驱动器故障与修复
7.3.3MinIO的节点故障与修复
7.3.4MinIO的站点故障与修复
7.3.5SUBNET
7.4本章小结
第8章SDK与API部署
8.1SDK的快速部署
8.1.1SDK简介
8.1.2Python安装MinIO SDK
8.1.3Java安装MinIO SDK
8.1.4JavaScript安装MinIO SDK
8.1.5Go安装MinIO SDK
8.2MinIO的STS服务
8.3API实践案例
8.3.1Python API实现桶操作
8.3.2Java API实现桶操作
8.3.3JavaScript API实现桶操作
8.3.4Go API实现桶操作
8.4本章小结
第9章MinIO静态资源服务器
9.1静态资源服务器简介
9.2静态资源服务器部署
9.2.1MinIO部署
9.2.2Nginx部署
9.2.3独立域名
9.2.4CDN（内容分发网络）
9.3图片自动压缩
9.3.1图片自动压缩的优势
9.3.2ngx_http_image_filter_module简介
9.3.3图片裁剪的配置与应用
9.4审计与压力测试
9.4.1Kafka审计信息发送
9.4.2压力测试（s3bench）
9.5本章小结
第10章MinIO企业级应用案例与优化技巧
10.1对象存储应用案例
10.1.1单云、多云与混合云
10.1.2海量数据存储
10.1.3业务连续性与灾难恢复
10.1.4数据迁移
10.2冷热数据分离
10.2.1冷热数据分离的概念
10.2.2常见的冷热数据分离模式
10.3对象存储优化技巧
10.3.1架构设计优化
10.3.2硬件配置优化
10.3.3网络规划优化
10.4本章小结
第11章MinIO企业级集群架构部署
11.1项目背景分析
11.1.1企业需求分析
11.1.2单数据中心与跨数据中心
11.2架构设计
11.3智能DNS
11.3.1智能DNS简介
11.3.2常见的智能DNS产品
11.4LVS负载均衡部署
11.4.1LV

为什么编写本书
很多朋友和客户都在企业中遇到过无法解决的存储相关问题，导致不仅影响了企业的数据存取效率，还影响了企业的数据安全，特殊情况下甚至会给企业的生产经营带来致命性打击。
本书的几位作者都是存储方面的专家，在一次偶然的聚会中，遇到了国内某头部企业负责人，他们需要在公司内部建设多个全球性的数据中心，并且将结构化数据和非结构数据进行分离，但遇到了一些困难和问题。由此可见，很多公司原有架构中的NAS（网络附属存储）根本不能够满足其在AI计算场景下每秒数TB数据的存取需求和海量数据湖的建设需求。如何建立运维简单、数据安全、成本低廉、使用高效、适应AI的存储系统是当下很多企业面临的难题。
本书内容
本书所讲的对象存储不仅适用于小规模的分布式对象存储场景，还适用于大中型以及特大型分布式对象存储场景，书中不仅从行业角度讲解了分布式对象存储，还深入讲解了分布式对象存储的底层原理。
 第1章讲解了云计算与云存储的发展历程与相关概念。
 第2章讲解了对象存储的相关概念、核心原理和底层算法，想深入了解对象存储并将架构设计得合理的读者要充分理解和掌握本章内容。
 第3章和第4章通过深入浅出的方式讲解了各种环境（Windows、Linux、单机单磁盘、多机多磁盘等模式）下MinIO的安装和使用方法，以及控制台的各项功能与操作方式。
 第5~8章逐步扩展分布式对象存储的使用边界，包括身份认证、数据加密、存储桶通知、数据备份与故障处理等内容。同时，通过不同介质的设备让用户的服务器投入成本进一步降低。
 第9~11章结合企业级实战的场景，对分布式对象存储集群的压力测试、图片自动压缩、智能DNS、智能分布式CDN、大数据等高可用场景进行了深度解析，让读者能够深入了解高可用、海量数据和大规模的企业级使用场景。
哪些场景适合使用本书
国内很多读者早期都是从阿里云OSS、腾讯云COS、华为云OBS等对象存储产品开始接触对象存储的。特别是在互联网场景下，将图片、文件通过互联网快速进行分发，可以满足业务的存储和分离，以及快速部署的场景需求。随着分布式对象存储技术的快速发展，对象存储不仅只是互联网场景了，而是变成了重要的存储基础设施，进入企业业务需求的各个方面，以下场景适合使用本书。
 海量分布式存储。
 实施存算分离。
 结构化数据与非结构数据分离。
 工厂产线的存储和质检。
 降低存储成本。
 企业级私有化数据存储系统。
 私有化网盘。
 AI推理和计算。
 档案管理和备份。
 电子票据的不可变和不可删除。
 边缘计算网关。
 现代数据湖。
 混合云存储。
随书资源
全书展示了在企业级场景下使用MinIO的真实案例，从单机部署到多服务器部署、从监控到日志等方面均配备了大量操作实例。附赠资源包括MinIO分布式配置文件、各操作系统安装包（含信创ARM）、各操作系统客户端、MinIO多活分布式架构图、负载均衡官方推荐配置和Python SDK测试代码等海量学习资源，并提供了扫码看视频的学习方式。
本书读者对象
 云计算工程师。
 数据工程师。
 数据科学家。
 软件开发人员。
 企业系统管理员。
 企业云资源管理员。
 企业平台架构师。
 企业数据中心信息官。
 分布式存储技术爱好者。
作者的希望
人类最早的存储从结绳开始，一直发展到现在的光磁存储。作者希望越来越多的人参与开源、尊重开源，并且尊重知识产权。同时，也希望我国的开源工作者能够得到社会更多的认同。最后，还希望通过MinIO开源软件和本书的知识，众多企业能够更好地实现数据安全、降本增效。
由于作者水平有限，书中不足之处在所难免，还望广大读者朋友批评指正。