海量数据存储

本书在介绍大数据背景以及物联网环境中数据基本特征的基础上，详细介绍了海量数据存储的相关知识，内容包括：数据存储基本原理、容错磁盘阵列（RAID）技术、网络存储技术、分布式文件系统、海量存储系统、存储优化技术、存储技术在物联网中的应用，以及新型存储芯片技术和未来存储技术的发展方向。本书内容清晰、简洁，每章后都有本章小结和扩展阅读，以加深所学知识。本书可作为高等院校计算机应用、物联网、信息管理系统等专业的本科生或研究生教材，也可作为从事信息存储系统开发管理、云存储系统构建、物联网应用研发等人员的培训用书或参考书。

目　录前言教学建议第1章　海量数据存储的基本概念 /11.1　数据与数据存储 /11.1.1　数据的基本概念 /11.1.2　数据存储的基本概念 /31.2　物联网与大数据时代面临的机遇和挑战 /41.3　海量数据与海量数据存储 /51.3.1　海量数据的基本概念 /51.3.2　海量数据的存储 /61.4　本章小结与扩展阅读 /7思考题 /7参考文献 /7第2章　数据存储的基本原理 /82.1　数据存储的实现 /82.1.1　存储介质的不同状态 /82.1.2　存储介质的状态感知 /102.1.3　存储介质的状态转换 /112.2　数据的写入与读出技术 /112.3　数据存储设备的发展历史与分类 /122.3.1　数据存储设备的发展历史 /122.3.2　数据存储设备的分类 /172.4　磁盘存储器 /182.4.1　磁盘存储器的基本结构 /182.4.2　磁盘存储器的工作原理 /192.4.3　磁盘存储器的性能指标 /202.4.4　磁盘存储器的发展趋势 /212.5　光盘存储器 /212.5.1　光盘存储器的发展过程 /222.5.2　光盘存储器的基本原理 /242.5.3　光盘存储器的发展趋势 /282.6　数据存储系统 /302.6.1　数据存储系统的基本概念 /302.6.2　Cache的工作原理与替换策略 /302.6.3　虚拟存储器 /362.7　存储系统实验 /372.7.1　实验一：虚拟磁盘（RamDisk） /372.7.2　实验二：文件系统与目录结构 /382.8　本章小结与扩展阅读 /40思考题 /40参考文献 /40第3章　容错磁盘阵列（RAID）的技术和应用 /423.1　RAID的工作原理 /423.1.1　磁盘阵列的基本概念 /423.1.2　磁盘阵列的特性 /443.1.3　磁盘阵列的若干专用术语 /453.2　RAID的分级与结构 /463.2.1　RAID0 /463.2.2　RAID1 /473.2.3　RAID2 /483.2.4　RAID3 /483.2.5　RAID4 /493.2.6　RAID5 /493.2.7　RAID6 /503.2.8　RAID7 /503.2.9　RAID0 + 1 /513.2.10　Matrix RAID /513.2.11　JBOD和NRAID /523.2.12　NV RAID /543.3　RAID的实现技术 /543.3.1　概述 /543.3.2　软件RAID的实现技术 /553.3.3　硬件RAID的实现技术 /623.4　RAID的性能指标与选购要点 /693.4.1　RAID的性能指标 /693.4.2　影响RAID性能的因素 /703.4.3　磁盘阵列控制器模式对比 /713.4.4　RAID的选购要点 /713.5　本章小结与扩展阅读 /73思考题 /73参考文献 /74第4章　网络存储技术 /754.1　概述 /754.1.1　网络存储的分类 /754.1.2　网络存储的发展趋势 /764.2　DAS /774.3　NAS /804.3.1　NAS的主要特点 /804.3.2　NAS的基本结构 /814.3.3　NAS的工作原理 /814.3.4　NAS的应用 /834.3.5　NAS与DAS的比较 /864.3.6　NAS的选购要点 /884.4　SAN /904.4.1　SAN技术的产生 /904.4.2　SAN的结构与工作原理 /924.4.3　SAN的应用 /954.4.4　NAS与SAN的比较 /1014.4.5　融合NAS的SAN的发展趋势 /1024.5　iSCSI /1044.5.1　iSCSI简介 /1044.5.2　iSCSI协议及实现 /1054.5.3　iSCSI的性能 /1084.5.4　iSCSI的安全性问题 /1094.5.5　iSCSI的可用性问题 /1094.5.6　基于iSCSI的存储系统 /1114.5.7　iSCSI的应用 /1124.5.8　iSCSI磁盘阵列产品选购要点 /1134.5.9　iSCSI的发展趋势 /1144.6　云存储技术 /1154.6.1　概述 /1164.6.2　云存储的模型与应用 /1174.6.3　云存储的分类和管理工具 /1214.6.4　基于云存储技术实现在线备份的安全 /1244.6.5　基于云的灾难恢复功能 /1264.7　本章小结与扩展阅读 /127思考题 /127参考文献 /127第5章　海量存储系统的体系结构与管理 /1285.1　海量存储系统的体系结构 /1285.1.1　多级存储层次的基本概念 /1285.1.2　多级存储层次的性能分析 /1305.2　分布式文件系统 /1315.2.1　分布式文件系统的基本概念 /1315.2.2　分布式文件系统的关键技术 /1355.2.3　Ceph：一个Linux PB级分布式文件系统 /1365.3　Hadoop及数据分布式管理 /1385.3.1　Hadoop的基本概念 /1385.3.2　Hadoop的实现 /1395.3.3　Hadoop的应用 /1405.4　海量传感数据管理系统的设计 /1415.4.1　海量传感数据管理系统的设计要求 /1415.4.2　海量传感数据管理系统的总体结构 /1425.4.3　HBase数据库设计 /1425.4.4　传感数据存储管理功能 /1425.4.5　传感数据查看功能 /1435.5　适应新型存储介质的存储体系结构 /1435.5.1　存储体系结构的变化 /1435.5.2　面向新型存储介质的存储体系结构 /1465.6　本章小结与扩展阅读 /147思考题 /148参考文献 /148第6章　存储管理自动化与优化技术 /1496.1　存储管理的自动化与标准化 /1496.1.1　为什么需要存储管理自动化 /1496.1.2　哪些存储管理工作可以自动化 /1506.1.3　存储管理自动化的实现 /1516.1.4　存储管理的标准化 /1526.1.5　SMI-S的主要技术特性及应用 /1536.2　虚拟存储技术 /1556.2.1　虚拟存储的特点 /1556.2.2　存储虚拟化的关键技术 /1566.2.3　虚拟存储的实现模式 /1566.2.4　存储虚拟化的应对措施 /1586.3　软件定义存储 /1596.3.1　软件定义存储的基本概念 /1596.3.2　软件定义存储的体系结构 /1606.3.3　软件定义存储的理念对存储体系设计的影响 /1616.3.4　软件定义存储实施过程需要考虑的问题 /1626.3.5　软件定义存储的发展趋势 /1636.4　数据备份与恢复 /1636.4.1　数据备份与恢复的必要性 /1636.4.2　数据备份与恢复的基本概念 /1646.4.3　容灾与灾难恢复 /1666.4.4　连续数据保护技术 /1686.4.5　个人备份工具CrashPlan /1726.5　重复数据删除 /1766.5.1　重复数据删除的基本概念 /1766.5.2　重复数据删除的基本方法 /1776.5.3　重复数据删除的关键技术 /1786.5.4　源端重复数据删除的利与弊 /1796.5.5　重复数据删除解决方案实例 /1806.6　本章小结与扩展阅读 /181思考题 /182参考文献 /182第7章　存储技术在物联网中的应用 /1837.1　物联网数据的特征与存储需求 /1837.1.1　物联网数据的特征 /1847.1.2　物联网数据的存储需求 /1857.1.3　物联网数据存储系统的评价指标 /1857.2　物联网数据存储模式及实现技术 /1867.2.1　物联网数据存储模式分类 /1867.2.2　物联网典型的存储实现技术 /1867.2.3　物联网存储模式的比较分析 /1897.2.4　物联网数据存储技术的发展趋势 /1907.3　物联网数据存储的高效解决方案 /1907.3.1　物联网数据存储面临的挑战 /1917.3.2　物联网数据存储的研究基础 /1917.3.3　物联网数据存储的体系结构 /1927.3.4　物联网数据存储的实现方法 /1937.3.5　实例研究和讨论 /1967.4　物联网数据中心设计的关键技术 /1987.4.1　物联网数据中心面临的挑战 /1997.4.2　物联网数据中心的总体结构 /2007.4.3　物联网数据中心的应用 /2037.5　TinyOS中的数据存储 /2057.5.1　TinyOS简介 /2057.5.2　卷 /2067.5.3　存储配置数据 /2067.5.4　存储日志数据 /2107.5.5　存储大数据块 /2127.6　无线传感器网络中的容错数据存储技术 /2127.6.1　概述 /2137.6.2　WSN容错存储的相关研究进展 /2137.6.3　设计WSN容错存储方案应考虑的因素 /2147.6.4　备份与恢复机制 /2167.6.5　性能评价 /2187.7　本章小结与扩展阅读 /220思考题 /221参考文献 /221第8章　新型存储技术及发展趋势 /2228.1　存储介质 /2228.1.1　磁存储介质 /2228.1.2　光存储介质 /2278.1.3　半导体存储器 /2298.1.4　DNA存储 /2308.1.5　基于纳米颗粒的存储技术 /2328.2　固态硬盘技术 /2328.2.1　固态硬盘的结构与性能优化 /2338.2.2　闪存感知的RAID技术 /2378.2.3　基于PCIe接口的闪存阵列 /2458.3　铁电存储器 /2498.4　相变存储器 /2508.5　阻变存储器 /2518.6　自旋转移矩磁存储器 /2548.7　本章小结与扩展阅读 /257思考题 /258参考文献 /258

前　言在物联网技术不断发展、应用迅速推广的时代，以无线传感网为代表的数据源不断生产海量数据，像滚滚洪流涌向数据中心，数据存储正面临严峻挑战。大数据时代，各行各业的数据量急剧增加，在分析处理过程中需要进行暂时或长久的数据存储，传统的数据存储技术在容量、速度、功耗、可靠性等方面均难以胜任。为应对挑战，亟待普及与数据存储相关的基础知识，提高数据存储应用和管理的水平，也需要深入研究数据存储的体系结构、管理与优化等提高存储效率的相关技术，同时需要探索基于全新原理的、性能更加优越的存储新技术。本书旨在普及数据存储知识，开阔视野，以应对当前和未来面临的存储挑战。 技术发展的推动和应用需求的牵引使得数据存储技术日新月异。本书内容力求覆盖存储技术的各个方面，从数据存储基本原理到存储系统的维护和管理，从数据存储发展历史到最新技术进展。通过学习本书，你可以掌握或了解： 数据是什么？数据和信息有什么区别？数据如何存储？存储器是怎样工作的？存储设备是如何发展的？RAID的基本概念、级别和发展。 网络存储的发展，DAS、NAS、SAN、iSCSI、云存储的工作原理。 海量存储的体系结构和管理方法，体系结构如何适应存储器的变化？存储管理如何走向自动化？虚拟存储和软件定义存储有何区别？数据的备份与恢复，以及重复数据的删除。 物联网中的数据有何特征？如何有效管理？如何可靠存储？古老的磁盘还充满生机吗？新型的非易失存储芯片进展如何？FRAM、RRAM、PRAM、STT-MRAM的原理、现状、前景如何？感谢上海交通大学傅育熙教授、西安交通大学桂小林教授、武汉大学黄传河教授、上海交通大学蒋建伟教授、华中科技大学秦磊华教授、上海交通大学王东教授、南开大学吴功宜教授、四川大学朱敏教授，在与他们的交流中，我学到了很多知识，开阔了视野，受益匪浅。特别感谢机械工业出版社华章公司温莉芳副总经理的指导和关心，本书是在温老师的鼓励下完成的。特别感谢机械工业出版社华章公司教材部朱劼编辑，感谢她不断的鼓励和极大的耐心及宽容。特别感谢负责本书的佘洁编辑和曲熠编辑，她们极其认真、细致的审阅和极具专业水平的修改建议使本书增色许多。 海量数据存储技术的研究与应用需要多学科综合考虑，涉及材料、物理、计算机科学与技术、可靠性工程、系统科学、管理科学等，因此，存储器件与部件的研究、存储系统的方案设计、软硬件安装调试、日常应用和维护管理等工程都极具挑战性。海量数据存储的堡垒，有待我们探索和攻克!方　粮