大数据时代

推荐阅读：

       迄今为止全世界*好的一本大数据专著。

　　《大数据时代》作者维克托迈尔-舍恩伯格，大数据时代的预言家，《科学》《自然》等著名学术期刊*推崇的互联网研究者之一，“大数据商业应用**人”，拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历。

　　《大数据时代》的译者系我国*年轻有为的大数据专家，电子科技大学互联网科学中心主任、教授、博士生导师周涛教授。这位27 岁的天才型教授，数年来一直带领我国学术界在大数据研究上向国际一流看齐。

　　宽带资本董事长田溯宁，微软全球资深副总裁、微软亚太研发集团主席张亚勤，中国互联网发展重要参与者、知名IT评论人谢文，北京云基地首席顾问、云华时代智能科技有限公司董事长郭昕，上海交通大学长江学者特聘教授、致远学院常务副院长汪小帆，中国传媒大学教授沈浩，清华大学计算机科学与技术系副主任、教授陈文光，中国社科院信息化研究中心秘书长、《互联网周刊》主编姜奇平，《财经》杂志执行主编、《哈佛商业评论》中文版主编何刚、微软亚洲研究院主管研究员谢幸等重磅推荐。

　　大数据是人们获得新的认知，创造新的价值的源泉；大数据还是改变市场、组织机构，以及政府与公民关系的方法。作者认为，大数据的核心就是预测。这个核心代表着我们分析信息时的三个转变。**个转变就是，在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于*采样。第二个改变就是，研究数据如此之多，以至于我们不再热衷于追求精确度。第三个转变因前两个转变而促成，即我们不再热衷于寻找因果关系。

　　《大数据时代》是国外大数据系统研究的先河之作，本书作者维克托?迈尔?舍恩伯格被誉为“大数据商业应用*人”，拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历，早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。
　　维克托尔耶舍恩伯格在本书中前瞻性地指出，大数据带来的信息风暴正在变革我们的生活、工作和思维，大数据开启了一次重大的时代转型，并用三个部分讲述了大数据时代的思维变革、商业变革和管理变革。
　　维克托*洞见之处在于，他明确指出，大数据时代*的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。
　　本书认为大数据的核心就是预测。大数据将为人类的生活创造前所未有的可量化的维度。大数据已经成为了新发明和新服务的源泉，而更多的改变正蓄势待发。书中展示了谷歌、微软、亚马逊、IBM、苹果、facebook、twitter、VISA等大数据先锋们*价值的应用案例。

　　维克托迈尔-舍恩伯格（Viktor Mayer-Schnberger）
　　“大数据时代的预言家”，他是十余年潜心研究数据科学的技术权威，他是早洞见大数据时代发展趋势的数据科学家之一，也是受人尊敬的权威发言人之一。他曾先后任教于世界著名的几大互联网研究学府。现任牛津大学网络学院互联网治理与监管专业教授，曾任哈佛大学肯尼迪学院信息监管科研项目负责人，哈佛国家电子商务研究中网络监管项目负责人；曾任新加坡国立大学李光耀学院信息与创新策略研究中心主任。并担任耶鲁大学、芝加哥大学、弗吉尼亚大学、圣地亚哥大学、维也纳大学的客座教授。
　　他的学术成果斐然，有一百多篇论文公开发表在《科学》《自然》等著名学术期刊上，他同时也是哈佛大学出版社、麻省理工出版社、通信政策期刊、美国社会学期刊等多家出版机构的特约评论员。
　　他是备受众多世界知名企业信赖的信息权威与顾问。他的咨询客户包括微软、惠普和IBM等全球*企业；而他自己早在1986年与1995年就担任两家软件公司的总裁兼CEO，由他的公司开发的病毒通用程序，成为当时奥地利畅销的软件产品。1991年跻身奥地利软件企业家前5名之列，2000年被评为奥地利萨尔斯堡州的年度人物。
　　他也是众多机构和国家政府高层的信息政策智囊。他一直专注于信息安全与信息政策与战略的研究，是欧盟专家之一，也是世界经济论坛、马歇尔计划基金会等重要机构的咨询顾问，同时他以大数据的全球视野，熟悉亚洲信息产业的发展与战略布局，先后担任新加坡商务部高层、文莱国防部高层、科威特商务部高层、迪拜及中东政府高层的咨询顾问。

　　肯尼斯库克耶（Kenneth Cukier）
　　《经济学人》数据编辑，曾任职于《华尔街日报》（亚洲版）和《国际先驱论坛报》。他是美国外交关系协会成员，CNN、BBC和NPR的定期商业和技术评论员之一。

推荐序一　 拥抱“大数据时代”
宽带资本董事长 田溯宁
推荐序二　 实实在在大数据
中国互联网发展的重要参与者，知名IT 评论人
译者序　在路上晃晃悠悠
电子科技大学教授，互联网科学中心主任
引言　一场生活、工作与思维的大变革
大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发……
大数据，变革公共卫生
大数据，变革商业
大数据，变革思维
大数据，开启重大的时代转型
预测，大数据的核心
大数据，大挑战

部分 大数据时代的思维变革
第1章 更多：不是随机样本，而是全体数据
当数据处理技术已经发生了翻天覆地的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据，“样本=总体”。
让数据“发声”
小数据时代的随机采样，少的数据获得多的信息
全数据模式，样本=总体

第2章 更杂：不是精确性，而是混杂性
执迷于精确性是信息缺乏时代和模拟时代的产物。只有5% 的数据是有框架且能适用于传统数据库的。如果不接受混乱，剩下95%的非框架数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。
允许不精确
大数据的简单算法比小数据的复杂算法更有效
纷繁的数据越多越好
混杂性，不是竭力避免，而是标准途径
新的数据库设计的诞生

第3章 更好：不是因果关系，而是相关关系
知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。
关联物，预测的关键
“是什么”，而不是“为什么”
改变，从操作方式开始
大数据，改变人类探索世界的方法

第二部分 大数据时代的商业变革
第4章　 数据化：一切皆可“量化”
大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见，但是如今信息技术变革的重点在“T”（技术）上，而不是在“I”（信息）上。现在，我们是时候把聚关灯打向“I”，开始关注信息本身了。
数据，从不可能的地方提取出来
数据化，不是数字化
量化一切，数据化的核心
当文字变成数据
当方位变成数据
当沟通成为数据
一切事物的数据化

第5章 价值：“取之不尽，用之不竭”的数据创新
数据就像一个神奇的钻石矿，当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山，眼只能看到冰山的一角，而绝大部分都隐藏在表面之下。
数据创新1：数据的再利用
数据创新2：重组数据
数据创新3：可扩展数据
数据创新4：数据的折旧值
数据创新5：数据废气
数据创新6：开放数据
给数据估值

第6章 角色定位：数据、技术与思维的三足鼎立
微软以1.1 亿美元的价格购买了大数据公司Farecast，而两年后谷歌则以7 亿美元的价格购买了给Farecast 提供数据的ITASoftware公司。如今，我们正处在大数据时代的早期，思维和技术是有价值的，但是终大部分的价值还是必须从数据本身来挖掘。
大数据价值链的3大构成
大数据掌控公司
大数据技术公司
大数据思维公司和个人
全新的数据中间商
专家的消亡与数据科学家的崛起
大数据，决定企业的竞争力

第三部分 大数据时代的管理变革
第7章 风险：让数据主宰一切的隐忧
我们时刻都暴露在“第三只眼”之下：亚马逊监视着我们的购物习惯，谷歌着监视我们的网页浏览习惯，而微博似乎什么都知道，不仅窃听到了我们心中的“TA”，还有我们的社交关系网。
无处不在的“第三只眼”
我们的隐私被二次利用了
预测与惩罚，不是因为所做，而是因为“将做”
数据独裁
挣脱大数据的困境

第8章 掌控：责任与自由并举的信息管理
当世界开始迈向大数据时代时，社会也将经历类似的地壳运动。在改变人类基本的生活与思考方式的同时，大数据早已在推动人类信息管理准则的重新定位。然而，不同于印刷革命，我们没有几个世纪的时间去适应，我们也许只有几年时间。
管理变革1：个人隐私保护，从个人许可到让数据使用者承担责任
管理变革2：个人动因VS预测分析
管理变革3：击碎黑盒子，大数据程序员的崛起
管理变革4：反数据垄断大亨
结语 正在发生的未来
大数据并不是一个充斥着算法和机器的冰冷世界，人类的作用依然无法被完全替代。大数据为我们提供的不是终答案，只是参考答案，帮助是暂时的，而更好的方法和答案还在不久的未来。

一场生活、工作与思维的大变革（节选）
大数据，变革商业
　　　大数据不仅改变了公共卫生领域，整个商业领域都因为大数据而重新洗牌。购买飞机票就是一个很好的例子。
　　　2003 年，奥伦 埃齐奥尼（OrenEtzioni）准备乘坐从西雅图到洛杉矶的飞机去参加弟弟的婚礼。他知道飞机票越早预订越便宜，于是他在这个大喜日子来临之前的几个月，就在网上预订了一张去洛杉矶的机票。在飞机上，
　　　埃齐奥尼好奇地问邻座的乘客花了多少钱购买机票。当得知虽然那个人的机票比他买得更晚，但是票价却比他便宜得多时，他感到非常气愤。于是，他又询问了另外几个乘客，结果发现大家买的票居然都比他的便宜。对大多数人来说，这种被敲竹杠的感觉也许会随着他们走下飞机而消失。然而，埃齐奥尼是美国有名的计算机专家之一，从他担任华盛顿大学人工智能项目的负责人开始，他创立了许多在今天看来非常典型的大数据公司，而那时候还没有人提出“大数据”这个概念。
　　　1994 年，埃齐奥尼帮助创建了早的互联网搜索引擎MetaCrawler，该引擎后来被InfoSpace公司收购。他联合创立了个大型比价网站Netbot，后来把它卖给了Excite公司。他创立的从文本中挖掘信息的公司ClearForest则被路透社收购了。在他眼中，世界就是一系列的大数据问题，而且他认为他有能力解决这些问题。作为哈佛大学首届计算机科学专业的本科毕业生，自1986年毕业以来，他也一直致力于解决这些问题。
　　　飞机着陆之后，埃齐奥尼下定决心要帮助人们开发一个系统，用来推测当前网页上的机票价格是否合理。作为一种商品，同一架飞机上每个座位的价格本来不应该有差别。但实际上，价格却千差万别，其中缘由只有航空公司自己清楚。
　　　埃齐奥尼表示，他不需要去解开机票价格差异的奥秘。他要做的仅仅是预测当前的机票价格在未来一段时间内会上涨还是下降。这个想法是可行的，但操作起来并不是那么简单。这个系统需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。

　　维克托迈尔-舍恩伯格教授这本《大数据时代》，是我看到的*好的大数据著作，不仅对于产业实践者，还是对于政府和公众机构，都是非常具有价值的。只要我们以开放的心态、创新的勇气拥抱“大数据时代”，就一定会抓住历史赋予中国创新的机会。
　　田溯宁 宽带资本董事长

　　正如迈尔-舍恩伯格教授认为的，大数据要求人们改变对精确性的苛求，转而追求混杂性；要求人们改变对因果关系的追问，转而追求相关关系。这种思维的转变将是革命性的，如果企业不能认识到这一思维方式转变的重要性和迫切性，将会面临“数据鸿沟”的挑战。
　　张亚勤微软全球资深副总裁，微软亚太研发集团主席

　　过去几年，在大数据方面我读过十几本书、上百篇论文和文章。相对而言，维克托的《大数据时代》是迄今为止我读过的*好的一本专著，中英文都算上。
　　谢文 中国互联网发展的重要参与者，知名IT评论人

　　大数据正把我们变成新的物种。首先，大数据改变了我们的思维方式，让我们从因果关系的串联思维变成了相关关系的并联思维。第二，大数据改变了我们的生产方式，物质产品的生产退居次位，信息产品的加工将成为主要的生产活动。第三，大数据改变了我们的生活方式，我们的精神世界和物质世界都将构建在大数据之上。大数据不仅仅是一门技术，更是一种全新的商业模式，它与云计算共同构成了下一代经济的生态系统。一切皆信息。
　　郭昕　 北京云基地首席顾问，云华时代智能科技有限公司董事长

　　随着大数据热潮的不断升温，相信今后几年会有更多以大数据为主题的著作问世。这本先河之作用各种案例生动阐述了大数据所带来的变革。你可以不同意书中的某些观点，但是大数据所带来的变革已经开始发生并将继续深入。我们需要共同面临的挑战是：越来越大的数据如何才能让世界变得越来越美丽？
　　汪小帆 上海交通大学长江学者特聘教授，致远学院常务副院长

　　我们生活在社会中，就不得不同数据打交道。我们也是数据的一部分，不论我们想不想与大数据牵扯到一起，数据都会找到我们，覆盖我们。大数据时代已经来临，如何从海量数据中发现知识，寻找隐藏在大数据中的模式、趋势和相关性，揭示社会现象与社会发展规律，以及可能的商业应用前景，都需要我们拥有更好的数据洞察力。
　　沈浩 中国传媒大学教授

　　大数据无疑是当前的热门话题，对产业界、学术界和教育界都正在产生巨大的影响。然而到底什么是大数据，大数据到底和过去的数据分析技术有何联系和不同？这又是一个各执一词的问题。本书的角度非常独特而深入，提出了“不是随机样本，而是所有数据”“不是精确性，而是混杂性”“不是因果关系，而是相关关系”这样三个关于大数据的鲜明观点，并引用很多例子加以说明，非常值得仔细研读和思考。
　　陈文光　 清华大学计算机科学与技术系副主任、教授

　　维克托认为大数据将使人们从对因果关系的渴求转向关注相关关系，这是对人类关系结构变革的深刻洞察。因果关系通向金字塔的建立，相关关系通向扁平化的实现。大数据由此将带来对人的重新认识，不是在阿波罗神庙，而是在小世界网络中“认识你自己”。
　　姜奇平 中国社科院信息化研究中心秘书长，《互联网周刊》主编

　　大数据时代已经来临，先知、先觉、先行和先试者既可能率先受益，也可能率先迷失，关键在于能否看清创新方向并找到应用模式。《大数据时代》这本书*突出的价值，就在于其对商业实践的跟踪与建议。即使作者的一些预见在未来也许会落空，其大胆探索大数据商业应用的努力，仍然值得鼓励。
　　何 刚 《财经》杂志执行主编，《哈佛商业评论》中文版主编

　　在人们还在沉浸于讨论多大规模的数据才是“大数据”的时候，《大数据时代》这本书就“大数据时代”将对人类社会带来的革命性影响进行了深刻的分析。正如书中所述，“大数据”的本质是思维、商业和管理领域前所未有的大变革。领衔翻译本书的周涛教授是国内大数据和网络科学领域的青年领军人物，相信对不同层次的读者都会裨益匪浅。
　　谢幸　 微软亚洲研究院主管研究员

　　大数据，变革商业
　　大数据不仅改变了公共卫生领域，整个商业领域都因为大数据而重新洗牌。购买飞机票就是一个很好的例子。
　　2003 年，奥伦 埃齐奥尼（OrenEtzioni）准备乘坐从西雅图到洛杉矶的飞机去参加弟弟的婚礼。他知道飞机票越早预订越便宜，于是他在这个大喜日子来临之前的几个月，就在网上预订了一张去洛杉矶的机票。在飞机上，
　　埃齐奥尼好奇地问邻座的乘客花了多少钱购买机票。当得知虽然那个人的机票比他买得更晚，但是票价却比他便宜得多时，他感到非常气愤。于是，他又询问了另外几个乘客，结果发现大家买的票居然都比他的便宜。对大多数人来说，这种被敲竹杠的感觉也许会随着他们走下飞机而消失。然而，埃齐奥尼是美国有名的计算机专家之一，从他担任华盛顿大学人工智能项目的负责人开始，他创立了许多在今天看来非常典型的大数据公司，而那时候还没有人提出“大数据”这个概念。
　　1994 年，埃齐奥尼帮助创建了早的互联网搜索引擎MetaCrawler，该引擎后来被InfoSpace公司收购。他联合创立了个大型比价网站Netbot，后来把它卖给了Excite公司。他创立的从文本中挖掘信息的公司ClearForest则被路透社收购了。在他眼中，世界就是一系列的大数据问题，而且他认为他有能力解决这些问题。作为哈佛大学首届计算机科学专业的本科毕业生，自1986年毕业以来，他也一直致力于解决这些问题。
　　飞机着陆之后，埃齐奥尼下定决心要帮助人们开发一个系统，用来推测当前网页上的机票价格是否合理。作为一种商品，同一架飞机上每个座位的价格本来不应该有差别。但实际上，价格却千差万别，其中缘由只有航空公司自己清楚。
　　埃齐奥尼表示，他不需要去解开机票价格差异的奥秘。他要做的仅仅是预测当前的机票价格在未来一段时间内会上涨还是下降。这个想法是可行的，但操作起来并不是那么简单。这个系统需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。
　　如果一张机票的平均价格呈下降趋势，系统就会帮助用户做出稍后再购票的明智选择。反过来，如果一张机票的平均价格呈上涨趋势，系统就会提醒用户立刻购买该机票。换言之，这是埃齐奥尼针对9000米高空开发的一个加强版的信息预测系统。这确实是一个浩大的计算机科学项目。不过，这个项目是可行的。于是，埃齐奥尼开始着手启动这个项目。埃齐奥尼创立了一个预测系统，它帮助虚拟的乘客节省了很多钱。这个预测系统建立在41天内价格波动产生的12 000个价格样本基础之上，而这些信息都是从一个旅游网站上搜集来的。这个预测系统并不能说明原因，只能推测会发生什么。也就是说，它不知道是哪些因素导致了机票价格的波动。机票降价是因为很多没卖掉的座位、季节性原因，还是所谓的周六晚上不出门，它都不知道。这个系统只知道利用其他航班的数据来预测未来机票价格的走势。“买还是不买，这是一个问题。”埃齐奥尼沉思着。他给这个研究项目取了一个非常贴切的名字，叫“哈姆雷特”。
　　这个小项目逐渐发展成为一家得到了风险投资基金支持的科技创业公司，名为Farecast。通过预测机票价格的走势以及增降幅度，Farecast票价预测工具能帮助消费者抓住购买时机，而在此之前还没有其他网站能让消费者获得这些信息。
　　这个系统为了保障自身的透明度，会把对机票价格走势预测的可信度标示出来，供消费者参考。系统的运转需要海量数据的支持。为了提高预测的准确性，埃齐奥尼找到了一个行业机票预订数据库。有了这个数据库，系统进行预测时，预测的结果就可以基于美国商业航空产业中，每一条航线上每一架飞机内的每一个座位一年内的综合票价记录而得出。如今，Farecast已经拥有惊人的约2 000 亿条飞行数据记录。利用这种方法，Farecast 为消费者节省了一大笔钱。
　　棕色的头发，露齿的笑容，无邪的面孔，这就是奥伦埃齐奥尼。他看上去完全不像是一个会让航空业损失数百万潜在收入的人。但事实上，他的目光放得更长远。2008年，埃齐奥尼计划将这项技术应用到其他领域，比如宾馆预订、二手车购买等。只要这些领域内的产品差异不大，同时存在大幅度的价格差和大量可运用的数据，就都可以应用这项技术。但是在他实现计划之前，微软公司找上了他并以1.1亿美元的价格收购了Farecast 公司。而后，这个系统被并入必应搜索引擎。
　　到2012 年为止，Farecast 系统用了将近十万
　　亿条价格记录来帮助预测美国国内航班的票价。
　　大数据洞察
　　Farecast 票价预测的准确度已经高达75 ％，
　　使用Farecast 票价预测工具购买机票的旅客，
　　平均每张机票可节省50 美元。
　　Farecast 是大数据公司的一个缩影，也代表了当今世界发展的趋势。五年或者十年之前，奥伦埃齐奥尼是无法成立这样的公司的。他说：“这是不可能的。”那时候他所需要的计算机处理能力和存储能力太昂贵了！虽说技术上的突破是这一切得以发生的主要原因，但也有一些细微而重要的改变正在发生，特别是人们关于如何使用数据的理念。
　　……