小数据之美：如何预见自我、世界与未来

1、精准定义自我与用户的需求，寻找小数据的高价值。

2、发现大数据忽视的盲点与机遇，用小数据发现新的商业与趋势。

3、谁控制了小数据谁就是赢家。

数据本无大小，但应用场合、处理方式的不同却分出大小，是谓小数据。数据表示的是过去，但表达的是未来，所以应用数据不仅需要全量数据，也需要样本数据；不仅要了解相关性，更要明白因果关系；不仅要预见未来，更要量化自我。这就迫使我们从更广泛的角度理解小数据，梳理小数据与大数据的分野，从而将相关思路投射、印证于小数据，考察其核心特点和应用特质。本书系统、全面的阐释了小数据，揭示了小数据之美、小数据之道、小数据之魅、小数据之巅，揭示了数据的局面在变化、逻辑在更新、未来在演进。重新审视我们的时代，小数据，尽管仍笼罩在迷雾中，但其已经开始在我们脑海中浮现出整体的轮廓。

陈辉（1978-），经济学博士、精算师，中央财经大学中国精算研究院助理研究员,央财国际研究院创始人，央财金融科技智库发起人。先后在《统计研究》、《保险研究》等期刊发表20多篇文章；主要著作包括《相互保险丛书》、《股票连接保险的定价、准备金评估和风险对冲研究》、《寿险公司价值评估研究》、《互联网保险新模式》等；另外参编多本书籍，包括《保险学词典》、《中国保险公司竞争力评价研究报告（2011-2017）》、《中国保险市场发展分析蓝皮书（2016-2017）》等。目前专注于金融科技和保险科技、小数据和大数据、互联网保险和相互保险的探索研究。

第一章 小数据时代的到来
一、小数据之蜕变 / 003
二、小数据之崛起 / 006
三、小数据大潜能 / 014
第二章 大数据时代的小数据
一、数据变化趋势 / 023
二、数据本无大小 / 025
三、大小相得益彰 / 030
四、打通数据孤岛 / 035
第三章 智能时代的小数据
一、智能无处不在 / 043
二、智能产品到嵌入程序 / 047
三、小数据与人工智能 / 051
四、小数据与智能产品 / 052
五、小数据与虚拟现实 / 054
六、小数据与增强现实 / 054
第四章 小数据蕴含的大智慧
一、小数据的逻辑 / 059
二、什么时候想起小数据？ / 072
三、贝叶斯真的能推理吗？ / 075
四、回归分析是力大无穷的！ / 076
五、让小数据逼近真相 / 079
六、与小概率平起平坐 / 081
第五章 小数据赋能人工智能
一、小数据决定人工智能的未来 / 085
二、谁控制了小数据谁才是赢家 / 090
三、用小数据也能机器学习 / 099
四、会学习的小数据更强大 / 102
第六章 未来科技依赖小数据
一、小数据驱动复杂系统的优化 / 113
二、小数据推动自适应系统的进化 / 121
三、小数据助力模糊系统的应用 / 130
四、小数据创新小数据系统的发展 / 140
第七章 小数据的再认识
一、小数据的现象本质 / 153
二、小数据的原因结果 / 158
第八章 预见自我
一、智能化人生 / 167
二、智能化健康 / 174
三、智能化学习 / 178
四、智能化医疗 / 181
第九章 预见世界
一、认知的革命 / 187
二、经营的本质 / 192
三、信用的价值 / 198
四、军事的科学 / 202
第十章 预见未来
一、小数据与黑天鹅 / 207
二、小数据与灰犀牛 / 216
三、小数据与独角兽 / 223
四、小数据与长尾分布 / 231
五、小数据与随机漫步 / 234
第十一章 大数据时代的小数据革命
一、大数据时代隐忧 / 241
二、让遗忘回归常态 / 244
三、让精简成为王道 / 247
四、从细节预见未来 / 249
五、从量化自我开始 / 252
六、迎接小数据时代 / 259
第十二章 小数据思想成就大未来
一、厘清小数据的关系 / 265
二、形成小数据思维 / 278
三、读懂小数据逻辑 / 287
四、掌握小数据的智慧 / 294
五、成为小数据科学家 / 301
参考文献 / 307

前 言
“忽如一夜春风来，千树万树梨花开。”似乎在一夜之间，大数据就红遍了南北半球，在神州大地更是一时风头无二。与此同时，大数据也被神化得无处不在，无所不包，无所不能。这里面有认识上的原因，也有跟风的成分。我们以为，越是在热得发烫的时候，越是需要有人在旁边吹吹冷风。在这里谈谈小数据的重要性、预测态、未来式，并非要否定大数据的价值。相反，只有我们充分认识了小数据的特点和应用，才能更好地利用大数据，才能通过小数据和大数据的互补，更好地展现数据之美、数据之道、数据之魅、数据之巅。
数据本无大小，但应用场合、处理方式的不同却分出大小。数据表示的是过去，但表达的是未来，所以应用数据不仅需要全量数据，也需要样本数据；不仅要了解相关性，更要明白因果关系；不仅要预见未来，更要量化自我。这就迫使我们从更广泛的角度理解小数据，梳理小数据与大数据的分野，从而将相关思路投射、印证于小数据，考察其核心特点和应用特质。除传统统计学以外，人工智能、复杂系统等技术的发展，小数据也能学习，小数据也能复杂化，小数据远比我们想象的要强大。这本书主要通过一些小案例来理解小数据之美，如中医的“望闻问切”、保险的“大数法则”、军事的“战略与战术”、信用的“能力与意愿”、生态的“小环境与大环境”、企业的“账面与实际”、教育的“应试教育与素质教育”等，进而揭示数据的局面变化、逻辑更新、未来演进。
传统思想要求我们“知己知彼，百战不殆”“运筹帷幄，决胜千里”“抽丝剥茧，明察秋毫”，互联网思维要求我们“精简”“取舍”“极致”“专注”，偶尔也思考“黑天鹅”“灰犀牛”，但大多数时间都沉陷于“大数据”和“大数据时代”。我们迫切需要一点新的思路、新的视角，我们需要更系统、更强大的小数据，我们需要更全面地理解小数据。重新审视我们的时代。小数据，尽管仍笼罩在迷雾中，但已经开始在我们脑海中浮现出其整体的轮廓，这就是我们选择写《小数据之美》的初衷，也是我们选择写《小数据之美》的本义。
本书由陈辉编著，中央财经大学硕士研究生李明子、李冰，招商银行易斯琪，央财国际研究院特约研究员庞博参与了本书主要章节的资料整理，由陈辉统一修改定稿。
本书在编写过程中，参考了国际国内的相关著作、论文、报告和案例，中央财经大学中国精算研究院的多位专家学者提出了许多有益的修改意见，在此一并表示感谢。由于时间紧迫和编者水平有限，书中疏漏、错误之处在所难免，敬请读者批评指正。

中央财经大学中国精算研究院 陈辉博士
前 言
“忽如一夜春风来，千树万树梨花开。”似乎在一夜之间，大数据就红遍了南北半球，在神州大地更是一时风头无二。与此同时，大数据也被神化得无处不在，无所不包，无所不能。这里面有认识上的原因，也有跟风的成分。我们以为，越是在热得发烫的时候，越是需要有人在旁边吹吹冷风。在这里谈谈小数据的重要性、预测态、未来式，并非要否定大数据的价值。相反，只有我们充分认识了小数据的特点和应用，才能更好地利用大数据，才能通过小数据和大数据的互补，更好地展现数据之美、数据之道、数据之魅、数据之巅。
数据本无大小，但应用场合、处理方式的不同却分出大小。数据表示的是过去，但表达的是未来，所以应用数据不仅需要全量数据，也需要样本数据；不仅要了解相关性，更要明白因果关系；不仅要预见未来，更要量化自我。这就迫使我们从更广泛的角度理解小数据，梳理小数据与大数据的分野，从而将相关思路投射、印证于小数据，考察其核心特点和应用特质。除传统统计学以外，人工智能、复杂系统等技术的发展，小数据也能学习，小数据也能复杂化，小数据远比我们想象的要强大。这本书主要通过一些小案例来理解小数据之美，如中医的“望闻问切”、保险的“大数法则”、军事的“战略与战术”、信用的“能力与意愿”、生态的“小环境与大环境”、企业的“账面与实际”、教育的“应试教育与素质教育”等，进而揭示数据的局面变化、逻辑更新、未来演进。
传统思想要求我们“知己知彼，百战不殆”“运筹帷幄，决胜千里”“抽丝剥茧，明察秋毫”，互联网思维要求我们“精简”“取舍”“极致”“专注”，偶尔也思考“黑天鹅”“灰犀牛”，但大多数时间都沉陷于“大数据”和“大数据时代”。我们迫切需要一点新的思路、新的视角，我们需要更系统、更强大的小数据，我们需要更全面地理解小数据。重新审视我们的时代。小数据，尽管仍笼罩在迷雾中，但已经开始在我们脑海中浮现出其整体的轮廓，这就是我们选择写《小数据之美》的初衷，也是我们选择写《小数据之美》的本义。
本书由陈辉编著，中央财经大学硕士研究生李明子、李冰，招商银行易斯琪，央财国际研究院特约研究员庞博参与了本书主要章节的资料整理，由陈辉统一修改定稿。
本书在编写过程中，参考了国际国内的相关著作、论文、报告和案例，中央财经大学中国精算研究院的多位专家学者提出了许多有益的修改意见，在此一并表示感谢。由于时间紧迫和编者水平有限，书中疏漏、错误之处在所难免，敬请读者批评指正。

中央财经大学中国精算研究院 陈辉博士

雷涛 天云大数据CEO
大音希声，大象无形。越是宏大主题越飘渺宏远。这本书着眼于“小”，有着清晰的目标对象（个体）、资源和方法（有答案的机器学习），这无异于为读者打开了起步数据迷宫的入口，无论大小数据，从此入口进入，一探究竟。
张韶峰 百融金服创始人、董事长
我们正步入一个大数据的时代，但对于以往的小数据，我们能做到“事了拂衣去，深藏身与名”吗?答案显然是不能。目前，大数据的前途似乎“星光灿烂”，但小数据的价值依然“风采无限”。大数据和小数据，他们“配套而来”，共同勾画数据技术时代的未来。
蒋韬 同盾科技创始人、董事长
大数据和小数据是相辅相成的，这本书阐释了小数据之美，将小数据与大数据的关系以及小数据独特的价值全面呈现出来。相信每一位读者将会从中受益，真正领略到小数据的魅力，更好地认识到小数据在各领域的价值和作用。
刘星 红杉资本中国基金合伙人
这本书深入浅出地讲解了大数据和小数据的辩证关系，帮助读者拨开数据迷雾，看清数据价值的本原，从而更好地建立数据思维，管好数据，用好数据，让身边的小数据发挥出大能量，实现企业经营管理的数据化，提高企业竞争力。

躲避灰犀牛的侵扰，方法有很多种：可以是直面危机，化危机为机遇，也可以是避免损失，或者至少是减少损失。适时的预防可以使局面发生戏剧性的转变，它可以使危机不再继续恶化。很多时候，损失已经无可挽回，事情也无法回到初始状态。但是，如果我们能把损失控制到最小，也不失为一种进步。
灰犀牛理论提出，决策者应该关注以下几方面。
第一，采取“游猎攻略”，关注大数据所带来的新的思考维度，尤其是海量数据所揭示出的规律性的例外情况。根据德鲁克的决策五要素模型（问题的性质、边界条件、正确方案、执行措施和评估反馈），大数据最有作为的就是在问题的性质界定上。通过大数据，可以及时发现公司运营中被忽略和遗漏的信息。当这些信息呈现出规律性时，即使这些信息不是那么紧急，决策者也需要开始行动，做好迎接的准备。此外，采取必要的对冲机制也是一种可行的方案。
第二，在大数据时代，系统思考能力的重要性更加凸显。在数据的汪洋大海中，如果没有足够的系统思考能力，决策者将陷入细节，根本无法找到正确方向。对于各级决策者，要尽量以更宏观的视野和更系统的思考，准确界定问题，明确决策的影响边界，要避免由于数据而带来的应激性管理冲动。
第三，数据从来就不是万能的，决策者需要的是深入实际。詹姆斯·斯科特（James C.Scott）在《国家的视角》（Seeing Like a State）一书中描述了数据崇拜带来的恶果：依靠地图重建社区，却完全不知道其中民众的生活状态；依靠农收数据决定采取集体农庄，却完全不懂农业生产的规律；依靠图纸数据天马行空地进行规划，过度强调整齐划一，忽视多样性和地方传统。与查看各种报表和曲线图而做决策相比，决策者到基层倾听客户的抱怨，体验员工的辛劳，感受市场的多元化，会更有助于做出好的决策。
就我个人而言，我更倾向利用小数据去挑战灰犀牛。
首先，面对来势汹汹的灰犀牛，小数据可以在海量数据中发现企业运营中被忽略和遗漏的信息后，捕捉到与企业休戚相关的“小细节”但“大到难以忽视”的信息，并迅速对其做出反应。例如，如果恐怖分子只学开飞机，不学降落这个小细节被关注，美国反恐历史可能要重写。还有一个例子可以说明小细节的大功效。依据大数据，旧金山地区卫生部门发现同性恋人群肝病发病率上升预计艾滋病例也会上升，但对这两种疾病流行正相关的预测失败。深入调查发现，同性恋对艾滋病越来越持平常心。他们利用社交网络，主动张贴自己的情况，避免交叉感染。这次，关于行为和动机的小数据又解释了大数据看不到的规律。换句话说，小数据所捕捉到的小细节是需要通过深刻的感知和学习而形成的对个体内部动作机理的描述，这样见微知著的小细节揭示出了大数据无法展现的个体思维和个性，因此能够解决很多大问题。
其次，小数据会驱动我们对有利可图的事情开展行动，不会单纯为了避免问题的发生而采取行动。我们可以认识到危机问题的独特之处，并且把它们作为机遇来面对，重大危机发生之前的种种端倪其实都是一次次绝佳的机遇，这样才能做到不仅能躲避灾难的袭击，而且能从中获益。例如，2007年金融危机即将发生的时候，一些华尔街内部人士通过寻找有政府背景的企业高管进行危机应对交流，通过他们的言谈举止判断危机发生后政府是否会出手救助，他们非常清楚这些企业高管的所作所为会导致风险累积，进而爆发危机。因此他们在危机到来前尽量抛售个人持仓，通过选择做空实现了从金融危机中赚钱。
最后，小数据可以帮助你记住最重要的事情，时刻提醒你灰犀牛就在眼前。有人打了一个比方，他说今天我们是处在一个信息过剩的时代，以前要获取信息非常困难，而今天打开手机到处都是信息，但是大部分的信息只影响你的皮肤，没有深入你的身体里。看上去你获取了很多的信息，其实你没有把这些信息真正消化掉，这就相当于你在灰犀牛面前却丝毫不会察觉到异状。而小数据的本质是深化，它能让你看到它最核心的东西，并时刻提醒你危机的存在。就像我们有时会在一个笔记本上记录下我们听不懂的重点和难点问题，回过头来还要仔细复习一样；或者像一个床头的小闹钟，时刻提醒我们每天都要利用好清晨，为一天的工作做好预习，最大限度应对我们已经知道并在未来可能出现的大概率危机。
躲避灰犀牛的侵扰，方法有很多种：可以是直面危机，化危机为机遇，也可以是避免损失，或者至少是减少损失。适时的预防可以使局面发生戏剧性的转变，它可以使危机不再继续恶化。很多时候，损失已经无可挽回，事情也无法回到初始状态。但是，如果我们能把损失控制到最小，也不失为一种进步。
灰犀牛理论提出，决策者应该关注以下几方面。
第一，采取“游猎攻略”，关注大数据所带来的新的思考维度，尤其是海量数据所揭示出的规律性的例外情况。根据德鲁克的决策五要素模型（问题的性质、边界条件、正确方案、执行措施和评估反馈），大数据最有作为的就是在问题的性质界定上。通过大数据，可以及时发现公司运营中被忽略和遗漏的信息。当这些信息呈现出规律性时，即使这些信息不是那么紧急，决策者也需要开始行动，做好迎接的准备。此外，采取必要的对冲机制也是一种可行的方案。
第二，在大数据时代，系统思考能力的重要性更加凸显。在数据的汪洋大海中，如果没有足够的系统思考能力，决策者将陷入细节，根本无法找到正确方向。对于各级决策者，要尽量以更宏观的视野和更系统的思考，准确界定问题，明确决策的影响边界，要避免由于数据而带来的应激性管理冲动。
第三，数据从来就不是万能的，决策者需要的是深入实际。詹姆斯·斯科特（James C.Scott）在《国家的视角》（Seeing Like a State）一书中描述了数据崇拜带来的恶果：依靠地图重建社区，却完全不知道其中民众的生活状态；依靠农收数据决定采取集体农庄，却完全不懂农业生产的规律；依靠图纸数据天马行空地进行规划，过度强调整齐划一，忽视多样性和地方传统。与查看各种报表和曲线图而做决策相比，决策者到基层倾听客户的抱怨，体验员工的辛劳，感受市场的多元化，会更有助于做出好的决策。
就我个人而言，我更倾向利用小数据去挑战灰犀牛。
首先，面对来势汹汹的灰犀牛，小数据可以在海量数据中发现企业运营中被忽略和遗漏的信息后，捕捉到与企业休戚相关的“小细节”但“大到难以忽视”的信息，并迅速对其做出反应。例如，如果恐怖分子只学开飞机，不学降落这个小细节被关注，美国反恐历史可能要重写。还有一个例子可以说明小细节的大功效。依据大数据，旧金山地区卫生部门发现同性恋人群肝病发病率上升预计艾滋病例也会上升，但对这两种疾病流行正相关的预测失败。深入调查发现，同性恋对艾滋病越来越持平常心。他们利用社交网络，主动张贴自己的情况，避免交叉感染。这次，关于行为和动机的小数据又解释了大数据看不到的规律。换句话说，小数据所捕捉到的小细节是需要通过深刻的感知和学习而形成的对个体内部动作机理的描述，这样见微知著的小细节揭示出了大数据无法展现的个体思维和个性，因此能够解决很多大问题。
其次，小数据会驱动我们对有利可图的事情开展行动，不会单纯为了避免问题的发生而采取行动。我们可以认识到危机问题的独特之处，并且把它们作为机遇来面对，重大危机发生之前的种种端倪其实都是一次次绝佳的机遇，这样才能做到不仅能躲避灾难的袭击，而且能从中获益。例如，2007年金融危机即将发生的时候，一些华尔街内部人士通过寻找有政府背景的企业高管进行危机应对交流，通过他们的言谈举止判断危机发生后政府是否会出手救助，他们非常清楚这些企业高管的所作所为会导致风险累积，进而爆发危机。因此他们在危机到来前尽量抛售个人持仓，通过选择做空实现了从金融危机中赚钱。
最后，小数据可以帮助你记住最重要的事情，时刻提醒你灰犀牛就在眼前。有人打了一个比方，他说今天我们是处在一个信息过剩的时代，以前要获取信息非常困难，而今天打开手机到处都是信息，但是大部分的信息只影响你的皮肤，没有深入你的身体里。看上去你获取了很多的信息，其实你没有把这些信息真正消化掉，这就相当于你在灰犀牛面前却丝毫不会察觉到异状。而小数据的本质是深化，它能让你看到它最核心的东西，并时刻提醒你危机的存在。就像我们有时会在一个笔记本上记录下我们听不懂的重点和难点问题，回过头来还要仔细复习一样；或者像一个床头的小闹钟，时刻提醒我们每天都要利用好清晨，为一天的工作做好预习，最大限度应对我们已经知道并在未来可能出现的大概率危机。