大数据思维与应用攻略

 

本书的整体行文是基于“说些历史、话些故事、聊些技术、谈些思考”这样的思路展开的。全书共有13章，逻辑上分为四个部分：第一部分尝试对“数觉→数→数据→大数据”历史脉络进行梳理并陈述社会各界迎接和拥抱“大数据”的若干事实；第二部分尝试从技术实现和部署实施的角度厘清大数据技术流程，并从多个视角和层面阐述各个环节面临的挑战和机遇，重点叙述不同知识背景的研究群体针对大数据的态度、行动和思维方式；第三部分尝试从管理策略、价值实现及思维方式三个角度厘清大数据落地应用涉及的技术和非技术问题，并从多个视角和层面梳理各个环节的要点和细则；第四部分在对互联网的技术发展脉络及国际经济形势进行梳理的基础上，分析了在“互联网 ”概念被热炒及全民总动员的当代大数据的潜在发展机遇和应用场景。

目录序第一篇现象及感性思辨第1章大数据溯源311引言312数觉及数的起源713模拟与数字计算1014从数据到大数据1515大数据时代1916本章小结23本章参考文献23第2章大数据现象2521引言2522政界大数据2823业界大数据3324学界大数据3925本章小结44本章参考文献45第3章大数据产业4631引言4632大数据产业环境49321政策环境49322应用环境51323技术环境5233大数据产业地图53331大数据产业地图由来53332大数据产业地图明细54333大数据产业地图意义6134大数据应用提示62341大数据中文解析及提示62342大数据应用场景及策略64343大数据陷阱及应用提示6535本章小结67本章参考文献68第二篇技术及选型思路第4章大数据支撑技术7141引言7142大数据流程73421显式挑战74422隐式困难76423评估思路7843基础支撑技术78431数据采集79432数据存储81433数据建模82434计算架构8544高级支撑技术90441云计算背景90442云计算定义91443云计算本质93444应用提示9645本章小结97本章参考文献98第5章数据采集与整合9951引言9952大数据的数据源101521数据分布101522内部数据103523互联网数据105524应用提示10553内部数据及内部数据采集106531目标任务106532关键技术107533ETL工具110534应用提示11154互联网数据及互联网数据采集113541目标任务113542关键技术114543开源网络爬虫118544应用提示12055本章小结121本章参考文献123第6章数据存储与管理12461引言12462数据组织127621集中与分布128622SQL与NoSQL13063数据存储13864云存储14165本章小结144本章参考文献145第7章数据表示与理解14671引言14672度量方法149721相似系数函数150722距离函数15273数据规范15474特征工程155741特征表示156742特征提取156743特征选择17575应用提示17876本章小结181本章参考文献181第8章数据理解与建模18381引言18382机器学习18583非监督学习187831KMeans188832EM18984监督学习192841回归192842分类19685本章小结226本章参考文献227第9章知识发现与应用22991引言22992从机器学习到数据挖掘233921统计与统计学234922智能与人工智能235923人工智能与机器学习237924数据挖掘及技术路径239925应用提示24593从数据挖掘到数据科学246931从“惊奇”引发的科学之母246932从“科学”引发的研究范式249933从“数据”引发的数据科学25194从算法到大数据方法论252941演绎与归纳252942因果与相关255943定律与模型25795本章小结260本章参考文献260第三篇实施及理性思考第10章大数据实施265101引言265102工程管理2671021思维层的应用模式梳理2671022开发层的工程实施路径2701023运维层的平台应用保障273103技术管理2741031生产流程管理2741032技术流程管理2771033知识流程管理279104商务管理2821041商业模式价值逻辑2821042大数据与商业模式2831043典型商业模式示例287105本章小结290本章参考文献291第11章大数据价值292111引言292112从数据到价值2941121数据的价值2951122信息的价值2971123知识的价值2991124应用提示300113从闭环到开环3021131垂直应用价值3021132平台集成价值3031133生态协同价值3051134应用提示305114大数据评估3061141数据价值评估3061142数据质量评估3101143平台价值评估3121144应用提示315115本章小结321本章参考文献322第12章大数据思维323121引言323122数据层3251221数据全采样3251222数据交叉复用3271223数据云化存储328123分析层3301231相关重于因果3301232效率重于精度3321233离线分析 实时运行334124应用层3361241数据质量溯源3361242服务和应用3401243开放和合作342125本章小结345本章参考文献347第四篇机遇及应用思索第13章大数据机遇351131引言351132互联网 356133电子商务3591331电子商务概述3591332移动电子商务3621333跨境电子商务3631334应用提示365134工业互联网3681341基本概念3681342笑脸曲线3681343工业403711344应用提示376135互联网金融3801351基本概念3801352面向投融资的互联网金融3811353面向支付的互联网金融3841354其他类型的互联网金融3871355应用提示390136本章小结392本章参考文献394跋395