在线文本数据挖掘 算法原理与编程实现

本书介绍了互联网环境下文本类型数据的分析方法，探讨了当前主流的文本挖掘技术，以及这些技术在商业环境中的具体应用。本书从算法原理和应用场景两方面分别对在线文本分析技术进行了介绍：从算法原理的角度，以数据挖掘和机器学习的相关知识为基础，介绍了以文本建模、文本分类、文本聚类、序列标注为主要任务的文本分析方法，并对当前主流的深度学习方法与文本分析的结合进行了讨论。从应用场景的角度，讨论了文本分析技术的几个重要实践领域，包括信息检索、内容摘要、口碑分析、社交网络分析以及智能系统。

刘通，毕业于上海交通大学安泰经济与管理学院，获得博士研究生学位，多年从事动画、虚拟现实、手机游戏设计开发的研究。曾出版《PREMIERE PRO CS4 视频编辑与实战演练》、《手机动画角色设计》目前就职于华为技术有限公司

第1章 概述 1
1.1 网络运营与文本分析 1
1.1.1 互联网运营的战略思维 1
1.1.2 网络运营与大数据文本分析 2
1.2 文本分析的4V特征 4
1.2.1 Volume特征 4
1.2.2 Variety特征 5
1.2.3 Value特征 6
1.2.4 Velocity特征 7
1.3 在线文本分析应用 8
1.3.1 在线文本分析的管理类应用 9
1.3.2 在线文本分析的内容类应用 12
1.4 本章小结 16
第2章 预备知识 18
2.1 文本挖掘的主要任务 18
2.2 语义分析与语法分析 20
2.3 文本的结构化分析 21
2.4 文本的标准化分析 24
2.5 机器学习的基本概念 24
2.5.1 机器学习与深度学习 25
2.5.2 机器学习的基本要素 33
2.6 机器学习的重要问题 36
2.6.1 概率图模型 36
2.6.2 判别式模型和产生式模型 39
2.6.3 机器学习模型求解 40
2.6.4 模型过拟合 43
2.7 本章小结 45
第3章 文本建模 46
3.1 文本建模的基本概念 46
3.2 文本建模的应用场景 48
3.2.1 主体角色识别 48
3.2.2 语言风格分析 49
3.2.3 智能系统 49
3.2.4 文本表示 50
3.2.5 文本降维 50
3.2.6 话题分析 50
3.3 语言学建模概述 51
3.4 词标注分析 52
3.5 句法分析 55
3.5.1 转换生成语法 56
3.5.2 依存句法 56
3.6 知识库与语义网 58
3.7 统计学建模概述 59
3.8 向量空间模型 61
3.9 LSI模型 64
3.9.1 SVD 64
3.9.2 基于SVD的降维分析 66
3.10 Unigram模型 67
3.11 pLSI模型 67
3.11.1 pLSI的模型结构 67
3.11.2 pLSI的参数估计 68
3.12 LDA主题模型 70
3.12.1 LDA的模型结构 70
3.12.2 LDA的参数估计 72
3.13 主题模型拓展 75
3.13.1 相关主题模型 76
3.13.2 层次主题模型 77
3.13.3 动态主题模型 80
3.13.4 句子主题模型 82
3.14 基于词汇的统计学建模方法 83
3.15 本章小结 86
第4章 文本分类 88
4.1 文本分类的基本概念 88
4.2 文本分类的应用场景 89
4.2.1 文档有用性判断 89
4.2.2 口碑情感分析 90
4.2.3 负面信息识别 90
4.2.4 信息检索 90
4.3 朴素贝叶斯模型 91
4.3.1 贝努利模型 91
4.3.2 多项式模型 93
4.3.3 模型参数平滑 94
4.4 向量空间模型 95
4.4.1 Rocchio方法 95
4.4.2 KNN方法 96
4.5 SVM模型 97
4.5.1 硬间隔SVM 97
4.5.2 软间隔SVM 100
4.6 文本分类的评价 102
4.6.1 二元分类评价 102
4.6.2 多类问题评价 104
4.6.3 分类测试集 105
4.7 分类特征优化 106
4.7.1 分类特征提取 106
4.7.2 分类特征转化 112
4.7.3 分类特征扩展 114
4.8 分类学习策略优化 117
4.8.1 AdaBoost算法 117
4.8.2 主动式学习 118
4.8.3 迁移学习 119
4.9 本章小结 119
第5章 文本聚类 121
5.1 文本聚类的基本概念 121
5.2 文本聚类的应用场景 122
5.2.1 探索分析 122
5.2.2 降维 123
5.2.3 信息检索 123
5.3 扁平式聚类 124
5.3.1 K-均值算法 125
5.3.2 基于模型的聚类 128
5.4 凝聚式聚类 132
5.4.1 层次聚类 132
5.4.2 基于簇距离的聚类过程 132
5.4.3 算法停止条件 135
5.5 聚类结果分析 136
5.5.1 聚类算法评估 136
5.5.2 聚类标签生成 138
5.6 聚类特征优化 140
5.6.1 基于迭代的方法 141
5.6.2 无监督指标 141
5.7 半监督聚类 143
5.7.1 迁移学习 144
5.7.2 AP算法 145
5.8 短文本聚类 146
5.8.1 文本特征补充 146
5.8.2 TermCut算法 148
5.8.3 Dirichlet多项式混合模型 149
5.9 流数据聚类 151
5.9.1 OSKM算法 151
5.9.2 可拓展K-means算法 152
5.10 本章小结 153
第6章 序列标注 155
6.1 序列标注的基本概念 155
6.2 序列标注的应用场景 157
6.2.1 词性标注 157
6.2.2 命名实体识别 157
6.2.3 分词 157
6.3 HMM 158
6.3.1 HMM的概率计算问题 160
6.3.2 HMM的学习问题 162
6.2.3 HMM的预测问题 164
6.4 最大熵模型和最大熵马尔可夫模型 166
6.4.1 最大熵模型 167
6.4.2 最大熵马尔可夫模型 170
6.5 条件随机场 172
6.5.1 标注偏置问题 172
6.5.2 条件随机场的基本原理 174
6.6 本章小结 176
第7章 信息检索 177
7.1 信息检索的基本概念 177
7.2 信息检索的应用场景 180
7.2.1 搜索引擎 180
7.2.2 内容推荐 182
7.3 基于空间模型的信息检索 184
7.3.1 文档查找 184
7.3.2 文档排序 185
7.3.3 系统评价 187
7.4 基于概率模型的信息检索 190
7.4.1 二值独立模型 191
7.4.2 模型参数估计 193
7.5 基于语言模型的信息检索 196
7.5.1 语言模型 196
7.5.2 查询似然模型 198
7.6 本章小结 201
第8章 文本摘要 203
8.1 文本摘要的基本概念 203
8.2 文本摘要的应用场景 206
8.2.1 信息检索 206
8.2.2 信息压缩 207
8.2.3 用户画像 208
8.2.4 知识管理 209
8.3 关键词提取的特征设计 210
8.3.1 词频特征 210
8.3.2 词汇基础特征 211
8.3.3 词汇位置特征 212
8.3.4 词汇标记特征 214
8.4 关键词提取的有监督算法 214
8.5 关键词提取的无监督算法 217
8.5.1 简单指标设计 217
8.5.2 复合指标设计 217
8.6 基于图模型的关键词提取算法 218
8.6.1 图模型静态指标算法 220
8.6.2 图模型动态指标算法 223
8.7 关键词提取的技术优化 226
8.7.1 长文本问题优化 227
8.7.2 短文本问题优化 228
8.7.3 多主题特征优化 229
8.7.4 时序特征优化 232
8.7.5 歧义问题优化 233
8.8 关键短语提取 234
8.8.1 短语性指标 235
8.8.2 信息性指标 235
8.9 关键句提取 236
8.9.1 基于词汇关键性的方法 236
8.9.2 基于句子特征的方法 237
8.9.3 基于图模型的方法 238
8.10 本章小结 240
第9章 口碑分析 241
9.1 口碑分析的基本概念 242
9.2 口碑分析的应用场景 243
9.2.1 用户视角的应用 243
9.2.2 网站运营者视角的应用 244
9.2.3 商家视角的应用 244
9.2.4 其他应用 245
9.3 基于词典的评价对象提取 245
9.4 基于语料的评价对象提取 246
9.5 评价水平量化 252
9.5.1 整体粗粒度情感分析 253
9.5.2 整体细粒度情感分析 254
9.5.3 局部粗粒度情感分析 258
9.5.4 局部细粒度情感分析 259
9.6 基于语言模型的情感分析技术 259
9.6.1 最大熵LDA主题模型：模型性质 260
9.6.2 最大熵LDA主题模型：基本结构 260
9.6.3 最大熵LDA主题模型：参数估计 263
9.7 本章小结 265
第10章 社交网络分析 266
10.1 社交网络分析的基本概念 266
10.2 社交网络分析的应用场景 269
10.2.1 虚拟社区发现 270
10.2.2 用户影响力分析 271
10.2.3 情感分析 271
10.2.4 话题发现与演化 272
10.2.5 信息检索 273
10.3 社交网络的虚拟社区发现 274
10.3.1 社区发现的信息基础 274
10.3.2 基于隐性位置的聚类模型 275
10.4 社交网络的用户影响力分析 276
10.4.1 网络结构与用户影响力 276
10.4.2 TwitterRank算法 277
10.5 社交网络的情感分析 279
10.5.1 基于表情符号的训练集合构建 279
10.5.2 基于POSTag的特征优化 280
10.6 社交网络的话题发现与演化 282
10.6.1 话题发现分析 282
10.6.2 Twitter-LDA 284
10.6.3 基于文档聚类的话题发现 284
10.6.4 基于词汇聚类的话题发现 286
10.6.5 话题演化分析 287
10.6.6 基于NMF的主题建模 287
10.7 社交网络的信息检索 289
10.7.1 信息检索的内容拓展策略 290
10.7.2 信息检索的综合排序策略 291
10.8 本章小结 293
第11章 深度学习与NLP 295
11.1 基本原理 296
11.2 词嵌入模型 299
11.2.1 词汇的分布式表示 299
11.2.2 神经概率语言模型 300
11.2.3 词嵌入模型概述 301
11.3 RNN与NLP 304
11.3.1 RNN 304
11.3.2 基于RNN的机器翻译 305
11.3.3 RNN的其他应用 308
11.4 本章小结 309
第12章 实证研究 311
12.1 研究框架 311
12.1.1 研究问题背景 311
12.1.2 问题分析 313
12.2 理论与模型 314
12.2.1 相关理论与假设 314
12.2.2 模型构建 317
12.3 文本数据处理 319
12.3.1 基于文本分析的口碑打分调整 319
12.3.2 基于文本分析的口碑权重计算 323
12.3.3 基于文本分析的候选集合构建 324
12.4 研究结论 326
12.4.1 实证结果 326
12.4.2 管理建议 328
12.5 本章小结 329
第13章 总结 330