智能搜索引擎技术 高等教育大数据科学与技术“十三五”规划教材

本书对于实际搜索引擎所涉及的各种核心技术做了全面细致的介绍，除了作为搜索系统核心的网络爬虫、索引系统、排序系统、链接分析及用户分析外，还包括网页反作弊、缓存管理、网页去重技术等实际搜索引擎必须关注的技术，同时还讲解了云计算与云存储的核心技术原理。同时本书对诸多新技术在相关章节都有详细讲解。

第1章 引言
1.1 信息检索与搜索引擎
1.2 搜索引擎的历史
1.3 搜索引擎的分类
1.4 搜索引擎的基本架构
1.4.1 主要性能需求
1.4.2 总体架构
1.5 搜索引擎的主要组件及其功能
1.5.1 网络爬虫
1.5.2 解析器
1.5.3 索引器
1.5.4 检索器
1.5.5 用户交互接口
1.6 开源搜索引擎
本章小结
习题
第2章 信息采集
2.1 网络爬虫的概述
2.1.1 网络爬虫的功能特点
2.1.2 网络爬虫通用架构
2.1.3 网络爬虫分类
2.2 分布式网络爬虫架构
2.2.1 主从分布式结构爬虫(master-slave)
2.2.2 对等分布式结构爬虫(peer to peer)
2.3 信息采集涉及的协议
2.3.1 URL规范和HTTP协议
2.3.2 User Agent
2.3.3 Robots协议
2.4 页面遍历
2.4.1 宽度优先遍历策略
2.4.2 深度优先遍历策略
2.4.3 重要度优先遍历策略
2.5 页面更新
2.5.1 网页更新策略
2.5.2 爬虫更新方式
2.6 深网抓取
2.7 开源网络爬虫
本章小结
习题
第3章 文本处理
3.1 文本信息提取
3.1.1 网页数据获取
3.1.2 非网页的数据获取
3.2 统计语言模型
3.2.1 N元模型(N-gram)的基本概念
3.2.2 数据平滑方法
3.3 英文分词
3.3.1 词素切分
3.3.2 词干提取
3.3.3 去除停用词 3.4 中文分词
3.4.1 中文分词概述
3.4.2 基于词典的机械分词法
3.4.3 基于统计的分词法
3.4.4 分词粒度
3.5 网页去重
3.5.1 通用去重算法流程
3.5.2 Shingling算法
3.5.3 SimHash算法
本章小结
习题
第4章 搜索引擎索引构建
4.1 倒排索引
4.1.1 倒排索引基础
4.1.2 词典结构
4.1.3 倒排表结构
4.2 建立索引方式
4.2.1 基于内存的索引构建
4.2.2 基于排序的索引建立
4.2.3 基于合并法的索引构建
4.3 索引更新
4.4 分布式索引
4.4.1 数据划分
4.4.2 冗余和容错
4.4.3 Elastic Search的分布式索引
4.5 索引压缩
4.5.1 评价压缩算法的指标
4.5.2 Delta编码(D-Gaps)
4.5.3 无参数间距压缩编码
4.5.4 参数间距压缩
4.5.5 高查询性能的编码
本章小结
习题
第5章 基于文本内容的检索模型
5.1 检索模型概述
5.2 布尔模型
5.3 向量空间模型
5.3.1 文本表示
5.3.2 查询相关度计算
5.4 概率检索模型
5.4.1 概率检索模型概述
5.4.2 二元独立模型(binary independent model)
5.4.3 BM25模型
5.4.4 BM25F模型
5.5 基于统计语言建模的检索模型
5.6 机器学习排序
5.6.1 机器学习排序概述
5.6.2 单文档方法(pointwise approach)
5.6.3 文档对方法(pairwise approach)
5.6.4 文档列表方法(listwise approach) 5.7 检索质量评价标准
5.7.1 准确率和召回率
5.7.2 前k个文档的查准率(P@k)
5.7.3 平均查准率均值(mean average precision，MAP)
5.7.4 NDCG(normalize DCC)
本章小结
习题
第6章 基于链接的检索模型
6.1 Web图
6.2 Page Rank算法
6.2.1 基于简单模型的Page Rank算法
6.2.2 基于随机冲浪模型的Page Rank算法
6.2.3 主题敏感的Page Rank
6.3 HITS算法
6.3.1 HITS算法基本思想
6.3.2 HITS算法流程
6.3.3 HITS的优势与缺陷
6.4 SALAS算法
6.5 通用链接反作弊方法
6.5.1 链接作弊方法
6.5.2 反链接作弊思路
6.5.3 经典链接反作弊算法
本章小结
习题
第7章 查询处理与结果展示
7.1 查询纠错
7.1.1 查询纠错概述
7.1.2 英文纠错
7.2 搜索智能提示
7.3 不安全信息过滤
7.4 查询处理
7.4.1 “一次一文档”
7.4.2 “一次一词”
7.5 结果展示
7.5.1 页面摘要
7.5.2 查询结果聚类
7.6 查询缓存机制
本章小结
习题
第8章 相关反馈与查询扩展
8.1 相关反馈框架
8.2 显式相关反馈
8.2.1 Rocchio相关反馈算法
8.2.2 概率相关反馈
8.2.3 相关反馈策略的评价
8.3 伪相关反馈
8.4 隐式反馈
8.5 查询扩展
本章小结
习题第9章 分类与聚类
9.1 文本分类
9.1.1 文本分类框架
9.1.2 贝叶斯文档分类
9.1.3 支持向量机
9.1.4 特征选择
9.1.5 评价
9.2 聚类
9.2.1 划分聚类
9.2.2 层次聚类
9.2.3 评价
本章小结
习题
第10章 基于知识图谱的搜索引擎
10.1 概述
10.2 知识图谱的数据获取
10.3 信息抽取
10.3.1 实体抽取
10.3.2 关系抽取
10.3.3 属性抽取
10.4 知识融合
10.4.1 实体对齐
10.4.2 实体歧义分析
10.5 知识表示与知识推理
10.5.1 知识表示
10.5.2 知识推理
10.6 基于知识图谱的智能搜索引擎
10.6.1 基于知识图谱的搜索结构
10.6.2 查询理解
10.6.3 自动问答
本章小结
习题
参考文献