描述
开 本: 16开纸 张: 胶版纸包 装: 平装-胶订是否套装: 否国际标准书号ISBN: 9787302484462
《使用C#开发搜索引擎(第2版)》介绍如何以C#作为工具开发智能搜索引擎系统。
《使用C#开发搜索引擎(第2版)》是一本介绍业界热门的Lucene.Net、使用WebBrowser做爬虫以及结合Solr/ElasticSearch开发ASP.NET搜索的书籍。书中从网络爬虫抓取数据开始；然后介绍中文分词、文本排重等文本挖掘技术和搜索结果展现；*后介绍在线智能客服(聊天机器人)开发框架。从C#语法开始，逐渐深入，是零基础实践面向未来的智能软件开发的*。
对于学习复杂数据结构和自然语言处理相关应用开发也有参考价值。
目 录
第1章 使用C#开发搜索引擎
快速入门 1
1.1 各种搜索引擎 2
1.1.1
通用搜索 3
1.1.2
垂直搜索 3
1.1.3
站内搜索 4
1.2 搜索引擎的整体结构 4
1.3 搜索引擎的基本技术 5
1.3.1
网络爬虫 5
1.3.2
文本挖掘 5
1.3.3
全文索引 6
1.3.4
搜索语法介绍 8
1.3.5
搜索用户界面 8
1.4
C#开发快速入门 9
1.4.1
准备开发环境 9
1.4.2
基本语法 9
1.4.3
多维数组 11
1.4.4
位运算 11
1.4.5
枚举类型 12
1.4.6
面向对象 13
1.4.7
字符串 15
1.4.8
读写文件 16
1.4.9
集合类 17
1.4.10
泛型 20
1.4.11
委托和事件 21
1.4.12
lambda表达式 24
1.4.13
单元测试 24
1.4.14
扩展方法 25
1.4.15
类库 26
1.5 算法基础 26
1.5.1
双端队列 27
1.5.2
散列表 31
1.5.3
单链表 36
1.5.4
标准Trie树 37
1.5.5
二叉搜索树 39
1.5.6
三叉Trie树 41
1.5.7
平衡Trie树 46
1.6 本章小结 48
1.7 术语表 48
第2章 使用C#开发网络爬虫 51
2.1 网络爬虫抓取原理 52
2.2 爬虫架构 54
2.2.1
基本架构 54
2.2.2
分布式爬虫架构 56
2.2.3
垂直爬虫架构 57
2.3 下载网页 58
2.3.1
HTTP协议 58
2.3.2
下载静态网页 61
2.3.3
下载动态网页 65
2.4 线程池 73
2.5 网络爬虫的遍历与实现 75
2.6 网站地图 77
2.7 连接池 78
2.8
URL地址查新 79
2.8.1
嵌入式数据库 79
2.8.2
布隆过滤器 82
2.9 抓取RSS 84
2.10
解析相对地址 86
2.11
网页更新 86
2.12
信息过滤 89
2.13
垂直行业抓取 94
2.14
抓取限制应对方法 94
2.14.1
更换IP地址 94
2.14.2
抓取需要登录的网页 98
2.14.3
抓取ASP.net网页 100
2.15
保存信息 103
2.15.1
存入数据库 103
2.15.2
存成图像 104
2.16
日志 105
2.17
本章小结 108
2.18
术语表 108
第3章 索引各种格式文档 113
3.1 从HTML文件中提取信息 114
3.1.1
识别网页的编码 114
3.1.2
正则表达式 116
3.1.3
Html Agility Pack介绍 120
3.1.4
NSoup介绍 124
3.1.5
网页正文提取 124
3.1.6
结构化信息提取 137
3.1.7
查看网页的DOM结构 140
3.1.8
网页结构相似度计算 141
3.2 从非HTML文件中提取文本 143
3.2.1
TEXT文件 144
3.2.2
PDF文件 144
3.2.3
Office文件 146
3.2.4
Rtf文件 147
3.3
OCR 148
3.3.1
字形识别 149
3.3.2
图像二值化 149
3.4 本章小结 153
3.5 术语表 154
第4章 自然语言处理 155
4.1 统计机器学习 156
4.2 协同推荐 157
4.3 文档排重 163
4.3.1
生成SimHash 164
4.3.2
查找SimHash 166
4.3.3
用于短文本排重 170
4.4 中文关键词提取 170
4.4.1
关键词提取的基本方法 171
4.4.2
从网页中提取关键词 174
4.5 相关搜索 174
4.6 拼写检查 175
4.6.1
拼写检查的概率模型 176
4.6.2
模糊匹配问题 176
4.6.3
英文拼写检查 180
4.6.4
中文拼写检查 183
4.7 文本摘要 184
4.7.1
文本摘要的设计 184
4.7.2
实现文本摘要技术 185
4.7.3
Lucene.net中的动态摘要 190
4.8 文本分类 191
4.8.1
自动分类的接口定义 191
4.8.2
自动分类的实现 191
4.9 自动聚类 197
4.9.1
文档相似度 197
4.9.2
K均值聚类方法 201
4.9.3
K均值实现 202
4.10
拼音转换 204
4.11
句法分析树 204
4.12
信息提取 211
4.12.1
信息提取的规则及其实现 211
4.12.2
提取地域信息 219
4.13
本章小结 221
4.14
术语表 221
第5章 用C#实现中文分词 223
5.1 词 224
5.2 文本切分的基本方法 224
5.3 地名切分 226
5.3.1
地址类型标注 227
5.3.2
未登录词识别 227
5.4 有限状态机 229
5.5 查找词典算法 231
5.6 中文分词的原理 232
5.6.1
正向长度匹配法 232
5.6.2
逆向长度匹配法 236
5.6.3
处理未登录串 240
5.7 中文分词的流程与结构 241
5.8 切分词图 243
5.8.1
保存切分词图 243
5.8.2
生成全切分词图 247
5.9 概率语言模型的分词方法 250
5.9.1
准备数据 251
5.9.2
一元模型 252
5.9.3
N元模型 257
5.10
熵 262
5.11
未登录词识别 264
5.12
词性标注 264
5.12.1
隐马尔科夫模型 266
5.12.2
实现词性标注 271
5.13
本章小结 275
5.14
术语表 276
第6章 Lucene.net原理与应用 277
6.1
Lucene.net快速入门 278
6.1.1
索引文档 278
6.1.2
搜索文档 280
6.1.3
Lucene.net结构 281
6.2
Lucene.net深入介绍 282
6.2.1
索引原理 282
6.2.2
分析文本 285
6.2.3
遍历索引库 288
6.2.4
布尔查询原理 289
6.2.5
检索模型 290
6.2.6
收集相关的文档 291
6.3 索引中的压缩算法 296
6.3.1 变长压缩 296
6.3.2
差分编码 298
6.4 创建和维护索引库 299
6.4.1
设计一个简单的索引库 299
6.4.2
创建索引库 300
6.4.3
向索引库中添加索引文档 301
6.4.4
删除索引库中的索引文档 303
6.4.5
更新索引库中的索引文档 304
6.4.6
索引的优化与合并 304
6.5 查找索引库 305
6.5.1
布尔查询 306
6.5.2
同时查询多列 307
6.5.3
跨度查询 308
6.5.4
通配符查询 312
6.5.5
过滤 312
6.5.6
按指定列排序 313
6.5.7
查询大容量索引 318
6.5.8
函数查询 320
6.5.9
定制相似度 323
6.5.10
评价搜索结果 325
6.6 中文信息检索 325
6.6.1
Lucene.net中的中文处理 326
6.6.2
Lietu中文分词的使用 326
6.6.3
定制Tokenizer 328
6.6.4
解析查询串 329
6.6.5
实现字词混合索引 333
6.7 抓取数据库中的内容 336
6.7.1
读取数据 337
6.7.2
数据同步 338
6.8 与爬虫集成 338
6.9 概念搜索 341
6.10
本章小结 344
6.11
术语表 345
第7章 实现搜索用户界面 347
7.1 搜索页面设计 348
7.1.1
用于显示搜索结果的
ASP.net 348
7.1.2
搜索结果条 351
7.1.3
搜索结果分页 351
7.1.4
设计一个简单的搜索页面 352
7.2 实现搜索接口 353
7.2.1
Lucene.net搜索接口 353
7.2.2
指定范围搜索 357
7.2.3
搜索页面的索引缓存与
更新 358
7.3 实现关键词高亮显示 361
7.4 实现分类统计视图 362
7.4.1
搜索结果分类统计与导航 363
7.4.2
层次树 366
7.5 相关搜索词 368
7.6 实现AJax自动完成 369
7.6.1
总体结构 370
7.6.2
服务器端处理 371
7.6.3
浏览器端处理 372
7.7 集成其他功能 374
7.7.1
拼写检查 374
7.7.2
再次查找 374
7.7.3
黑名单 375
7.7.4
搜索日志 376
7.8 本章小结 377
第8章 使用Solr开发网站搜索 379
8.1 搜索服务器端 380
8.1.1
Solr的结构 380
8.1.2
启动Solr服务器 381
8.1.3
开发支持Solr的中文分词 384
8.1.4
中文的Solr 385
8.1.5
索引数据 388
8.1.6
查询功能 389
8.1.7
高亮显示 392
8.2
Solr的.NET客户端 393
8.2.1
使用Solrnet 393
8.2.2
查询 396
8.2.3
分类统计 397
8.2.4
ASP.NET中使用Solrnet 401
8.2.5
删除数据 405
8.2.6
从数据库索引数据 405
8.2.7
翻页 408
8.2.8
实现多分类 411
8.3 查询语法 412
8.3.1
对空格的支持 413
8.3.2
日期加权 413
8.4 索引分布 415
8.5 本章小结 417
第9章 Elasticsearch开发分
布式搜索 419
9.1 搜索集群 421
9.2 安装 422
9.3
ES的.net客户端 429
9.3.1
连接搜索服务器 429
9.3.2
创建索引 430
9.3.3
插入数据 431
9.4 查询 432
9.4.1
布尔查询 433
9.4.2
嵌套类型和嵌套查询 434
9.4.3
查询结果 437
9.4.4
过滤器 437
9.5 高亮显示 437
9.6 分页 442
9.7 本章小结 442
第10章 在线客服案例分析 445
10.1
使用WebSocket 446
10.2
知识库 447
10.3
自动问答 449
10.4
本章小结 453
参考资源 455
前 言
在出门之前，往往先用搜索引擎找下乘车路线。在购物之前，往往先用搜索引擎找到合适的商品。搜索引擎已经成为人们大脑的外部记忆体。身边的事物对我们有着重要的影响。运行在本机操作系统上的搜索引擎也对我们有着重要的作用。
目前，一些本地搜索引擎往往使用C#开发。本书是一本讲解如何使用C#开发搜索引擎的改进版图书。随着人工智能技术的发展，搜索引擎中的算法已经越来越深刻地影响人的生活。人们生活质量的持续提高有赖于搜索引擎等相关技术的持续改进。
在社会文明的早期，很多有效信息沉淀于书本和纸张。随着越来越多的信息显现于网络，网络爬虫变得更加有用。借助人的智能，网络爬虫软件可以更精准地抓取有效信息。通过阅读本书，读者可以使用C#开发本地手工操作的网络爬虫软件。
这是一本介绍如何使用C#开发网络爬虫的书，因为C#能够方便地调用浏览器内核，所以很容易解析动态网页。把网页转换成DOM树的表示形式，在C#中也是轻而易举的事。
Lucene几乎已经成为全文搜索的同义词。随着.NET开发平台越来越强大，作为Lucene在.NET平台的移植版本，Lucene.net也越来越流行。Lucene.net来源于2002年的NLucene，当时采用.NET平台的语言C#移植Lucene，这个决定到现在看来仍然是正确的。几经波折，这个开源项目在2004年一度陷于停滞，但是后来也终于被阿帕奇基金会接纳成为孵化项目，并成功转正。你可能会好奇Lucene.net是怎么从Lucene移植过来的。可以使用Sharpen这样的移植工具，这样可以把Java源代码转化为C#源代码。当然还需要人工修改C#源代码中的错误。
Lucene.net因为上手快、速度快、可扩展性好，赢得了很多开发人员的青睐。虽然已经有包括Autodesk等公司和项目采用了Lucene.net，但是这却是首次介绍Lucene.net的书，即使在全球范围内来看也是如此。
通过Lucene.net源代码学习各种算法是一种不错的选择，如学习使用堆实现的优先队列等。随着Lucene 4.0中灵活索引的推出，Lucene.net将来的版本性能会更好。
这也是一本介绍如何使用C#开发中文分词和文本排重、拼写检查等自然语言处理技的书。使用C#灵活的语法来实现中文分词使得代码可读性更好。
也许你希望能查找英文资料并能够自动翻译成为可读的中文，也许你希望能查找图像中的文字，但很多网站搜索的表现也经常让人失望。大型搜索引擎虽然功能强大，但是一些排序结果往往值得怀疑。本书介绍了如何用C#调用支持分布式索引的Solr或者ElasticSearch。这样网站前端可以采用ASP.NET开发，而后端可以采用Linux搜索集群。
这本书不仅仅适合专业软件开发人员，希望了解搜索引擎工作原理的人也可以阅读。有很多人说，不是我不愿意，是我学不会技术。也许你需要一本更好的书，或者一位更好的老师。根据生活中的场景明白折半查找其实就是猜价格的游戏。有限状态机其实就是电话银行中缴费之前让人晕的一串数字输入。总之，学习技术，不仅仅很有用，还有可能比较有趣。希望快速入门的读者也可以参加我们开发的培训课程。
本书配套的光盘中提供了相关的源代码，有的来源于猎兔搜索多年的开发经验积累，有的是经典算法实现。其中很多都可以直接用于项目实践。也感谢开源软件的开发者们，他们无私的工作丰富了本书的内容。
参与本书编写的还有崔智杰、王全军、石天盈、张继红、张进威、刘宇、何淑琴、任通通、徐友峰、孙宽，在此一并表示感谢。
对于本书错漏之处敬请发邮件到[email protected]指正。习惯使用QQ群的读者，可以加猎兔C#搜索技术QQ群：312030681。
编
者
第2章 使用C#开发网络爬虫
采购人员需要找到提供产品的有竞争力的厂家和价格，金融交易人员需要找到有潜力的投资公司，出版行业人士需要找到迅速变热的话题。这些都可以使用网络爬虫帮忙实现。
网络爬虫从互联网源源不断地抓取海量信息，搜索引擎结果中的信息都来源于此。如果把互联网比喻成一个覆盖地球的蜘蛛网，那么抓取程序就是在网上爬来爬去的蜘蛛。
在抓取信息时，应当首先关注一些高质量的网页信息。高质量的网页是指网民投票选择出来的网页，这里是访问量高的网站中的一些热门网页。但是尺有所短，寸有所长，很多访问量一般的网站包括了更多问题的答案。有点类似长尾效益。Alexa (http://www.alexa.com)专门统计网站访问量并发布网站世界排名。如果使用FireFox浏览器，可以通过alexa插件查看到当前访问的网站是否还有很多人在访问。如果使用IE浏览器，可以通过alexa工具条查看到当前访问网站的访问量排名。
有些文档的时效性很强，如新闻或者财经信息。大部分人想要知道的是当天股票市场的报道，只有很少人关心昨天的市场发生了什么。本章专门介绍如何抓取即时信息。
网络爬虫需要实现的基本功能包括下载网页以及对URL地址的遍历。为了高效、快速地遍历网站，还需要应用专门的数据结构来优化。爬虫很消耗带宽资源，设计爬虫时需要仔细地考虑如何节省网络带宽。
2.1 网络爬虫抓取原理
既然所有的网页都可能链接到其他的网站，那么从一个网站开始，跟踪所有网页上的所有链接，就可能遍历整个互联网。
为了更快地抓取想要的信息，网页抓取首先从一个已知的URL地址列表开始遍历，对垂直搜索来说，一般是积累的行业内的网站。有人可能会奇怪，像Google或百度这样的搜索门户怎么设置这个初始的URL地址列表。一般来说，网站拥有者把网站提交给分类目录，如dmoz(http://www.dmoz.org/)，爬虫则可以从开放式分类目录dmoz抓取。
抓取下来的网页中包含了想要的信息，一般存放在数据库或索引库这样的专门的存储系统中，如图2-1所示。
图2-1 网络爬虫基本结构
在搜索引擎中，爬虫程序是从一系列种子链接把这些初始的网页中的URL提取出来，放入URL工作队列(Todo队列，也叫Frontier)，然后遍历所有工作队列中的URL，下载网页并把其中新发现的URL再次放入工作队列。为了判断一个URL是否已经遍历过，可以把所有遍历过的URL放入历史表(Visited表)。爬虫抓取的基本过程如图2-2所示。
图2-2 网页遍历流程图
抓取的主要流程代码如下：
class Crawler{
static
List todo = new List(); //要访问的链接
static
List visited = new List(); //已经访问过的链接
static
string startPointAddress = “http://www.lietu.com”;
public
void Crawler(){ //爬虫的开始点
RequestSite(startPointAddress); //访问种子站点
while(todo.Count >0) {//如果有需要遍历的链接，则逐个遍历
String currentURL = todo[0];
RequestSite(currentURL); //访问链接
todo.RemoveAt(currentURL);//从todo表中删除
visited.Add(currentURL);
}
}
void
RequestSite(string url){
WebRequest req=(WebRequest.Create(url));
HttpWebResponse
res=(HttpWebResponse)(req.GetResponse());
Stream st=res.GetResponseStream();
StreamReader rdr=new
StreamReader(st);
string s=rdr.ReadToEnd();
todo.AddRange(GetLinks(s));//增加链接到队列的尾部
}
List
GetLinks(string htmlPage){
//通过正则表达式提取链接
Regex regx = new
Regex(“http://([\w ?\.\w ]) ([a-zA-Z0-9\～\!\@\#\$\%\^\&\*\(\)_\-\=\ \\\/\?\.\:\;\’\,]*)?”,
RegexOptions.IgnoreCase);
MatchCollection mactches =
regx.Matches(htmlPage);
List results = new
List();
foreach (Match match in matches){
if(!visited.Contains(match.Value))
results.Add(mattch.Value);
}
return results;
}
}
如果采用Queue来实现todo，则对每个增加到todo的元素都需要用对象封装。
ArrayDeque允许在末端增加或删除元素。因为ArrayDeque底层采用数组实现，所以增加到ArrayDeque的元素不需要用对象封装。ArrayDeque性能比Queue更好。所以用ArrayDeque来实现todo队列。Wintellect.PowerCollections中包含一个ArrayDeque的实现。
有个URLSeen存储。这里的visited就是URLSeen存储。如果visited是全局的，那就需要同步了。
服务器的名称通过DNS服务器转换成对应的IP地址，也就是说，通过DNS取得该URL域名的IP地址。需要选择一个好的DNS服务器。在Windows下DNS解析的问题可以用 nslookup命令来分析，例如：
C:UsersAdministrator>nslookup
www.lietu.com
服务器: linedns.bta.net.cn
Address:
202.106.196.115
非权威应答:
名称: www.lietu.com
Address:
211.147.214.145
根据服务器名称取得IP地址的代码如下：
String hostname =
“www.lietu.com”;//如果是”www.baidu.com”，则会返回多项IP
IPHostEntry host =
Dns.GetHostEntry(hostname);
Console.WriteLine(“GetHostEntry({0})
returns:”, hostname);
foreach (IPAddress ip in host.AddressList)
{
Console.WriteLine(”
{0}”, ip);
}
评论
还没有评论。