dySE：一个Java搜索引擎的实现，第1部分 - 网络爬虫 - 编程入门网

dySE：一个Java搜索引擎的实现，第1部分 - 网络爬虫

自己动手写一个搜索引擎，想想这有多 cool：在界面上输入关键词，点击搜 索，得到自己想要的结果；那么它还可以做什么呢？也许是自己的网站需要一个 站内搜索功能，抑或是对于硬盘中文档的搜索 —— 最重要的是，是不是觉得众 多 IT 公司都在向你招手呢？如果你心动了，那么，Let''s Go！

这里首先要说明使用 Java 语言而不是 C/C++ 等其它语言的原因，因为 Java 中提供了对于网络编程众多的基础包和类，比如 URL 类、InetAddress 类 、正则表达式，这为我们的搜索引擎实现提供了良好的基础，使我们可以专注于 搜索引擎本身的实现，而不需要因为这些基础类的实现而分心。

这个分三部分的系列将逐步说明如何设计和实现一个搜索引擎。在第一部分 中，您将首先学习搜索引擎的工作原理，同时了解其体系结构，之后将讲解如何 实现搜索引擎的第一部分，网络爬虫模块，即完成网页搜集功能。在系列的第二 部分中，将介绍预处理模块，即如何处理收集来的网页，整理、分词以及索引的 建立都在这部分之中。在系列的第三部分中，将介绍信息查询服务的实现，主要 是查询界面的建立、查询结果的返回以及快照的实现。

dySE 的整体结构

在开始学习搜索引擎的模块实现之前，您需要了解 dySE 的整体结构以及数 据传输的流程。事实上，搜索引擎的三个部分是相互独立的，三个部分分别工作 ，主要的关系体现在前一部分得到的数据结果为后一部分提供原始数据。三者的 关系如下图所示：

图 1. 搜索引擎三段式工作流程

在介绍搜索引擎的整体结构之前，我们借鉴《计算机网络——自顶向下的方 法描述因特网特色》一书的叙事方法，从普通用户使用搜索引擎的角度来介绍搜 索引擎的具体工作流程。

自顶向下的方法描述搜索引擎执行过程：

用户通过浏览器提交查询的词或者短语 P，搜索引擎根据用户的查询返回匹 配的网页信息列表 L；

上述过程涉及到两个问题，如何匹配用户的查询以及网页信息列表从何而来 ，根据什么而排序？用户的查询 P 经过分词器被切割成小词组 <p1,p2 … pn> 并被剔除停用词 ( 的、了、啊等字 )，根据系统维护的一个倒排索引可 以查询某个词 pi 在哪些网页中出现过，匹配那些 <p1,p2 … pn> 都出 现的网页集即可作为初始结果，更进一步，返回的初始网页集通过计算与查询词 的相关度从而得到网页排名，即 Page Rank，按照网页的排名顺序即可得到最终 的网页列表；

假设分词器和网页排名的计算公式都是既定的，那么倒排索引以及原始网页 集从何而来？原始网页集在之前的数据流程的介绍中，可以得知是由爬虫 spider 爬取网页并且保存在本地的，而倒排索引，即词组到网页的映射表是建 立在正排索引的基础上的，后者是分析了网页的内容并对其内容进行分词后，得 到的网页到词组的映射表，将正排索引倒置即可得到倒排索引；

网页的分析具体做什么呢？由于爬虫收集来的原始网页中包含很多信息，比 如 html 表单以及一些垃圾信息比如广告，网页分析去除这些信息，并抽取其中 的正文信息作为后续的基础数据。

在有了上述的分析之后，我们可以得到搜索引擎的整体结构如下图：

图 2. 搜索引擎整体结构

爬虫从 Internet 中爬取众多的网页作为原始网页库存储于本地，然后网页 分析器抽取网页中的主题内容交给分词器进行分词，得到的结果用索引器建立正 排和倒排索引，这样就得到了索引数据库，用户查询时，在通过分词器切割输入 的查询词组并通过检索器在索引数据库中进行查询，得到的结果返回给用户。

无论搜索引擎的规模大小，其主要结构都是由这几部分构成的，并没有大的 差别，搜索引擎的好坏主要是决定于

凌众科技专业提供服务器租用、服务器托管、企业邮局、虚拟主机等服务，公司网站：http://www.lingzhong.cn 为了给广大客户了解更多的技术信息，本技术文章收集来源于网络,凌众科技尊重文章作者的版权，如果有涉及你的版权有必要删除你的文章，请和我们联系。以上信息与文章正文是不可分割的一部分,如果您要转载本文章,请保留以上信息，谢谢!