信息检索课程结业报告

 

姓    名：

学    号：

所学专业：

报告题目：

提交日期：

信息检索与web搜索

应用背景及概念

信息检索（Information Retrieval）是指信息按一定的方式组织起来，并根据信息用户的需要找出有关的信息的过程和技术。狭义的信息检索就是信息检索过程的后半部分，即从信息集合中找出所需要的信息的过程，也就是我们常说的信息查寻（Information Search 或Information Seek）。

信息检索起源于图书馆的参考咨询和文摘索引工作，从19世纪下半叶首先开始发展，至20世纪40年代，索引和检索成已为图书馆独立的工具和用户服务项目。随着1946年世界上第一台电子计算机问世，计算机技术逐步走进信息检索领域，并与信息检索理论紧密结合起来；脱机批量情报检索系统、联机实时情报检索系统。

信息检索有广义和狭义的之分。广义的信息检索全称为“信息存储与检索”，是指将信息按一定的方式组织和存储起来，并根据用户的需要找出有关信息的过程。狭义的信息检索为“信息存储与检索”的后半部分，通常称为“信息查找”或“信息搜索”，是指从信息集合中找出用户所需要的有关信息的过程。狭义的信息检索包括3个方面的含义：了解用户的信息需求、信息检索的技术或方法、满足信息用户的需求。

搜索引擎(Search Engine，简称SE)是实现如下功能的一个系统：收集、整理和组织信息并为用户提供查询服务。面向WEB的SE是其中最典型的代表。三大特点：事先下载，事先组织，实时检索。

垂直搜索引擎：垂直搜索引擎为20##年后逐步兴起的一类搜索引擎。不同于通用的网页搜索引擎，垂直搜索专注于特定的搜索领域和搜索需求（例如：机票搜索、旅游搜索、生活搜索、小说搜索、视频搜索等等），在其特定的搜索领域有更好的用户体验。相比通用搜索动辄数千台检索服务器，垂直搜索需要的硬件成本低、用户需求特定、查询的方式多样。

Web检索的历史：

1989年，伯纳斯·李在日内瓦欧洲离子物理研究所（CERN）开发计算机远程控制时首次提出了Web概念，并在1990年圣诞节前推出了第一个浏览器。 接下来的几年中，他设计出HTTP、URL和HTML的规范，使网络能够为普通大众所应用 。

Ted Nelson 在1965年提出了超文本的概念.超文本传输协议(HTTP，HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络传输协议，超文本标注语言（HTML）。

1993, 早期的 web robots (spiders) 用于收集 URL: Wanderer、ALIWEB (Archie-Like Index of the WEB)、WWW Worm (indexed URL’s and titles for regex search)。

1994, Stanford 博士生 David Filo and Jerry Yang 开发手工划分主题层次的雅虎网站。

1994年初，WebCrawler是互联网上第一个支持搜索文件全部文字的全文搜索引擎，在它之前，用户只能通过URL和摘要搜索，摘要一般来自人工评论或程序自动取正文的前100个字。

Lycos（Carnegie Mellon University Center for Machine Translation Announces Lycos ）是搜索引擎史上又一个重要的进步。除了相关性排序外，Lycos还提供了前缀匹配和字符相近限制，Lycos第一个在搜索结果中使用了网页自动摘要，而最大的优势还是它远胜过其它搜索引擎的数据量 。

DEC的AltaVista 是一个迟到者，1995年12月才登场亮相. AltaVista是第一个支持自然语言搜索的搜索引擎，AltaVista是第一个实现高级搜索语法的搜索引擎（如AND, OR, NOT等) 。

1995年博士生Larry Page开始学习搜索引擎设计，于1997年9月15日注册了google.com的域名，1997年底，开始提供Demo。1999年2月，Google完成了从Alpha版到Beta版的蜕变。Google公司则把1998年9月27日认作自己的生日。

Google在Pagerank、动态摘要、网页快照、多文档格式支持、地图股票词典寻人等集成搜索、多语言支持、用户界面等功能上的革新，象Altavista一样，再一次永远改变了搜索引擎的定义。主要的进步在于应用链接分析根据权威性对部分结果排序 。

北大天网 是国家“九五”重点科技攻关项目“中文编码和分布式中英文信息发现”的研究成果，由北大计算机系网络与分布式系统研究室开发，于1997年10月29日正式在CERNET上提供服务。

 20##年1月，超链分析专利发明人、前Infoseek资深工程师李彦宏与好友徐勇（加州伯克利分校博士）在北京中关村创立了百度（Baidu）公司

20##年8月发布Baidu.com搜索引擎Beta版（此前Baidu只为其它门户网站搜狐新浪Tom等提供搜索引擎）。

20##年10月22日正式发布Baidu搜索引擎。Baidu虽然只提供中文搜索，但目前收录中文网页超过9000万，可能是最大的的中文数据库。

Web搜索引擎系统组成：

Web数据采集系统

网页预处理系统

索引检索系统

检索结果排序系统

Web检索所在现阶段的挑战：

数据的分布性：文档散落在数以百万计的不同服务器上，没有预先定义的拓扑结构相连。

不稳定的数据高比例：许多文档迅速地添加或删除 (e.g. dead links).

大规模：网络数据量的指数增长，由此引发了一系列难以处理的规模问题。

无结构和冗余信息：每个HTML页面没有统一的结构, 许多网络数据是重复的，将近 30% 的重复网页.

数据的质量: 许多内容没有经过编辑处理，数据可能是错误的，无效的。错误来源有录入错误，语法错误，OCR错误等。

异构数据：多媒体数据(images, video, VRML), 语言,字符集等.

Web检索的基本过程：

网页爬行下来

预处理：网页去重，正文提取，分词等

建立索引

接受用户请求，检索词串的处理，查询重构

找到满足要求的列表

根据连接和文本中的词进行排序输出

信息采集：

信息采集是指为出版的生产在信息资源方面做准备的工作，包括对信息的收集和处理。它是选题策划的直接基础和重要依据。信息采集工作最后一个步骤的延伸，成选题策划的开端。信息采集系统：信息采集系统以网络信息挖掘引擎为基础构建而成,它可以在最短的时间内,帮您把最新的信息从不同的Internet站点上采集下来,并在进行分类和统一格式后,第一时间之内把信息及时发布到自己的站点上去。从而提高信息及时性和节省或减少工作量。网络爬虫，是一种自动获取网页内容的程序，是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。

倒排索引：

倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件(inverted file)。

倒排文件（倒排索引），索引对象是文档或者文档集合中的单词等，用来存储这些单词在一个文档或者一组文档中的存储位置，是对文档或者文档集合的一种最常用的索引机制。

建立倒排索引目的：

对文档或文档集合建立索引，以加快检索速度

倒排文档（或倒排索引）是一种最常用的索引机制

倒排文档的索引对象是文档或文档集合中的单词等。例如，有些书往往在最后提供的索引（单词—页码列表对），就可以看成是一种倒排索引

倒排索引的组成：

倒排文档一般由两部分组成：词汇表（vocabulary）和记录表（posting list）

词汇表是文本或文本集合中所包含的所有不同单词的集合。

对于词汇表中的每一个单词，其在文本中出现的位置或者其出现的文本编号构成一个列表，所有这些列表的集合就称为记录表。

相关工具

1         ltp-Java版分词工具

1.1文件

_irlas.dll, _wsd.dll : 分词工具所需要的动态链接库，放在java工程的根目录下。

nlptools.jar : jar文件。

resource : 分词所需要的资源，需放在放在java工程的根目录下。

1.2 使用方法

下面将列出在实验过程中可能使用到的类：

1)  edu.hit.irlab.nlp.splitsentences.SplitSentences

将中文文本按照有分割意义的标点符号(如句号)分开，以句子的序列方式返回。输入为中文文本，输出为中文句子的序列。例如：

SplitSentences sentenceSplit = new SplitSentences();

List<String> sentences = sentenceSplit.getSentences(text);

       sentences是对text分句之后的句子集合。

2)  edu.hit.irlab.nlp.irlas.IRLAS

分词以及词性标注，使用方法如下：

irlas = new IRLAS();

   irlas.loadResource();    //调用分词方法前必须先加载资源

Vector<String> words = new Vector<String>(); //用来存储分词结果

Vector<String> posTags = new Vector<String>();   //用来存储词性标注结果，标点符号的词性是“wp”。

   irlas.wordSegment(sentence, words, posTags);  //调用分词以及词性标注方法

使用该文件可以将文件里的文本自动变成一个一个关键词，并且统计出此关键词出自哪个文档，建立哈希表进行存储，再存储在txt文件中。

2         DownloadURL类

edu.hit.irlab.util.web.DownloadURL类封装在nlptools中，包含一些常见的web操作，如下载网页、判断编码格式等。

请特别注意：Google的检索结果在本程序发送的FF的head的情况下，没有编码信息。 所以在爬Google的检索结果的时候请务必手动指定使用UTF-8编码。

表格 1  DownloadURL类的方法介绍

下面是一个下载“news.baidu.com”网页的例子：

//模拟IE8，以gb2312的编码格式下载“news.baidu.com”的内容。

String content = DownloadURL.downURL(“news.baidu.com”, “gb2312”, "IE8.0") ;

正文提取算法：

将网页源代码中的HTML格式信息删除，每行仅保留文本内容，即文本行。接下来，正文内容块的抽取可以被看成一个优化问题，即计算行和，用于最大化低于行和高于行的非文本字符数，以及在行和行之间的行文本字符数，相应的就是最大化对应的目标函数，如公式所示。

        

其中，是原始网页源代码中行的总字符数，是剔除HTML标签后行的的文本字符数，为网页源代码总行数，编号从0到。

算法不需要针对特定网页书写正则表达式，不需要解析HTML以建立DOM结构，不被病态的HTML标签所累，可以高效、准确地定位网页正文内容块。

实验相关流程

1.      基本流程和模块大致如下图所示：

2. 爬取网页的基本流程如下图所示：

3. 倒排索引的建立流程如下图所示：

4. 搜索过程流程如下图所示：

实验结果及分析：

1.  爬取网页的结果如下：

初始网址：http://news.baidu.com

第一次爬取得到的网址保存到本地文件test0.txt中：

然后循环读取第一次爬取到的网址继续爬取网址得到第二次爬取到的网址，保存在本地文件test1.txt中：

考虑到时间和大小等因素，实验只爬取了两层网址即停止。

2.  提取正文：

由于保存网址时使用哈希表存取，再写入本地文件，哈希表中使用网址作为key值，所以不会出现重复网址，即实现了网址去重，所以提取正文时只需循环读取本地文件中保存的网址，用上面提到的正文提取方法提取正文即可，提取到的正文按顺序写入本地文件夹urlc中，文件中第一行为网页的网址，后面为网页正文,如下图所示：

本实验共提取了683篇正文：

3.  建立倒排索引：

利用分词工具将提取到的正文分词，即使用分词工具将urlc文件夹中的文件内容分词，然后建立倒排索引，将建立好的倒排索引保存到本地文件irtable中：

文件中第一项为关键词，后面为关键词出现的文档序号，由于文档中第一行为网址，所以根据文档序号即可以得到改关键词出现在哪一个网页中。如果该关键词在正文中多次出现，那么改文档号也会在改关键词key对应的value中多次出现，这样在搜索过程中即可根据该词在文档中出现的频率对输出结果排序，出现频率高的网页会在前面显示，出现频率低的网页会在后面显示。

4.  搜索：

例如我们搜索“我在南海的回忆”，首先根据停用词表会去除“在”、“的”这些对搜索没有意义的词汇：

经过去除停用词之后分词结果为：

然后根据倒排索引搜索，并根据出现频率排序，得到的结果如下：

这3个词在第264篇文档中共出现了13次，网址为http://www.yuecheng.com/，

在第284篇文档中出现了12次，网址为http://news.cntv.cn/china/20120327/123486.shtml ， 所以第264的网址排在了第284的前面。这里需要注意的是，第264篇文档并以一定就是urlc文件夹中名为con264.txt这篇文档，从网址我们可以看出：

网址并非http://www.yuecheng.com/。

因为在读取文件时，其读取顺序跟文件在文件夹中的排列顺序并不是完全一致的。

结论：

实验爬取网页使用的广度优先爬取，爬取了两层网页，并对爬取到的网页进行了正文提取，得到了623篇文档，对其进行了倒排索引的建立，实现了搜索功能。

对搜索结果根据在正文中出现的频率进行了排序。

5.  不足：

没有实现多线程进行网页爬取，使得系统比较缓慢，并且没有完成对多网页的去重处理，不能对重复网页进行甄别，使得存储大量的重复网页占用大量资源，并且没有考虑出度和入度，对网页进行等级划分，对于排序的权威性没有进行考虑，使得排序结果并不是十分智能；没有进行同义词扩展，使得很多信息都是不全面的，影响搜索结果。

并且整个系统都是根据命令行进行操控的，应该加入图形界面，并且都是存储在文本中，没有惊醒日志的记录，最好能够连接数据库，这样就能更加节约空间而且有数据的日志备份。

6.  存在问题

项目开展过程中，出现的主要问题是在爬取网页时遇到的编码问题，开始采用网上提供的爬取工具虽然可以爬取网页，但在爬取到的网页中有一部分存在乱码。于是到网上找了一些资料，获取网页编码后进行转码存储，最后虽然还是有一些问题，但在乱码率上已经有了大大的改观。

7.  感谢

最后要感谢秦老师这学期为我们讲授信息检索这么课程，让我对信息检索的认识有了很大的提高，并且是自己喜爱上了信息检索这个方向，对搜索引擎产生了很大的兴趣，提高了对研究生阶段的能力，感觉真的学到了很多宝贵的知识，了解很多前沿技术。在这个项目过程中我们遇到了很多的问题，通过师兄和同学的悉心指导，自己查找资料和与同学相互交流，解决了很多技术上的难点，并且不仅提高了自己的动手能力还对java语言有了更深入的了解。

第二篇：文献检索实验报告合集

1、ISSN是哪种文献特有的标识？ （D期刊）                                                                              

2、 如果首次阅读全文，须下载并安装：万方数据资源系统是____PDF_____浏览器，中国期刊网可使用__CAJ（含KDH格式）或____PDF_____浏览器，中文科技期刊数据库是___PDF_____浏览器。

1、首次利用《超星数字图书馆》检索电子图书，须下载并安装 _超星阅读器__浏览器。

２、利用分类途径进行检索，其检索标识为：(C．分类号)

3、国研网包括近十个专题栏目、多个专项数据库，下列哪个数据库不属于国研网。（ C   ）

A.《宏观经济》；  B.《金融中国》；  C.《中国人物库》；   D.《经济普及报告》

4、查找北京大学法学教授汪劲在学术期刊上发表的论文，应用以下哪个数据库？(B．中国期刊全文数据库)

5、想查找“多媒体技术”方面内容的图书，应利用下列（C. 超星数字图书馆  ）数据库？

6、能够检索学位论文数据库是以下哪一项？（D. 万方数据资源系统）

1、 检索文献数据库时，常用的布尔逻辑算符有AND、 NOT、 OR。

2、 在搜索引擎中，检索词上加双引号，检索结果相当于（精确）检索

3、要在百度中搜索关于“电子商务”但不含“网络支付”的资料，可使用：（A. 电子商务 -网络支付）       

4、1987年，中国互联网创始人__钱天白____先生通过国际互联网向前西德卡尔斯鲁厄大学发出了中国第一封电子邮件《穿越长城，走向世界》。 检索式： 中国 互联网 创始人  穿越长城 走向世界           

5、世界四大冲浪胜地不包括以下那个地方？    检索式： 世界 四大冲浪胜地            

6、中国互联网络信息中心（CNNIC）主要管理和维护_ cn域名__顶级域名。

7、我们常见的计算机域名中，“edu”的含义是____教育机构_______（四个字）。

8、科学家在显微镜下发现，蚊子竟然长牙齿，那么请问：蚊子有__22_____颗牙齿？ 检索式： 蚊子 牙齿           

9、世界的四大红茶中不包括下面哪一种 检索式：世界 四大红茶                   

10、从菜场上买了泥鳅，以前没做过，怎么用泥鳅做菜呢？ 搜索引擎：Google  检索式：  泥鳅 菜谱                 

11、查找有关在北京有总公司，而且在上海有分公司的企业

使用的查询工具（搜索引擎）：baidu   检索式： 北京总公司 上海分公司                                         

1、利用“中国期刊全文数据库”中的“高级检索”查找浙江海洋学院师生在20##年以来发表的有关篇名中含有“渔业”方面的论文，写出检索步骤以及检索结果，任选一篇，摘录该论文中的某一小段。1.进入浙江海洋学院首页，点击进入图书馆2.进入图书馆页面后，点击进入“中文数据库”3.进入“中文数据库”页面后，输入用户名和密码，点击“确定”4.选择“旧版入口”5.页面跳转后，点击进入“中国期刊全文数据库” 6.进入页面后，点击“高级检索”7.篇名输入“渔业”，单位选择“浙江海洋学院”，时间选择为“20##年”和“20##年”，点击“检索”

3、利用“万方数据资源”查询介绍杭州娃哈哈集团有限公司的背景资料。1.进入浙江海洋学院首页，点击进入图书馆2.进入图书馆页面后，点击进入“万方数字资源”3.进入“万方数字资源”页面后，点击“机构”4.页面跳转后，在搜索栏输入“杭州娃哈哈集团有限公司”，点击“搜索”即可。5.页面跳转后，点击“杭州娃哈哈集团有限公司铭牌： 娃哈哈”即可。

4、利用“万方数据资源”查询海洋类专家冯士筰先生的专业领域。1.进入浙江海洋学院首页，点击进入图书馆2.进入图书馆页面后，点击进入“万方数字资源”3. 进入“万方数字资源”页面后，点击“专家”4. 页面跳转后，在搜索栏输入“冯士筰”，点击“搜索”即可

5、利用CNKI中国期刊全文数据库中的期刊导航，检索出您与所学专业相关的两种核心期刊。1.进入浙江海洋学院首页，点击进入图书馆2.进入图书馆页面后，点击进入“中文数据库”3.进入“中文数据库”页面后，输入用户名和密码，点击“确定”4.选择“旧版入口”5.进入页面后，点击进入“期刊导航”6.点击进入“核心期刊导航”7.输入“行政管理”，搜索8.检索得出“中国行政管理”

6、检索CNKI中国期刊全文数据库中有关“排污与环境保护关系”的近5年研究论文2篇（记录：刊名、篇名、作者、出处）。如果检索结果不满意（检索结果过多或过少）你准备采取那些方法改善检索结果？1.进入浙江海洋学院首页，点击进入图书馆2.进入图书馆页面后，点击进入“中文数据库”3.进入“中文数据库”页面后，输入用户名和密码，点击“确定”4.选择“旧版入口”5.页面跳转后，点击进入“中国期刊全文数据库”6.时间选择“2007”和“2011”；关键词输入“排污”和“环境保护”，搜索

改善方法：将搜索范围改为“核心期刊”，重新进行搜索。

7、利用CNKI中国期刊全文数据库，检索在《浙江海洋学院学报》20##年度上刊载的浙江省教育厅基金资助发表论文。要求列表记录：1.进入浙江海洋学院首页，点击进入图书馆2.进入图书馆页面后，点击进入“中文数据库”3.进入“中文数据库”页面后，点击“IP登陆”4.选择“旧版入口”5.页面跳转后，点击进入“中国期刊全文数据库”6.点击“高级检索”

（1）所采用的检索项、检索词：刊名 浙江海洋学院学报   年 2011   基金 浙江省教育厅

1、检索学位授予单位为浙江大学，论文题名有“港口”的20##年的硕士学位论文（列表记录篇名、作者）。1.进入浙江海洋学院图书馆页面，点击进入中文数据库；2.进入页面后，点击进入CNKI中国优秀硕士论文全文数据库；3.进入CNKI中国优秀硕士论文全文数据库页面后，点击IP登陆，选择旧版入口；4.点击进入“中国优秀硕士学位论文全文数据库”；5.页面跳转，点击高级搜索；6.学位年度“2010”；题名“港口”，学位授予单位“浙江大学”，点击“搜索”；

2、利用超星数字图书馆查找谭浩强主编，书名中有“计算机”的著作，出版年代从20##年至今，请写出检索步骤，检索式及检索结果。1.进入浙江海洋学院图书馆页面，点击进入超星数字图书馆；2.页面跳转后，点击“高级搜索”；3.书名“计算机”；作者“谭浩强”；“20##年”至“20##年”；点击“检索”；

3、利用“CNKI中国重要会议论文全文数据库”检索20##年由浙江大学主办的学术会议情况。要求列表记录：（1）会议名称、（2）会议论文（每会只记录一篇论文的题名、作者、机构）。1.进入浙江海洋学院图书馆页面，点击进入中文数据库；2.进入页面后，点击进入CNKI中国重要会议论文全文数据库；3.进入CNKI中国重要会议论文全文数据库页面后，点击IP登陆，选择旧版入口；4.点击进入“中国重要会议论文全文数据库”；5.页面跳转后，点击高级搜索；6.主办单位“浙江大学”，年“2010”，点击“检索”；

4、检索20##年至今国内高校关于研究“贸易壁垒”方面的硕士学位论文。要求记录：1.进入浙江海洋学院图书馆页面，点击进入中文数据库；2.进入页面后，点击进入CNKI中国优秀硕士论文全文数据库；3.进入CNKI中国优秀硕士论文全文数据库页面后，点击IP登陆，选择旧版入口；4.点击进入“中国优秀硕士学位论文全文数据库”；5.页面跳转，点击高级搜索；6.“2008”到“2011”；关键词“贸易壁垒”，点击“搜索”；

5、利用“国研网”数据库，查找有关标题中有“农民工”方面的近一周资料，写出其中一篇名、作者和出处。1.进入浙江海洋学院图书馆页面，点击进入中文数据库；2.进入页面后，点击进入国研网；3.进入国研网页面后，点击高级搜索；4. 包含以下全部的关键词 “农民工”；搜索时间范围 “过去一周”；其余默认，点击“搜索”；

6、请利用“读秀学术搜索”，查找有关书名是“海洋环境”方面的图书资料，并用“图书馆文献传递中心”，要求获取该书某一章节的内容，发送至您自己的邮箱。1.进入浙江海洋学院图书馆页面，点击进入读秀学术搜索；2.进入页面后，点击图书，输入海洋环境，点击选定“书名”，进行搜索；3. 选定其中一本书，点击进入；4. 进入页面后，点击“图书馆文献传递中心”；5.输入咨询范围，电子邮箱，验证码，然后提交即可。

12、利用Google搜索引擎进行搜索，写出你认为最好的检索式。

1） 查找有关企业管理的WORD文档。检索式：   企业管理 filetype:DOC 

2） 请在新浪网站搜索“低碳” 内容。检索式：   低碳 site:www.sina.com.cn  

13、通过上海图书馆（http://www.library.sh.cn/）参考咨询栏目的“专家咨询”，查找有关您所学专业的某一资料，并用原文传递的方式，发送至您的邮箱。

14、通过浙江海洋学院图书馆（http://www.zjou.edu.cn）文献传递栏目注册“浙江省高校数字图书馆（简称ZADL）文献传递系统”新用户名，等待管理员开通帐户，帐户开通后，根据您所学专业，传递某一文献原文至您的邮箱，试试。