现代信息检索：原理、技术与方法 赵丹群编著

现代信息检索：原理、技术与方法 赵丹群编著，考研专业课！现代信息检索:原理技术与方法赵丹群编著北点大字出版社9902 PEKING UNIVERSITY PRESS内容提要本书是对信息检索领域基本理论、主要技术和应用方法的系统介绍和阐述。全书共分11章:信息检索概述;信息检索的数学模型;信息检索系统及其构成;文本信息检索技术与方法;多媒体信息检索技术与方法;web与网络搜索引擎;信息检索评价研究;文本信息处理自动化技术;信息检索的基本方法与步骤;常用数据库及国际联机检索服务系统;常用网络搜索引擎服务系统。每章后面都提供了思考与练习题。另外,书后还附有主要参考文献列表和重要名词术语索引表。全书内容新颖丰富,资料翔实,概念清晰,分析阐述系统深入本书可作为高等院校信息管理与信息系统专业、计算机科学技术专业情报学专业、图书馆学专业学生的教材或教学参考书,也可供各类信息中心、情报研究所、图书馆等机构工作人员以及广大信息用户学习参考图书在版编目(CIP数据现代信息检索:原理、技术与方法/赵丹群编著.一北京:北京大学出版社,2008.1ISBN9787-301-12926-5「·现…·Ⅱ·赵…Ⅲ.情报检索一高等学校一教材Ⅳ.G252.7中国版本图书馆CIP数据核字(2007)第168891号书名:现代信息检索:原理、技术与方法著作责任者:赵丹群编著责任编輯:沈承凤封面设计:张虹标准书号:ISBN9787-301-12926-5/G·2216出版发行:北京大学出版社址:北京市海淀区成府路205号100871地网电电址http://www.pupcn子信箱:zpup@pup.pku.edu.cr话:邮购部62752015发行部62750672编辑部62752038出版部62754962印刷者:世界知识印刷厂经销者:新华书店787毫米X1092毫米16开本24.25印张602千字2008年1月第1版2008年1月第1次印刷价:41,00元未经许可,不得以任何方式复制或抄袭本书之部分或全部内容。版权所有,侵权必究举报电话:(010)62752024电子信箱:fd@pup.pku.edu.cn前言信息检索是一个具有鲜明交叉研究特性的学科领域。半个多世纪以来,它根植于图书馆学和情报学等母体学科,在广泛借鉴和吸收数学、逻辑学、计算机科学、语言学、认知心理学、系统科学等一系列相关学科研究思想和研究方法的基础上,获得了不断发展,并日益成熟起来。目前,在新的技术条件和应用环境下,信息检索的研究面貌已发生了巨大的变化,主要表现在信息检索对象从早期的结构化书目信息扩展为当前大容量、无结构或半结构化的全文文本,进而再到包含有音频、视频等类型的多媒体信息;信息组织方式从传统的线性文本组织技术到新兴的超文本/超媒体链接技术的广泛运用;检索匹配标准从最初定性的布尔逻辑(二值相关性判断)发展为基于代数论和概率论的加权量化处理(多值相关性判断);检索应用环境则经历了从单机到网络平台,从集中式网络到分布式、异构性和动态Web网络环境的不断转移;用户检索需求也从简单的关键词査询提升为概念检索,以及基于概念语义关系的逻辑推理查询;等等。所有这些演变、拓展和延伸,不仅充分显示了信息检索领域研究内容的丰富及其在理论技术、应用等不同层面取得的丰硕成果,而且也昭示着该领域研究活动与时俱进、蓬勃发展的生机与活力。基于对信息检索领域的上述认知,本教材的编写力图从理论、技术和应用三个方面来全面、系统地展现信息检索研究活动及有关内容。为此,教材共设置了11章。其中,第一、二、、七章主要介绍和分析信息检索的基本理论知识,信息检索的数学模型(第二章)是理论部分的重点;第四、五、六、八章以技术问题为主,分别讨论了文本、非文本(音频、视频等)、Web资源等各种不同检索对象的主要检索技术与算法,以及与文本检索密切相关的其他技术;第九、十、十一章则关注信息检索的应用问题,集中说明和介绍了信息检索操作的基本方法(步骤)主要策略、各类常用的信息检索服务系统等内容。在具体的编写过程中,作者努力坚持并赋予教材以如下特色:兼顾理论、技术与应用,使三个层面的知识与内容密切关联,以形成一个有关信息检索的有机知识体系。自2001年起,作者连续为北京大学信息管理系“信息管理与信息系统”专业的本科生(1999—2005级)讲授专业课程“信息存储与检索”。在多年承担该课程教学工作的过程中,作者一方面搜集、阅读了大量国内外的相关文献资料,积累了丰富的教学素材,并构建起一个比较适宜的课程教学框架体系;另一方面,也应邀参编了一些针对研究生、本科生和远程教育学生等不同教学对象的信息检索教材。但由于种种因素的限制,已编著出版的这些教材在当前的实际教学过程中都还不够得心应手。2005年秋,有幸得到北京大学教材出版基金的资助,以此作为推进的契机,编写一部内容新颖、体系完整教材的心愿终于得以实现。本教材的编写凝结了作者多年相关教学和科研工作的辛劳和积累,现在能够付梓出版情十分快慰!不过,回想编写、修改和成书的全过程,多年来选修“信息存储与检索”课程的同学们也做出了非常可贵的贡献。正是在大量的、直接的教学互动中,我倾听、了解到了他们对课程教学工作的愿望、建议与批评,这些都令我深受启发,并获益匪浅。另外,我的几位研究生在承担课程助教的过程中,也为本书的编写提供了资料查找帮助和有益的建议,并参加了部分2现代信息检索:原理技术与方法章节(第五章(朱卫杰)、第七章〔张秀坤)第十一章(隆捷、王晓敏周思来、周鑫))的初稿写作。此外,还有王建冬(06研)刘幸昕(03本)、张宇(03本)、金燕(04本)程娟(04本)等同学,他们提交的课程作业(或调查报告)也为教材内容增色不少。在此谨记并致以由衷的谢意。最后,真诚感谢北京大学出版社的沈承凤老师,在酷暑和手臂骨折等困难情况下,她为本书的出版提供了宝贵的指导和莫大的帮助。由于作者能力及水平有限,书中难免存在一些疏漏和不足之处,恳切希望得到各位读者朋友的批评指正,以便使教材能够日臻完善。赵丹群2007年8月于燕园作者简介赵丹群女,1966年生,管理学博士,北京大学信息管理系副教授。主要从事信息检索、信息计量学领域的教学和研究工作,主讲“信息存储与检索”、“算法与数据结构”、“信息计量学”等多门本科与研究生课程,主编、参编相关著作和教材10部,独立发表学术论文20余篇。曾多次获得北京大学优秀教学成果奖励。目录第一章信息检索概述…………………(1)1.1信息检索的基本概念…1.2信息检索的基本原理(3)1.3信息检索的研究对象与研究方法………(41.3,1主要研究问题…………………………………………(5)1.3.2相关学科及领域…………………………………(6)4信息检索的发展历史……………(8)1.4.1手工检索时期………………………………(8)1.4.2计算机化检索时期·········。·●·.···。··自·音音。。省自。日品aa…………………(9)1.4.3网络化检索时期…………(12)思考与练习题··········4·······.·.······……(15)第二章信息检索的数学模型……(16)2.1信息检索系统的形式化表示…自·········。··辛···非··沿。。。。。b。aaaa4。a.aaa2.2集合论检索模型……●·······鲁寺··.。·。音自音自·自曲。。。。。a。,·●…(19)2.2.1布尔检索模型……………………………………………(19)2.2.2模糊集合模型……21)2.2.3扩展布尔模型(24)2.3代数论检索模型………………………………………………………(26)2.3.1向量空间模型(26)2.3.2潜在语义索引模型(28)2.3.3神经网络模型…………………………………………………………(30)2.4概率论检索模型………………………………………………(33)2.4.1经典概率模型………(33)2.4.2基于 Bayesian网络的检索模型(35)2.5其他信息检索模型与数学理论……………………………………(37)2.5.1结构化检索模型(38)2.5.2浏览模型……···········································.····(40)2.5.3其他新型数学理论………(41)思考与练习题……………………………………(47)第三章信息检索系统及其构成………………………………………………(49)31信息检索系统及其类型…………(49)3.1.1信息检索系统的定义…(49)3.1.2信息检索系统的类型……(50)3.2信息检索系统的基本结构…4。垂。。。。垂●·●。(53)现代信息检索:原理、技术与方法3.2.1信息检索系统的物理结构………····.·..·······;··a·(53)3.2.2信息检索系统的逻辑结构……………(54)3.3信息存储各功能模块分析…3.3.1信息资源及其选择与采集…………………(55)3.3.2信息标引处理……(59)3.3.3数据库创建与维护…(64)3.4信息查询各功能模块分析……"……………(66)3.4.1用户(检索)接口(66)3.4.2提问处理与检索匹配………………(70)3.5知识组织与管理工具模块分析…(70)35.1知识组织与管理工具的技术理念………………3.5.2知识组织与管理工具的类型……(74)3.5.3知识组织与管理工具的应用方式(76)思考与练习题……………………………………………………………(78第四章文本信息检索技术与方法…··..a····.·=:·······:···(80)4.1文本信息概述…(80)4.1.1文本信息的基本知识…(80)4.1.2自然语言文本中词汇的频率与数量分布规律………(82)4.1.3文本信息预处理··s..:a·a······:a··(83)4.2布尔检索…………(84)4.2.1布尔逻辑算符及其使用…………………………………………………(85)4.2.2布尔逻辑检索提问式的变换处理(87)4.2.3布尔检索的技术实现(91)4.3截词检索(92)4.3.1后截词检索………(93)4.3.2前截词检索·······。:aa.a………(94)4.3.3中截词检索……………(95)4.3.4截词检索的技术实现…4.4限制检素(96)4.5位置检索(98)4.5.1邻接检索……………(984.5.2同句检索·自。···············.:a···…………………(99)4.5.3同字段检索和同记录检索(100)位置检索的技术实现…(100)4.6聚类检索…………2····专··音。。··(101)4.6.1聚类检索的概念………………·······aa·asa………(101)4.6.2聚类检索的技术实现………(102)4.6.3聚类检索的进一步分析…………(1024.7相关反馈与提问式扩展技术·。··鲁鲁音。·即·。。垂(103)目录4.7.1基于用户反馈法的提问式扩展………………………………(104)4.7.2基于局部自动分析的提问式扩展(105)4.8可视化检索技术………………………………………………(107)4.8.1提问式构造可视化·。鲁。··,·中专…(108)4.8.2检索过程可视化(110)4.8.3检索结果可视化…(111)8.4检索词表(叙词表)可视化(113)4.9联机检索辅助技术…………(115)4.9.1信息的浏览式查询与超链接技术的运用…(115)4.9.2检索结果的翻译和多语种(或跨语种)检索………。。。看垂。B。自·春。.自自(116)4.9.3检索结果的后处理………(117)思考与练习题(118第五章多媒体信息检索技术与方法………………………………………………(120)5.1多媒体信息概述…(120)5.1.1音频信息……………………………………………(121)5.1.2图形与图像信息…(124)51.3视频信息………………………………………………………………(126)5.2多媒体信息的基于内容检索(129)52.1多媒体信息检索的新思想——基于内容检索(129)5.2.2基于内容检索的研究内容……………………………………(130)5.2.3基于内容检索系统的基本框架(131)5.3音频信息的基于内容检索………………………(133)5.3.1音频信息基于内容检索的主要查询方式……………………(133)5.3.2语音检索…………………………………………………………………………(134)53.3音乐检索……………(137)5.3.4其他音频检索………………………(137)5.4图像信息的基于内容检索……(138)5.4.1图像信息基于内容检索的主要查询方式(138)5.4.2基于颜色特征的图像检索………………………………………(139)5.4.3基于纹理特征的图像检索………………(141)5.4.4基于形状特征的图像检索·。·。·草,·.看看·看要普带争·聊·看·。·寺··辛哪章··带章·看···章(142)5.4.5基于空间关系的图像检索………(144)5.4.6基于组合特征的图像检索…………………………………(146)5.5视频信息的基于内容检索……………………………………………(148)5.5.1视频镜头的检测与表达………5.5.2视频镜头聚类与镜头集合描述……………………………(150)5.5.3视频数据的组织与索引…………(151)5.5.4基于内容的视频检索…………………………………………(153)5.5.5视频检索的常用查询方式…………(154)