信息检索技术讲义.pptx
《信息检索技术讲义.pptx》由会员分享,可在线阅读,更多相关《信息检索技术讲义.pptx(84页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、专题二:专题二:信息检索技术信息检索技术本专题内容本专题内容第一节布尔逻辑检索第一节布尔逻辑检索第二节截词检索第二节截词检索第三节位置检索第三节位置检索第四节限定检索第四节限定检索第五节全文检索第五节全文检索第六节引文检索第六节引文检索第一节布尔逻辑检索第一节布尔逻辑检索一一.布尔逻辑运算符布尔逻辑运算符二二.布尔逻辑运算符的运算次序布尔逻辑运算符的运算次序三三.布尔表达式编制注意事项布尔表达式编制注意事项四四.布尔检索表达式的特点(优缺点)布尔检索表达式的特点(优缺点)检索单元检索单元单元词检索单元词检索?Scomputer 1 3000 computer多元词检索多元词检索?Sinform
2、ation retrieval 2 1300 information retrieval一一.布尔逻辑运算符布尔逻辑运算符布尔逻辑检索的布尔逻辑表达式是采用布尔逻辑运算布尔逻辑检索的布尔逻辑表达式是采用布尔逻辑运算符(符(逻辑与逻辑与“and”“and”、逻辑或逻辑或“or”“or”、逻辑非逻辑非“not”“not”)来连接运算分量(检索词),以及)来连接运算分量(检索词),以及表示运算表示运算优先级的括号优先级的括号组成的一种表达检索要求的一种算式,组成的一种表达检索要求的一种算式,简称提问逻辑式。简称提问逻辑式。逻辑与逻辑与“and”“and”逻辑或逻辑或“or”“or”逻辑非逻辑非“no
3、t”“not”逻辑或逻辑或“or”A or B ;A+B信息源中含有检索词信息源中含有检索词A A或或B B的所有信息均为命中的所有信息均为命中对象。对象。逻辑或可以实现扩检,增强检全率逻辑或可以实现扩检,增强检全率ABAB AB布尔或关系文氏图逻辑与逻辑与“and”A and B;A*B同时含同时含A、B两个检索词的信息为命中信息。两个检索词的信息为命中信息。逻辑与运算,可以增强查找的专指性,提高检逻辑与运算,可以增强查找的专指性,提高检准率。准率。布尔与关系文氏图AB ABA AB B逻辑非逻辑非“not”A not B ;AB;B*A逻辑非运算是一种排除性运算,逻辑非运算必须与逻逻辑非运
4、算是一种排除性运算,逻辑非运算必须与逻辑与运算同时使用。辑与运算同时使用。在实际检索中,常常在一个检索中间结果中使用在实际检索中,常常在一个检索中间结果中使用“非非”运算,用来排除指定的其中某类文献,以提高检索的运算,用来排除指定的其中某类文献,以提高检索的查准率。查准率。ABAB AB布尔非关系文氏图二二.布尔逻辑运算符的运算次序布尔逻辑运算符的运算次序对于一个布尔检索逻辑表达式,计算机对于一个布尔检索逻辑表达式,计算机的处理总是从左向右进行的,遵循四则的处理总是从左向右进行的,遵循四则运算;运算;对于运算符对于运算符or,and,not,它们的运算优先次它们的运算优先次序在不同的系统中有着
5、不同的规定:序在不同的系统中有着不同的规定:DIALOG:notandor对同一个布尔逻辑提问式来说,不同的对同一个布尔逻辑提问式来说,不同的运算次序将会产生不同的检索结果。运算次序将会产生不同的检索结果。练习练习练习练习1 1有关上海市内的河流污染的文献。有关上海市内的河流污染的文献。A A上海市内上海市内 B B河流河流 C C污染污染练习练习2 2 对日本对日本与与美国的军队信息化建设方面进行比较的文献。美国的军队信息化建设方面进行比较的文献。A A日本日本 B B美国美国 C C军队信息化建设军队信息化建设 练习练习3 3 有关日本有关日本或者或者美国的军队信息化建设方面的文献。美国的
6、军队信息化建设方面的文献。A A日本日本 B B美国美国 C C军队信息化建设军队信息化建设练习练习4 4 有关除了大米有关除了大米以外以外的谷物进口的文献的谷物进口的文献 A A谷物谷物 B B大米大米 C C进口进口 三三.布尔表达式编制中的注意事项布尔表达式编制中的注意事项(1 1)概念整体与部分的关系)概念整体与部分的关系(2 2)慎用)慎用“not”“not”(3 3)布尔逻辑算符的使用技巧)布尔逻辑算符的使用技巧(1 1)概念整体与部分的关系)概念整体与部分的关系例如例如“检索关于欧洲能源问题的文献检索关于欧洲能源问题的文献”欧洲欧洲(Europe););能源能源(Energy)E
7、urope*Engergy*概念检索(同义扩展、相关概念的联想)概念检索(同义扩展、相关概念的联想)(Europe+Britain+France+Italy+Spain+)*(Energy+coal+petroleum+natural gas+)练习练习查找查找“有关上海市内的河流污染的文献。有关上海市内的河流污染的文献。”A上海市内;上海市内;B河流;河流;C污染污染n (上海市+黄埔区+卢湾区+)*(河流+黄埔江+苏州河+暗沟)*污染(2)慎用慎用“not”避免将非运算和或运算一起使用,否则将会再避免将非运算和或运算一起使用,否则将会再现滥检现象。现滥检现象。检索逻辑检索逻辑notnot慎
8、用,否则会检索失败。慎用,否则会检索失败。例如:例如:NOT 计算机计算机 OR 软件软件military aircraft NOT aircraft(computer+software)NOT harware(3 3)布尔逻辑算符的使用技巧布尔逻辑算符的使用技巧当采用逻辑与当采用逻辑与“*”“*”连接检索词时,尽可能将连接检索词时,尽可能将出现频率低的词放在出现频率低的词放在“*”“*”之前,其目的是为之前,其目的是为了使否定的答案尽早排除。了使否定的答案尽早排除。(要求较高的查准(要求较高的查准率)率)采用逻辑或采用逻辑或“+”“+”连接检索词时,将出现频率连接检索词时,将出现频率高的词放
9、在高的词放在“+”“+”之前,确保命中答案尽早出之前,确保命中答案尽早出现。现。(保证较高的查全率)(保证较高的查全率)四四.布尔检索表达式的特点布尔检索表达式的特点优点:优点:与思维习惯一致与思维习惯一致查找出有关某一主题的文献查找出有关某一主题的文献同时包含主题同时包含主题A A和主题和主题B B的文献的文献主题主题A A和主题和主题B B只要有一种即可只要有一种即可获得主题获得主题A A的文献,但排除其中含有主题的文献,但排除其中含有主题B B的文献的文献表达方式直观清晰表达方式直观清晰方便扩检与缩检方便扩检与缩检增加逻辑或增加逻辑或(扩检扩检)增加逻辑与增加逻辑与(缩检缩检)缺点缺点检
10、索输出量难以控制;检索输出量难以控制;检索结果不能根据用户的检索需求按重要程度检索结果不能根据用户的检索需求按重要程度顺序排序输出;顺序排序输出;对于文献描述与布尔查询中的词汇无重要层次对于文献描述与布尔查询中的词汇无重要层次之分;之分;过分依赖于检索用词,检索效果不甚理想。过分依赖于检索用词,检索效果不甚理想。布尔逻辑检索小结布尔逻辑检索小结布尔检索技术一直是信息检索系统采用的主要布尔检索技术一直是信息检索系统采用的主要检索技术之一。检索技术之一。布尔逻辑检索反映了检索词之间的逻辑关系,布尔逻辑检索反映了检索词之间的逻辑关系,属于一种定性的信息检索技术,这种定性检索属于一种定性的信息检索技术
11、,这种定性检索难以分辨出检索结果之间的重要程度。难以分辨出检索结果之间的重要程度。严格的二值逻辑判断,使单纯布尔逻辑检索的严格的二值逻辑判断,使单纯布尔逻辑检索的结果缺乏结果缺乏“量量”的比较。的比较。第二节截词检索第二节截词检索(模糊检索)(模糊检索)截词检索截词检索利用检索词的词干或不完整的词形进行检索。利用检索词的词干或不完整的词形进行检索。在检索标识中保留相同部分,用相应的截词在检索标识中保留相同部分,用相应的截词符符(?#:$)代替可变化部分进行的检索。代替可变化部分进行的检索。截词检索类型截词检索类型(一)按截断字符数量分:有限截断;无限截断(一)按截断字符数量分:有限截断;无限截
12、断(二)按截词位置分:左截断;右截断;中间截断(二)按截词位置分:左截断;右截断;中间截断词干后至多跟与截字符相同的字符数nDIALOG nchild?nchild+children+nchildish+childlikenORBITn child#nBRSnchild$4(一)按截断字符数量分(一)按截断字符数量分(1)有限截断有限截断(Limited Truncation)有限截断一个字符nDIALOG ntechnique?ntechnique+techniquesnORBITn technique#nBRSntechnique$1?S au=pauling,l?pauling,l+pa
13、uling,linus+pauling,linus c+pauling,linus carling?S py=199?检出文档中所有检出文档中所有2020世纪世纪9090年代出版的文献年代出版的文献S pollut?pollutant+pollutants+pollute+polluting+pollution(2)(2)无限截断无限截断(unlimited truncation),也称,也称“开放式截断开放式截断”DIALOG中,词干后跟一个“?”ORBIT pollut:BRS pollut$(二二)按截断位置分按截断位置分(1)右截断右截断(right truncation)右截断主要用
14、于:右截断主要用于:词的单复数词的单复数 book?Child?同根词同根词color?作者作者 au=chamberlain,a?出版年出版年py=199?注意:注意:右截断截得过短易造成大量误检右截断截得过短易造成大量误检。ORBIT、BRS 有限和无限左截断有限和无限左截断;DIALOG无此功能。无此功能。#hydroxy (羟基羟基)dehydroxy+dihydroxy+hydroxy$2.hydroxydehydroxy+dihydroxy+hydroxy(2)左截断左截断(left truncation)举例举例magneticelectro-magneticelectromag
15、neticparamagneticthermo-magneticthermomagneticORBIT :magnetic BRS$.magnetic(3)中截断中截断(internal truncation)中截断中截断,也称嵌入式截词也称嵌入式截词organi?ationorganization+organisationwom?n?woman+womanly+women中截断主要用于中截断主要用于第一,单复数在词中元音上变化的情况第一,单复数在词中元音上变化的情况man men;goose geese第二,动词与名词拼写的不同第二,动词与名词拼写的不同advice advise第三,同一单
16、词英美拼写的差异第三,同一单词英美拼写的差异defense defenceORBITORBIT前后截词前后截词CHEMICALCHEMISTRYCHEMISORPRIONCHEMISTELECTROCHEMICALELECTROCHEMISTRYPHYSICOCHEMICALPHYSICOCHEMISTRYTHERMOCHEMICALTHERMOCHEMISTRY:CHEMI:主要联机系统拥有的截词功能主要联机系统拥有的截词功能联机系统右截断左截断左右同时截断中截断DIALOG有无无有ORBIT有有有有BRS有有无无截词检索的作用截词检索的作用扩大查找范围,提高检全率;扩大查找范围,提高检全率
17、;减少检索词的输入量,简化检索步骤,减少检索词的输入量,简化检索步骤,节省费用节省费用第三节位置检索第三节位置检索(邻近检索邻近检索)一一.概念及作用概念及作用二二.常用的位置逻辑算符常用的位置逻辑算符三三.位置算符的综合运算位置算符的综合运算四四.位置非算符位置非算符在美国商业与工业管理索引在美国商业与工业管理索引 ABI/INFORM查找有关查找有关“利用计算机犯罪利用计算机犯罪”的文献的文献ABI/INFORM(Copr.Data Courier Inc.)?scomputercrime 1 0 COMPUTER CRIME?sscomputer?andcrime?2 23428 COM
18、PUTER?3 1178 CRIME?4 300 2 AND 3?t4/4/1 4/4/1Scotland Yard to Battle Escalating Crime with Computerized Command and Control SystemAnonymousComputerworld v16n37 pp:18-19 Sep 13,1982The Metropolitan Police Force at Scotland Yard has installed a computerized command and control system.The system will p
19、lace Londons bobbies at the vanguard of modern computing and communications technology.When the system is fully operational,the police department will have direct connections with the Police National Computer for immediate access to such information as fingerprint records.一一.概念及作用概念及作用位置逻辑检索位置逻辑检索(P
20、roximity Searching)通过位置逻辑算符规定词间位置关系所进行通过位置逻辑算符规定词间位置关系所进行的检索。的检索。位置逻辑算符位置逻辑算符即邻接算符,是表示词间位置关系的符号即邻接算符,是表示词间位置关系的符号作用作用表达复杂概念;解决词表规范词数量不足和表达复杂概念;解决词表规范词数量不足和词表不全的困难;提高查找深度词表不全的困难;提高查找深度二二.常用的位置逻辑算符常用的位置逻辑算符(以以DIALOG为例为例)位置检索大致包括下列四种级别的检索:位置检索大致包括下列四种级别的检索:(一一)词位置检索词位置检索(二二)子字段或自然句级检索子字段或自然句级检索(三三)字段级检
21、索字段级检索(四四)记录级检索记录级检索(一一)词位置检索词位置检索(1)(W)或或()词位置顺序紧连词位置顺序紧连With表示表示(w)连接的两词相邻,词序不变。两词之间连接的两词相邻,词序不变。两词之间可有单个空格、标点符号(连字符)。可有单个空格、标点符号(连字符)。?ssolar(w)energy/?ssolar()energy可检得含有固定词组可检得含有固定词组“solar energy”的结果的结果?son(w)line可检出可检出on line或或on-line?sx(w)ray可检出可检出x-ray比较检全率比较检全率?s solar(w)energy?s solar ener
22、gy?s solar and energy(2)(nW)位置顺序隔词位置顺序隔词(nWord)(nW),表示,表示(nW)所联接的两词之间所联接的两词之间可含可含有有0n个词个词,两词次序不能颠倒。,两词次序不能颠倒。?slaw(2W)sea可以检出可以检出LAW OF THE SEA?scomputer(1W)communication可检出可检出:computer communication;computer and communication;computer for communication?sscomputer?(w)crime?S5 154 COMPUTER?(W)CRIME?8
23、202731682027316 Time Bandits Time Bandits Miksanek,Chris Miksanek,Chris Interface:Interface:Data Data Processing Processing Mgmt Mgmt v7n3 v7n3 pp:8 pp:8 Autumn 1982Autumn 1982 The cost of The cost of computer crimecomputer crime to US businesses will to US businesses will exceed$200 million in 1982
24、.Although theft of exceed$200 million in 1982.Although theft of computer time occurs in most data processing computer time occurs in most data processing(DP)centers,very few DP managers are aware of(DP)centers,very few DP managers are aware of9200305892003058Stop,Thief!/Trends to Eye in 92Stop,Thief
25、!/Trends to Eye in 92 Johnson,Bob Johnson,Bob Computerworld Computerworld v16n1 v16n1 pp:72-76 pp:72-76 Dec Dec 28,1991/Jan 28,1991/Jan 4,19924,1992 Because Because the the data data processed processed by by computers computers is is intangible,intangible,unlimited unlimited possibilities possibili
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息 检索 技术 讲义
限制150内