信息组织与检索复习提纲知识分享.doc

Good is good, but better carries it.精益求精，善益求善。信息组织与检索复习提纲-信息组织、检索与存储复习纲要第一章信息组织概念即信息序化或信息整序，即利用一定的科学规则和方法，通过对信息外在特征和内在特征的表征和序化，实现无序信息流向有序信息流的转换，从而保证用户对信息的有效获取和利用及信息的有效流通和组合。外在特征：信息的物质载体所直接反映的外在、形式的特征；例如：语种、作者、出版社、标题等内在特征：信息所包含和承载的具体内容。例如：主题词、关键词、分类号等信息组织发展阶段：清册职能时期-古代信息管理时期查检职能时期-近代信息管理时期组织职能时期-现代信息管理时期知识组织时期-知识管理时期信息组织一般过程：？信息组织与信息检索的关系：先有信息组织，再有信息检索；信息检索质量来衡量信息组织。第二章分类法类型（按照分类法的编制方式）：等级列举式分类法、分面组配式分类法、半分面分类法等级列举式分类法（列举式分类法、体系分类法）中图法类目体系的几种关系：Ø 从属关系：用上位类和下位类表示，如：生物力学与生物学；化学与有机化学Ø 同一关系：同义词，如：概率论（或然论）；边缘科学，如：宇宙医学；一个类目涉及几个方面，如：工业经济Ø 交叉关系：共青团员和大学生Ø 并列关系：如：茶和可可Ø 对立关系：如：无机肥料和有机肥料Ø 矛盾关系：如：黑色金属冶金学和有色金属冶金学（对立关系与矛盾关系的区别在于：矛盾的关系的双方加起来等于全集，而对立关系双方则不是。）标记符号：码的编制方式包括：顺序制、层累制、混合制层累制的优缺点Ø 优点：分类号能够体现类目的等级关系，便于扩检或缩检。Ø 缺点：类目越细类号越长，影响类号简短性；同位类超过10个时采用阿拉伯数字难以按等级编码，必须采用一定变通方法。顺序制的优缺点Ø 优点：配号简单，号码简短，容纳性强。缺点：表达性、助记性差。标引概念对文献主题进行主题分析，从自然语言转换成规范化的检索语言的过程，即对主题分析结果赋予检索标识的过程。分类标引概念将文献主题的自然语言形态，转换成分类语言形态的一种标引，也就是将文献主题转换成分类号的一种标引。分类标引的过程：？分类标引包括分类和归类。Ø 分类，就是将大量的文献信息，根据它们的内容性质、形式体裁、立场观点和读者用途上的异同，按照文献分类体系，由下而上，由大到小，由整体到部分，由一般到特殊，由总论到分类的层层划分。归类，运用分类体系分类图书，由下而上，由小到大，由部分到整体，由特殊到一般，由分论到总论的集合过程。分类标引的主要优点：（1）具有达到较高查全率（主题分类是提高查准率）的族性检索性能，有利于从学科或专业范围角度进行全面检索；（2）组织文献资料的排架。分类标引的原则多主题分类标引1)并列关系。（考虑上下位关系的主题归类）凡论述两个并列的主题，按篇幅多的或在前的主题归类。凡论及三个以上主题的书，均应归入其上位类。如雷、电、风、雨入“P24气象基本要素”。2)从属关系。（考虑较大较小的概念归类）即一书论述的两个主题，其中一个是另一个的一部分(它们之间的关系是上下位类的关系)，就依较大概念的主题归类。如天文学、天体照相学，因天体照相学是天文学的一个分支，故入“P天文学”。若论述的重点是小主题，则依小主题的学科属性归类，如农业植物与花卉按重点主题“花卉”归入“S68”。3)影响关系和因果关系。（以被影响或结果的主题归类）如沙俄侵华史入“K25半殖民地、半封建社会”，维生素A缺乏所引起的后果归入“R591.41医学类”。中图法中国图书馆图书分类法（记住这是中国的）主题法受控语言与自然语言的比较（见下表）词汇控制欲检索效率的关系（见下表）词汇控制的范围（与上表相应）（词量减少，提高查全率） 词量控制（组配标引、上位词标引、核心词） 词类控制（名词、名词性词组、截词） 词形控制（不同形体、拼写、词序、单复数、学名与俗名、新名与旧名、全称与简称） 词义控制（词间关系控制、限定词、范围注释） 词间关系控制（词族控制、范畴控制、分面分类控制） 专指度控制 先组度控制句法关系控制主题法的类型划分（按照主题法选词方式）：标题法元词法叙词法关键词法主题标引基本规则标引顺序：专指标引、组配标引、上位词标引、靠词标引、增词标引练习：试参考给出的备选主题词对下列资源进行主题标引Ø 中国社会主义商业经济备选主题词：中国社会主义商业经济社会主义经济商业经济Ø 发动机结构设计备选主题词：发动机结构设计发动机结构结构设计Ø 淡水鱼类养殖备选主题词：淡水鱼类养殖淡水鱼类淡水养殖鱼类养殖Ø 拖拉机维修Ø 日本的经济发展和美国的经济危机法国史中国分类主题词表的结构与使用第三章自动标引概念自动标引是指利用计算机系统从拟存储、检索的事实情报或文献(题目、文摘、正文)中抽取检索标志的过程，可以分为自动抽词标引和自动赋词标引。一个标引系统的有效性取决于标引的网罗度和专指度。P11标引的网罗度表示标引词对文献各方面内容的表达和识别程度，网罗度越高，则越有利于提高查全率。标引的专指度表示标引词对文献特定内容描述的详细程度，专指度越高，则越有利于提高查准率。自动标引的一般过程：1.将文献输入计算机。2.借助一定的技术手段，设计某种算法对文本中的语句进行分析，识别出词与非词、实词和虚词，并累计词频。3.确定内容词的加权方案，根据词频计算每个词的权值，确定候选标引词的权阈值。4.根据阈值选出词权大于或等于阈值的词作为标引词5.将选定的标引词连同文献的地址信息，按预定要求排序，生成索引文档或倒排文档。6.根据检索实验，对标引过程进一步优化，提高标引质量绝对词频与相对词频的区别？绝对词频法的基本思想：计算文献集合中每篇文献中每个不同的词出现的频率；把每个不同的词在n篇文献中的出现频率相加，得到每个词的集合频率；按集合频率递减排序，用试错法确定高频词和低频词的阈值，排除高于高频词阈值和低于低频词阈值的词；对余下的中频词赋予较高权值作为标引词没有考虑选择作为标引词的术语对文献的区分性能没有考虑选择作为标引词的术语对文献的区分性能。当以一数据库为范围进行考察时，一些词语虽然在某一文献资源中经常出现，但同时也经常在整个数据库中出现，那么根据这一方法抽取出来的词可能无法很好的区分数据库中的不同文献。这些高频词可能并不具有检索意义，会降低文献的查准率。例如：在一个信息科学的文献集合中，“信息”出现的次数最多，但它并不是区分这一文献集合中条目的理想语词。“人工智能”一词虽然出现的次数少，却比“信息”更有区分文献的作用。相对词频法基本思想：在一般文献中不常出现的低频词取低值，在专业文献中频繁出现而在特定文献内以低频词出现的词取高值。为此，首先要建立有关领域全部词汇的相对频率表；其次，对待标引的文献进行处理，排除停用词，计算每个实词在特定文献中出现的频率；最后，将每个实词在特定文献中出现的频率与相对频率进行比较。某些词在文献内出现的频率虽然较高，但未达到相对频率表中的规定值，就得被排除；而另一些词尽管在文献中出现的频率较低，但已达到表中的规定值，则被选为标引词。中文自动标引主要方法、优缺点？PPT3.2.42（1）词典标引法主题词表法、关键词词典法、部件词典法（2）切分标记法 切分标记法是将能够断开句子或表示汉字之间关系的汉字集合组成切分标记字典。 这类方法典型代表是非用字后缀表法。此方法按照不同的用途将字机械地分成四个类别：表外用字、表内用字、条件用字和非用字。实现时，机器自左至右扫描汉字，逐字对照非用字后缀表。将用字取出，非用字舍去。切分的原则是有联系则取，无联系则断。（3）语法分析标引法 语法分析标引法是通过对自然语言文法或句型文法的分析来抽取主题词加以标引。（4）汉语自动标引专家系统 是以现有的汉语专业主题词表为基础，构建概念语义网络，根据一定的抽词规则、标引规则和专门知识，对所处理的素材进行分析、判断，选择和确定标引主题词。（5）单汉字标引法 单汉字标引是指单个汉字作为标引基本单元，以单汉字处理单位，在检索时，对不属于停用词范畴的单个汉字进行逻辑乘运算，也即对标引字所代表的概念层面进行后组配，从而获得检索结果。 建立单汉字索引虚汉字常用字：索引记录中包括该汉字、含该汉字的文献总数、各文献标志号等信息。基本字：一个记录对应一个汉字，索引格式为【单汉字，篇数，标志号集合】。 位置匹配检索首先把检索字串分解成单汉字，逐个在汉字位置倒排文档中进行查找，得出含有相应单汉字的记录号集合及各汉字在文献中的位置。然后对两个集合进行交叉运算，并根据检索字串中各字的位置限定得出符合要求的结果。 检索词首字直接匹配检索首先取检索词的第一个汉字查找单字索引，获取其在数据库中的记录号和位置值，并提取该记录；然后直接比较检索词和所得记录的子字串，如果相同，则作为命中结果。 后控词表后控词表收录同义词和相关词，主要通过词间关系进行控制，提高系统的查全率和查准率。汉语自动标引方法评价 词典法是传统的标引方法，其算法比较简单和清晰，核心是构造一个词典。词典法中的主题法具有扩检和缩检的能力，这是其他方法无法达到的。 切分标记法无需构造词典，它依据仿读思路，用字典和模式实现汉字自动标引。实践表明，字典完全可以替代词典完成自动标引。 语法分析标引法在理论上比单纯以字典和词典为基础的标引方法要深入和完善，分词效果优于前者，但是这种方法在实践上发展缓慢。目前出现的只有句型文法分析法，仅限于科技文献的文摘和标题。 中文自动标引专家系统是以汉语语义理解为特征的自动标引系统。目前提出的各种中文自动标引方法，基本不进行语义理解，只从形式上进行机械地匹配抽词来完成标引，会出现标引素材与原文主体内容不符的现象。单汉字标引法以汉字为处理单元，避开了分词障碍，便于计算机自动抽取和处理。无需构造词表，用后组配检索模式，能达到任意的专指度和泛指度。这种方法对隐含概念主题难以处理，容易造成漏检。自动分类概念利用计算机对文本集（或其他实体或对象，如网页文本等）按照一定的分类体系或标准进行自动分类，属于同一类别的文本被标上相同的类别标记，为文本信息资源的检索提供系统化的解决方案自动分类主要类型一般包括自动聚类、自动归类、类号的自动转换。自动聚类概念指从待分类对象中提出特征，再将提出的全部特征进行比较，并根据一定的原则将具有相同或相近特征的对象定义为一类，设法使各类中包含的对象大体相等。一般是在语词共现的基础上，通过词频统计、相似性比较，将相关文献聚集在一起。自动聚类分类：基于词语特征的自动聚类例如：文献相似度计算基于非词语特征的自动聚类例如：利用引用关系进行文献聚类自动归类一般经过如下几个过程（1）建立类主题词在含有一定数量的样本文献集合中，分析每一篇文献主题，确定文献主题词，将这些主题词归属于一定的类，形成一个类主题词表。（2）计算文献的类归属度分析需要归类的文献对象，将它的主题词与类主题词表进行匹配，找出其中所包含的类主题词，再逐项累加文献主题词中所包含的类主题的类归属度作为文献的类归属度。（3）当文献类归属度超过某类规定的阀值时，即可考虑能否将它划归某类。（4）根据一定的分类规则，赋予文献分类号。自动摘录的概念PPT3.4？第四章MARC(ISO2709格式)即文献目录信息交换用磁带格式该格式分为：头标区、目次区、数据区。标记语言（MarkupLanguage）一种有效的数字化信息资源描述语言 标记语言分类： 元标记语言：SGML，XML实例标记语言：HTML，XHTMLXML的特性 良好的可扩展性(Extensibility) 良好的自描述性 更有意义的搜索 遵循严格的语法要求 便于不同系统间信息的传输 具有较好的保值性 简明性灵活性XML与HTML区别：元数据含义“元数据（Metadata）”就是“关于数据的数据”，是对数据进行组织和处理的基础。主要用来描述任何Internet数据和资源,促进Internet信息资源的组织和发现。是一种结构化的信息。狭义元数据：描述信息对象内容。广义元数据：揭示信息系统各层次的内容。依据元数据的功能分类：l 管理型元数据l 描述型元数据l 保存型元数据l 技术型元数据l 使用型元数据元数据的作用：描述定位搜寻评估选择都柏林核心元素集(DC)是最常用的元数据类型。都柏林核心元素集(DC)的优缺点文件类型定义（DTD）：DTD规定了一个语法分析器解释一个“有效的”XML文件所需知道的所有规则的细节。这个规则可以非常简单，仅仅列出所有有效的元素，例如元素、标记、属性、实体；也可以非常复杂，不但列出这些元素，还指出这些元素之间的内在联系。我们可以把DTD看作一个或多个XML文件的模板，这些XML文件中的元素、元素的属性、元素的排列方式/顺序、元素能够包含的内容等，都必须符合DTD中的定义。XML文件中的元素，即我们所创建的标记，是根据我们应用的实际情况来创建的。其它元数据：描述隐私保护政策的元数据P3P描述资源评鉴信息的元数据PICS第六章知识表示的方法Ø 一阶谓词逻辑表示法Ø 产生式规则表示法Ø 状态空间表示法Ø 语义网络表示法Ø 框架式表示法Ø 面向对象的知识组织方法一阶谓词逻辑是一种形式语言系统，它用逻辑方法研究推理的规律，即条件和结论之间的蕴含关系，其知识表示方法有如下特点：OLTP与OLAP的区别第八章信息检索指从特定信息源中查找出符合特定要求的信息单元的过程。传统信息检索逻辑过程a.系统按照一定规则和方式对信息单元进行标引，产生该信息单元的特征记录，存入系统数据库，在逻辑上代表该单元。b.在检索时，选择一组主题词对用户检索要求进行特征描述，并将这些主题词组织成一个主题概念组(即检索式)，在逻辑上代表该用户要求。c.将检索式与信息单元标引记录相互比较，找出与检索式相匹配(或匹配度高)的信息单元标引记录，进而找出相应的信息单元。将布尔逻辑表达式(A(B+C)*D+E.转换成逆波兰表达式。（计算题）讲义：P34（计算题）平均查准率均值（MAP）R准确率第九章详见讲义P36截词检索（提高查全率）邻接检索（提高查准率）详见讲义P36P47了解布尔逻辑模糊概率向量空间第十章搜索引擎(searchengine)又称搜索机。是网上的导航工具，是一种搜索信息的软件。它通过采集、标引众多网络站点来提供全局性网络资源控制与检索机制，将Internet中所有信息资源作一完整的集合、整理和分类，方便用户查找所需信息的网络检索软件。搜索引擎工作原理一般来说，完成信息搜索引擎的任务，需要两个过程。其一是在服务器方即服务提供者对网络信息资源进行搜索分析标引的过程；其二是当用户方提出检索需求时，服务器方搜索自己的信息索引库，然后发送给用户的过程。前者即为信息标引过程，后者则为提供检索的过程。信息标引过程提供检索过程搜索引擎基本构成：搜索器、索引器、检索器、用户接口。 搜索器搜索器的功能是在因特网中发现和搜集信息：它还通过网络蜘蛛、机器人等相关技术，根据网页链接进行搜索，在网上自动抓取和分析被它找到的网页信息，并将其加入到索引数据库中。它要尽可能快、尽可能多地搜集各种类型的新信息，同时还要定期更新已有信息，避免死链接。 索引器索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表，建立起自己的物理索引数据库；一个搜索引擎有效性在很大程度上取决于索引的质量。 检索器检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。检索器常用的信息检索模型有：布尔逻辑模型、模糊逻辑模型、向量空间模型及概率模型等。 用户接口用户接口的作用是输入用户咨询、显示查询结果，提供用户相关性反馈机制。主要目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。用户输入接口可分为简单查询和复杂查询（高级检索）两种。搜索引擎质量评价(质量评价指标):l 数据库大小及其覆盖率l 标引内容和深度l 新颖率l 更新速度死链率元搜索引擎，也叫集成搜索引擎，是指在统一的的用户查询界面与信息反馈的形式下，共享多个搜索引擎的资源库为用户提供信息服务的系统。元搜索引擎是对搜索引擎进行搜索的搜索引擎。元搜索引擎与一般搜索引擎的最大不同在于它可以没有自己的资源库和机器人，它充当一个中间代理的角色，接受用户的查询请求，将请求翻译成相应搜索引擎的查询语法。在向各个搜索引擎发送查询请求并获得反馈之后，首先进行综合相关度排序，然后将整理抽取之后的查询结果返回给用户。元搜索引擎评价指标1）所调用的独立搜索引擎的数量和性能2）适用性，除web网页之外，是否可以搜索图片、MP3、新闻组、等其他类型的网络资源，3）自身特性，或查询能力。（有的元搜索引擎支持自然语句检索。如Ixquick(4）检索结果的处理与输出，格式是否统一，是否能够归并去重。5）有无独立搜索引擎列表，是否支持用户自定义。原理优缺点PPT10.5节第七章图像：指景物在某种介质上的再现，是通过描绘或拍摄等方法得到的景物的相似物或视觉印象。(1)图像数据的基本性质A.数字图像及其类型B.图像的分辨率评价图像质量的指标。屏幕分辨率：某一特定显示方式下，计算机屏幕上最大显示区域。图像分辨率：指数字化图像的实际尺寸和大小，即水平和垂直方向上的像素数。C.图像颜色数图像颜色数：指一幅图像中使用的颜色数，在黑白图像中表现为灰度等级。每个像素上的颜色被量化后用若干个比特位表示，每个像素所占位数称为图像深度。D.图像的数据量若水平方向w，垂直方向h，图像深度c位，则：总数据量=w*h*c(比特)。(2)图像数据的存储和转换(3)图形数据的基本性质 图形是图像形状的抽象 图形的基本元素：图元图元：是图形中具一定意义的、较为独立的信息单位，如一条曲线、矩形、圆、一个填充的封闭区域等。 图形的类型二维(2D)：平面上的实体表现形式三维(3D)：三维空间中的实体表现形式 常见的图形格式CGM(ComputerGraphicsMetafile)、VRML(VirtualRealityModelingLanguage)视频 媒体离散媒体：文本、图像、图形连续媒体(时基媒体)：视频、音频 视频：从电信号传播的角度看，指电视系统产生或传输的动态图像/图形。 视频影像：为实时获取的自然景物图像。动画：为人工、模型或计算机产生的图形。 帧(frame)帧速率(fps) 视频压缩视频数据量=帧速率*每幅图像数据量MPEG-1、MPEG-2、MPEG-4详见PPT7.2.2节直接连接存储DASDAS(DirectlyAttachedStorage)，又称SAS(ServerAttachedStorage)服务器附加存储，即直接连接在各种服务器或客户端扩展接口下的数据存储设备。以服务器为中心，该服务器同时提供应用程序的运行，即数据访问与操作系统、文件系统和服务程序紧密相关。优点：-以服务器为中心，价格相对便宜，数据存储设备直接挂接在各种服务器或客户端扩展接口下。-结构简单，模式固定，安装方便。缺点:-DAS数据存储设备不是独立的存储系统。-扩展性差，单一主机的disk/array扩充受限于主机规格。-DAS存储设备采用分散式管理，每台主机各自拥有disk/array,无法统一规划应用，形成浪费。-采用通用服务器，不适于专用网络存储。存储网络具有以下特点：-存储设备与主机之间是多对多的关系-统一性：在逻辑上是完全一体的，实现数据的集中管理-面向网络应用，容易扩充，伸缩性强-共享存储系统-关键技术：带宽 两种主要的实现手段-NAS（NetworkAttachedStorage）-SAN（StorageAreaNetwork）NAS（NetworkAttachedStorage,NAS）附网存储，NAS的结构是以网络为中心，面向文件服务的。在这种存储系统中，应用和数据存储部分不在同一服务器上，即有专用的应用服务器和专用的数据服务器。其中专用数据服务器不再承担应用服务，称之为“瘦服务器”（ThinServer）。数据服务器通过局域网的接口与应用服务器连接，应用服务器将数据服务器视做网络文件系统，通过标准LAN进行访问。采用局域网上通用数据传输协议，如NFS、CIFS等。NAS的特点 类似于传统的网络设备，它通过集线器或交换机直接连在网络上，按照TCP/IP进行通信，面向消息传递，以文件I/O方式进行数据传输 在LAN环境下，NAS可以实现异构平台下的数据共享，比如NT、UNIX平台的数据共享。 提高文件服务速度，降低网络主机负担，便于安装，降低购买和维护成本 可扩展性好：在不间断网络运行的情况下增加或设置存储 建立了存储子系统到客户机的直接连接，减少了数据传输中主机的干预，能够实现高持续带宽SAN（StorageAreaNetwork）存储区域网络,以数据存储为中心，是一种以光纤通道（FiberChannel,FC）实现服务器和存储设备之间通讯的网络结构。SAN的核心是FC，其中的服务器和存储系统各自独立，地位平等，通过高带宽（传输速率为800Mb/s,全双工时可达1.6Gb/s）FC集线器或FC交换机相连，可避免大流量数据传输时发生阻塞和冲突。SAN的特点 SAN是一种类似于普通区域网的一种高速存储网络，它通过专用的集线器、交换机和网关建立起与服务器和磁盘阵列之间的直接连接。 SAN支持远程距离通信，并允许存储设备真正与服务器隔离，使存储成为可由所有服务器共享的资源。 允许各个存储子系统，如磁盘阵列和磁带库，无需通过专用的中间服务器即可互相协作。 存储资源的共享方式为block级共享，性能高 支持两种不同的通讯协议:FibreChannelSANs:iSCSISANs(E-SAN)有距离限制无距离限制互操作性差安装、操作简单复杂程度高使用以太网技术互操作性强费用较高费用较低第十一章基于内容的检索（CBR：content-basedretrieval），是指根据媒体对象的内容，包括语义、上下文联系、视觉和听觉特性、时间和空间结构等，进行信息检索的一种方法，如图像中的颜色、纹理、形状，视频中的镜头、场景、镜头的运动，声音中的音调、响度、音色等。基于内容的检索突破了传统的基于文本检索技术的局限，直接对图像、视频、音频内容进行分析，抽取特征和语义，利用这些内容特征建立索引并进行检索。在这一检索过程中，它主要以图像处理、模式识别、计算机视觉、图像理解等学科中的一些方法为部分基础技术，是多种技术的合成。第十二章个性化-