人工智能搜索引擎算法在图书馆的运用,搜索引擎论文.docx

《人工智能搜索引擎算法在图书馆的运用,搜索引擎论文.docx》由会员分享，可在线阅读，更多相关《人工智能搜索引擎算法在图书馆的运用,搜索引擎论文.docx（14页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、人工智能搜索引擎算法在图书馆的运用,搜索引擎论文摘 要： 针对传统搜索引擎算法搜索内容需要占用大量人工劳动进行标记，反应信息和用户搜索信息匹配度低，无法理解人类语言输入等缺点，文中结合自然语言算法对信息的整合经过及理解用户语言经过进行优化。通过建立语料库、提取文本特征信息和模型训练等方式方法，提出了适用于智能搜索引擎的新型检索算法。文中在CSI语料库、AWS爬虫数据等数据集中进行了测试，测试结果表示清楚，该算法只需进行前期的人工干涉和标记，便能够自行搜集专业信息并自行展开机器学习和训练，进而降低维护及使用成本。 本文关键词语： 搜索引擎算法; 人工智能; 自然语言处理; 文本特征提取; 文本分

2、类; Abstract： There are faults in traditional search engine algorithms,such as taking up a lot of manual labor when searching content,low matching degree between feedback information and search information of users,disable in understanding human language input. So,the process of integrating informati

3、on and the process of understanding the user language are optimized based on natural language algorithm. Through establishing corpus,extracting text feature information and model training,a new retrieval algorithm suitable for intelligent search engines is proposed. In this paper,the tests are carri

4、ed out in data sets such as CSI corpus and AWS crawler data. The test results show that this algorithm can collect professional information and carry out machine learning and training by itself with only manual intervention and mark in the early stage,which greatly reduces the maintenance and use co

5、st. Keyword： search engine algorithm; artificial intelligence; natural language processing; text feature extraction; text classification; 0 、引言 搜索引擎是联络用户和数据库信息的重要桥梁1。当下各场景中的搜索引擎均面临着挑战，对于数据库中很多相近内容及相关项目，搜索引擎该怎样理解用户需求，且准确找到有用信息，是当前亟待解决的难题。在庞杂的交互信息中，用户输入描绘叙述不精到准确的情况下，怎样对模糊语义进行理解和解释，并找出数据库中关联度最大的内容，也是搜索

6、引擎需要考虑的问题。近年来，对于搜索引擎算法的研究均是怎样更好地组织文档或网页本文关键词语的排列关系、附属关系，进而提升搜索效率2,3,4,5;或是利用一些无监督的机器学习算法对搜索内容的相关程度进行排序6;除此之外，是对人类语义进行研究，尝试利用语义信息进行本文关键词语搜索7。 人工智能深度学习算法在计算机视觉、语音辨别、自然语言处理和游戏对战等领域有着明显优势。而当前的搜索引擎算法存在维护成本高、信息检索不准确、无法理解人类的分类知识、无法分析用户输入的语义等一般算法无法高效解决的问题8,9。所以，利用深度学习算法的优势，进而解决搜索引擎在语义理解方面存在的问题是一个有效途径。 1、 搜索

7、引擎算法 1.1、 算法原理 搜索引擎能发挥基础作用，基本由3个步骤构成10,11:(1)发现网络或数据库中的信息，搜集对信息的描绘叙述;(2)对信息进行提炼和分类，快速对信息进行组织，建立索引库;(3)搜索引擎的检索模块得到用户的信息描绘叙述，整理后在索引中搜索一样描绘叙述或相近的信息，得到库中一系列信息与描绘叙述信息的相关性得分。最后，根据相关性返回给用户。详细算法如下: (1)抓取网页技术。利用人工或半自动程序抓取数据库中的信息。每个成熟的搜索引擎均有自动抓取程序 爬虫(spider)。爬虫程序会利用网络中的超链接进行跳转，在每个网页中收集有效信息，分析内容并自动记录。 (2)处理网页内

8、容。网页被抓取之后，不能直接处理复杂的网络页面。所以，需要预处理工作简化网页中的其他程序模块。例如，网页上的内容多数为文字和图片信息。对于文字信息先进行关键字的提取，判定哪些为可代表整个内容的文字。然后建立索引，记录到数据库中。对于图片要进行分析，判定其大致内容。预处理工作还包括去除重复内容、判定网页内容、网络内容的重要程度、访问量等。 (3)展示检索内容。当用户输入关键字时，要理解本文关键词语并在索引中搜索相关信息，根据匹配程度和搜索网页的热度进行排序。除此之外，还会显示被索引网站的缩略图以供用户选择。 1.2、 搜索引擎算法 (1)目录式引擎算法。目录式搜索是先搜集信息，搜索信息的方式能够

9、半自动化完成。然后，由引擎编辑人员将阅读后的信息编辑成内容摘要形式，将资料内容高度概括后存储为多个标签信息，由此标签就可将电子图书馆中的资料分成多个分类。当用户使用时输入某个本文关键词语，搜索模块只需要将标签一样或相近的信息返回给用户，然后再由用户自行挑选。较多目录可以以由用户自行描绘叙述并上传，编辑人员采纳后能够应用于引擎的查找。此类引擎算法的人工标记经过利用了大量的人力物力进行总结和标记，虽总结信息准确、查询的质量高，但维护工作量较大。编辑需要的人工手段太多，在信息量剧增的时代背景下有着绝对的劣势。 (2)基于机器人的搜索引擎。搜索引擎寻找信息时利用爬虫算法以某种策略寻找网页，并摘取网页关

10、键字等信息，建立索引。搜索引擎定期的寻找网络资源，其搜索面广、信息量大、更新迅速。但会返回无效信息，浪费空间资源，且信息挑选时间较长，因而用户体验感较差。 (3)元搜索引擎。元搜索是一种全局调用工具，在用户输入搜索内容时，根据内容调用适宜的搜索引擎进行搜索，其通过一个友好的用户界面统一其他的引擎搜索内容。元搜索的覆盖面大、搜索效果好，但因其本质是调用其他独立的搜素引擎，所以调用不准时会有负面效果。 2、 基于人工智能的搜索引擎算法 2.1、 搜索引擎的缺陷 随着数据量的增长，大量系统中均需要搜索引擎来建立快速索引机制，电子图书的管理亦是如此。电子图书数据量大，容易对其进行归类，收集也相对简单，

11、但搜索引擎仍有一些问题:(1)搜索的精细化程度较低。搜索多个条件时弹出的信息不够精到准确，搜索条件过于细化时无法搜索到相近意思的内容。(2)搜索时多个本文关键词语的重要程度显然是不同的。搜索程序不能准确判定，搜索到的内容不是语义中的重要方面。(3)无法理解人类意图，只能根据人类数据寻找对应信息。例如，其无法在库中搜索到解决详细问题的专业知识，对非专业人员不适用。(4)无法搜索到某个词的相关联内容，例如书籍的作者、出版信息、专业门类等，此类信息必须用户进一步搜索才能得到。基于以上几点问题，人工智能算法在用户的语义理解和相关词条的关联方面均有着卓越的性能，可针对性的解决这些缺陷。 2.2、 自然语

12、言处理的优势 自然语言处理是人工智能中的重要分支，其主要研究怎样用智能、高效的方式对文本数据进行分析统计12,13,14。自然语言处理核心目的是令机器理解人类语义，懂得分清人类语言分布形式和人类意愿。 在用户进行搜索时，输入的内容中包含主要信息和描绘叙述性词语。若利用常规搜索算法，则搜出的信息将会尽量包含输入的词汇。但当输入较为复杂的语义时，传统算法无法正常的工作。例如，用户输入 在自然语言处理中的关键性技术 此类词条时，搜索列表中匹配度最高的会是 自然 、 自然语言处理 、 技术 等本文关键词语汇，但用户显然想搜索的主要语义是 自然语言处理 和 关键技术 两者。而利用机器学习方式方法，算法会

13、通过对现有词库的学习，分析出人类语言的分布规律，其会通过超参数的学习 记住 语言中 在 、 中 等语义。然后实现对一句话中信息的分割和评分，根据重要程度进行重排后进行搜索，其效率较高。机器学习算法能将上句话中的 自然语言处理 和 技术 同时反应给查询接口，由此搜索出的内容将更贴近实际需求。 2.3 、自然语言处理算法 对搜索引擎缺陷的分析可知，传统搜索算法的问题在于语义理解。此方面，深度学习算法具有较大优势。下面介绍自然语言处理在实际中的训练和应用15,16,17。 2.3.1、 文本信息预处理 文本中的信息大多是冗余的，在人类语言中有大量指示事物状态或功能的词，或是对一样动作有着不同的描绘叙

14、述方式。通常会通过4种方式进行文本预处理: (1)去除噪声。语句中存在没有语义的词汇或标点，先将此类文本去除。建立1个噪声词典，在计算前对输入逐一比对，消除噪声。 (2)对词语进行规范。输入的多个单词是表示同一种意义，将此类衍生词更改为其本源的词汇是必要的。其为重要步骤，此步将本来的高维度特征转换为了低维特征，降低词汇的多样性，有利于机器学习中因多样性过高而无法收敛的问题。 (3)对象标准化。输入中会出现未在标准字库中出现的词语，无法被算法所辨别，所以对判定会出现干扰。对象标准化就是将拼凑、缩略或编造的短语转为意义一样或相近的标准词汇。 (4)其他方式方法。例如单词拼写检查，语法检查等。 2.

15、3.2 、文本特征提取 标准化后，文字信息需通过各种转化技术转为特征向量。根据不同用法，转换方式也不尽一样。在数字图书的检索方面，常用的是特征统计方式方法。 本文介绍的特征统计方式方法是词频-逆文档频率模型16,17(Term Frequency-Inverse Document Frequency)。TF-IDF模型常用于文档检索、信息搜索等应用，此目的在于基于每种标准词汇在文档中出现的频率，将文档转换为数字表示的向量模型。 词频是指某个词在某篇文章中出现的频率，即某单词出现次数除以总词量。反文档频率是指噪声较多时，为防止误将本文关键词语当作噪声去除而设计的辨别方式方法。例如，某个词在文章中

16、利用频次较高，被以为缺乏以描绘叙述整个文章的特征。所以，利用反文档频率来估计词的 独特性 。反文档频率算法是语料库文章总数除以包含某个词的文章数。得到向量后，就可用特征方式描绘叙述一篇文档。 2.3.3、 文本分类 文本分类是自然语言处理的经典问题之一，主要目的在于分类文档的用处、内容等。首先，文本在输入后其特征会被开创建立;然后，机器学习算法从这些特征学习一组参数;之后，使用学习到的机器学习模型对新文本做预测。文本分类较大程度上依靠于特征的质量与数量。当然，在使用任何机器学习训练模型时，通常引入越多的训练数据会得到更好的训练超参数。 3 数字图书搜索引擎的应用与测试 本文设计的数字图书搜索系

17、统包括用户查询系统、语料库、数据库和本文提出的一种新的语义理解系统，其关系如此图1所示。 图1 电子图书搜索系统 训练并建立人工智能搜索引擎的步骤大致如下:(1)利用智能搜索技术对数字图书数据库中的图像文字进行定期的搜索与分析;(2)接收信息后利用对文本信息的预处理方式去除华而不实无用链接和文字信息;(3)对每个文档做特征提取，建立语料库，收集本文关键词语汇，收集时先以词频作为根据，或利用成熟的语料库作为先验再收集;(4)利用TF-IDF模型对文档进行特征的转换，得到每篇文档的数字特征信息，将其作为训练样本积累下来;(5)利用训练样本进行训练分类，得到本文关键词语条的分类模型，分类根据应由专业

18、人员检查、标注。训练模型稳定后，其能够利用模型对新的数字文档资料进行预测分类。建立索引库后，就基本建立起了一个有预测能力的搜索引擎。当用户发起搜索时，利用模型判定用户本文关键词语，并与建立起的索引库进行比照，最后得到相关信息的罗列。 较传统的搜索引擎，利用人工智能算法能够降低人工标注难度且降低维护成本，实现自动获取并判定爬到的数字图书的类别。在用户输入时，可分析用户所需求的资料，进而提高用户的搜索质量。 在实验中，利用已有的公开数据集CSI语料库和AWS爬虫数据，测试了普通搜索程序、聚类算法、K均值算法以及本文的TF-IDF算法的准确度和运行速度，准确度结果如此图2-3所示。 图2 CSI数据

19、集各算法平均准确度比照 图3 AWS数据集各算法平均准确度比照 在两种数据库中各算法的运行速度如表1所示。 表1 运行速度比照 由普通搜索和TF-IDF搜索等算法对两种数据集的检索准确度和运行速度结果可看出，本文所设计的算法在准确度与运行速度方面相较于传统算法均有较大的提高。 为了进一步验证该系统的实用性和可靠性，除上述对已有的公开数据集进行测试外，将该搜索系统运用在某高校图书馆电子图书数据库中，进行检索结果测试。并与原有的搜索方式相比，比照结果如表2所示。 表2 两种搜索方式方法测试结果 由结果可看出，利用本文所设计的人工智能搜索引擎通过本文关键词语搜索所得到的结果准确率，在各种数字图书类别

20、检索中均高于普通匹配搜索算法，在平均准确率方面可到达90.97%。虽该方式方法需要进行长时间训练，但算法理解能力和正确率均可到达当下先进水平，且能够充分知足数字图书的检索需要。 4、 结束语 本文讨论了将机器学习中的自然语言处理技术应用于数字图书馆的搜索引擎。针对数字图书搜索的详细情况，将自然语言处理中的特征提取算法和应用算法嫁接在搜索引擎上，可到达降低人工标注成本、给用户更好的搜索体验等目的。传统的搜索引擎算法已不能知足当下大数据的时代背景，本文提出的方式方法是将来专业搜索引擎研究的方向之一。然而，现如今的自然语言处理还存在一些弊端。例如，未到达能在和人类交谈的经过中了解人类需要的任务，无法

21、在网络资源中自动搜索需要内容。因而，仍需要建立愈加广泛的索引库和数据库以供快速搜索，这有待于进一步的深切进入研究。 以下为参考文献 1姜韶增互联网搜索引擎搜索策略和算法的研究D兰州:兰州交通大学，2021. 2马安进个性化搜索引擎排序算法的研究D西安:西安理工大学，2021. 3胡存刚，程莹基于粒子群算法的大数据智能搜索引擎的研究J计算机技术与发展，2021,25(12):14-17. 4黄剑，李明奇，郭文强并行Fp-growth算法在搜索引擎中的应用J计算机科学，2021,42(S1):459-461,483. 5高庆芳主题搜索引擎搜索策略的研究及算法设计D兰州:兰州大学，2021. 6白亮

22、，于天元，刘湜，等基于改良谱聚类方式方法的搜索引擎排序算法J计算机科学，2021,43(10):220-224. 7王倩，宋朝基于用户兴趣模型的元搜索引擎算法研究J电子设计工程，2020,21(20):14-17. 8郑幸子移动数字图书馆的图书分类系统设计J当代电子技术，2021,41(7):165-169. 9钟亮用k-近期邻和贝叶斯分类预测图书用户爱好J信息技术，2021,40(9):62-65. 10 许嫣浅析人肉搜索及其和传统搜索引擎异同J媒体时代，2021(6):101-103. 11韩倩倩传统搜索引擎与语义搜索引擎检索服务比拟研究 以雅虎和Kngine为例J信息通信，2021(4)

23、:115-116. 12王萌，俞士汶，朱学锋自然语言处理技术及其教育应用J数学的实践与认识，2021,45(20):151-156. 13奚雪峰，周国栋面向自然语言处理的深度学习研究J自动化学报，2021,42(10):1445-1465. 14孙茂松，周建设从机器翻译历程看自然语言处理研究的发展策略J语言战略研究，2021,1(6):12-18. 15褚晓敏，朱巧明，周国栋自然语言处理中的篇章主次关系研究J计算机学报，2021,40(4):842-860. 16马力，李沙沙基于词向量的文本分类研究J计算机与数字工程，2022,47(2):26-29,48. 17朱晶晶，韩立新基于RNN句子编码器的聊天机器人J计算机与当代化，2021(1):32-35.