互联网上农业信息资源的收集、整理与推广研究--大学毕业设计论文.doc

《互联网上农业信息资源的收集、整理与推广研究--大学毕业设计论文.doc》由会员分享，可在线阅读，更多相关《互联网上农业信息资源的收集、整理与推广研究--大学毕业设计论文.doc（54页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得 及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作 者 签 名： 日 期： 指导教师签名： 日期： 使用授权说明本人完全了解 大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子

2、版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名： 日 期： 学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名： 日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交

3、论文的复印件和电子版，允许论文被查阅和借阅。本人授权 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。涉密论文按学校规定处理。作者签名：日期： 年 月 日导师签名： 日期： 年 月 日注 意 事 项1.设计（论文）的内容包括：1）封面（按教务处制定的标准封面格式制作）2）原创性声明3）中文摘要（300字左右）、关键词4）外文摘要、关键词 5）目次页（附件不统一编入）6）论文主体部分：引言（或绪论）、正文、结论7）参考文献8）致谢9）附录（对论文支持必要时）2.论文字数要求：理工类设计（论文）正文字数不少于1万字（不包括图纸、程

4、序清单等），文科类论文正文字数不少于1.2万字。3.附件包括：任务书、开题报告、外文译文、译文原文（复印件）。4.文字、图表要求：1）文字通顺，语言流畅，书写字迹工整，打印字体及大小符合要求，无错别字，不准请他人代写2）工程设计类题目的图纸，要求部分用尺规绘制，部分用计算机绘制，所有图纸应符合国家技术标准规范。图表整洁，布局合理，文字注释必须使用工程字书写，不准用徒手画3）毕业论文须用A4单面打印，论文50页以上的双面打印4）图表应绘制于无格子的页面上5）软件工程类课题应有程序清单，并提供电子文档5.装订顺序1）设计（论文）2）附件：按照任务书、开题报告、外文译文、译文原文（复印件）次序装订指

5、导教师评阅书指导教师评价：一、撰写（设计）过程1、学生在论文（设计）过程中的治学态度、工作精神 优 良 中 及格 不及格2、学生掌握专业知识、技能的扎实程度 优 良 中 及格 不及格3、学生综合运用所学知识和专业技能分析和解决问题的能力 优 良 中 及格 不及格4、研究方法的科学性；技术线路的可行性；设计方案的合理性 优 良 中 及格 不及格5、完成毕业论文（设计）期间的出勤情况 优 良 中 及格 不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格三、论文（设计）水平1

6、、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格建议成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）指导教师： （签名） 单位： （盖章）年 月 日评阅教师评阅书评阅教师评价：一、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格二、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中

7、 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格建议成绩： 优 良 中 及格 不及格（在所选等级前的内画“”）评阅教师： （签名） 单位： （盖章）年 月 日绪论教研室（或答辩小组）及教学系意见教研室（或答辩小组）评价：一、答辩过程1、毕业论文（设计）的基本要点和见解的叙述情况 优 良 中 及格 不及格2、对答辩问题的反应、理解、表达情况 优 良 中 及格 不及格3、学生答辩过程中的精神状态 优 良 中 及格 不及格二、论文（设计）质量1、论文（设计）的整体结构是否符合撰写规范？ 优 良 中 及格

8、 不及格2、是否完成指定的论文（设计）任务（包括装订及附件）？ 优 良 中 及格 不及格三、论文（设计）水平1、论文（设计）的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格2、论文的观念是否有新意？设计是否有创意？ 优 良 中 及格 不及格3、论文（设计说明书）所体现的整体水平 优 良 中 及格 不及格评定成绩： 优 良 中 及格 不及格教研室主任（或答辩小组组长）： （签名）年 月 日教学系意见：系主任： （签名）年 月 日1. 绪论1.1.研究的背景如今，国家信息化发展战略的重要一环是推进面向“三农”的信息服务，利用信息技术改造和提升农业产业化发展。农业和信息化的结合，已经成

9、为农业现代化的发展趋势，农业信息服务体系已经成为现代农业服务体系的重要组成。近年来，国家多个部门、科研院所及广大的农业科学研究者、管理者、农业技术人员都在从事农业信息服务体系方面的研究，相关的成果越来越多，从而促进了农业信息服务体系较快的发展，农业网站越来越多，农业信息化基础设施也越来越完善。北京市农业局信息中心通过相关问卷调查发现，从现有的农业信息服务系统的整体效果及实际运行情况来看，无论其内容还是合力，相对于农业现代化和信息化的发展需求都还存在着不小的差距。农业信息服务还存在两个核心的问题：（1） 信息资源缺乏的问题。多年来的农业信息服务体系更多注重电脑、网站等看得见的硬件基础建设，信息资

10、源这个费心费力又看不见的工作做得不足。调查显示，农业生产经营主体最需要的信息包括：农业政策类信息、实用技术培训信息、农产品市场信息、非农就业信息等。（2） 信息服务落地的问题。多年来的农业信息服务体系更多注重信息高速路的建设，而忽略了农业生产主体能否真正享受到信息服务。调研发现，仅有20%的农业生产经营主体习惯从网站上搜取信息，更多的则是通过电话、手机等。因此，我国急需对互联网上的农业信息资源的整合利用进行理论研究，并建立一种整合互联网上农业资源的信息搜集整理和推广的系统，以促进信息共享和利用，并满足农业工者多样化的信息需求，使农业信息资源网能够提供大量经过分析后筛选出的、符合农业工作者需求的

11、有效信息资源，为我国农业工作者及从事相关产业的人员在网上集中快速地查找农业信息提供高质量的服务，为我国农业信息化的发展提供技术支持。1.2. 国内外研究现状在农业信息化的发展进程中，每个国家的发展程度都不竟相同，我们以美国为代表来了解国外农业信息化的发展程度。美国是世界电子信息产业大国，信息技术和高度发达，因此，它是在市场和社会的农业信息需求作为一个整体的信息技术同步发展。美国农业和信息化建设是分不开的。在农业信息化建设上，美国采取了政府投入与资本市场运营相结合的投资模式。为给农业信息化创造良好的发展环境、推动其快速发展，美国政府通过政府辅助、税收优惠和政府担保等提供一系列优惠政策，围绕市场建

12、立了强大的政府支撑体系，刺激资本市场的运作。政府是通过构建了庞大、完善、规范的农村信息服务体系，如美国国家农业数据库（AGRICOLA）、国家海洋与大气管理局数据库（NOAA）、地质调查局数据库（USGS）等规模化、影响大的涉农信息数据中心（库），加强农业信息化建设让农业和农民受益，而不是直接大量的对农产品生产进行补贴和财政转移支付。对于政府拥有和政府资助的数据库中，“全面公开”共享政策的建设，而且还预留十亿美元的资金每年维护农业信息的农业信息系统。在农业信息资源管理中，建立了完整的法律管理体系，整个过程涵盖了信息资源的收集，信息资源发布，从而保证知识产权及其他信息的真实性和有效性，保障信息主

13、体权益管理，同时有效促进农业信息资源的共享。在我国已有将近97%的地级市和超过80%的县级农业部门相继设立了信息化管理和服务机构，农村信息员的队伍已超过18万，可直接向农民传递信息，从上到下的农业信息化队伍已经初具规模，从中央到地方的农业信息组织体系也正在形成；建立了以中国农业信息网为核心、包含20多个专业网站的一体化农业门户网站，较为著名的有“科技教育信息网”和“种植业信息网”等；农业部在全国累计布设了8000多个信息采集点，在农业、畜牧、水产、农垦、农机等领域形成了33条信息采集渠道，开发了农村供求信息全国联播系统；国家电了政务重点工程“金农工程”启动，以政府农业部为基础的、由行政管理服务

14、体系、农业图书情报服务体系和民问团体组织形成三层服务体系。刘广路等. 丛生竹生长特性及管理技术研究进展J. 竹子研究汇刊. 2011(03)1.3.目的和意义1.3.1.研究的目的针对互联网农业信息资源的整合与利用过程中存在的问题，运用搜索引擎技术、数据库技术、RSS信息推送等技术，设计出一个信息收集、整理和推广的模型和体系结构。本论文研究的重点在于利用搜索引擎技术来实现农业信息的搜索及建立基于农业信息为主题的数据库，为农业信息的自动收集和主题化建设进行一些有益的研究工作。1.3.2.研究意义（1）研究的理论意义本论文试图通过对农业信息收集和推广这一主题，构建一个基于特定主题的搜索引擎体系结构

15、，对于收集到的农业信息数据，通过RSS进行信息推送及利用。为农业工作者获取互联网上农业信息资源和建设农业信息资源数据库提供理论依据。（2）研究的现实意义利用搜索引擎对农业信息进行自动的搜索可以有效地搜集互联网上的农业信息资源，并对这些资源进行分析整理后建立农业信息资源数据库，为我国广大的农业科学研究者、管理者、农业技术人员利用农业信息提供便利，加快我国农业信息化建设的步伐。49技术分析与系统设计2. 技术分析与系统设计本课题目的是对全球互联网上的农业信息资源的搜集、整理与推广进行研究，需要利用现在比较流行的主题搜索引擎技术及数据库等相关技术，先对这些技术进行相应的研究和说明，最后构建一个农业信

16、息主题的主题搜索引擎体系结构。2.1.搜索引擎研究搜索引擎指自动从因特网搜集信息，经过一定整理以后，提供给用户进行查询的系统方伟,黄坚钦,卢敏,等.17种丛生竹竹材的比较解剖研究J.浙江林学院学报,1998,15(3):225-231。本文要构造一个搜索引擎的系统，所以在这个章节对搜索引擎技术进行详细的研究。2.1.1.搜索引擎分类搜索引擎的产品非常多，他们的工作方式也多种多样，按搜索引擎的工作方式可以把搜索引擎分为三类：全文搜索引擎、目录搜索引擎和元搜索引擎方伟,黄坚钦,卢敏,等.17种丛生竹竹材的比较解剖研究J.浙江林学院学报,1998,15(3):225-231。（1）全文搜索引擎全文搜

17、索引擎是真正意义上的搜索引擎，它最主要的部件就是检索程序，俗称“网络蜘蛛（Spider）”或“机器人（Robot）”或“网络爬虫（Crawler）”，检索程序会自动访问互联网上的网站和网页，提取网页中的URL、标题、摘要等关键信息，把这些信息存储在索引数据库中。当用户从检索界面发出查询请求时，将在索引数据库中检索数据并按一定的排列顺序返回结果。全文搜索引擎是目前广泛应用的主流搜索引擎，国内的全文搜索引擎最具代表性的是百度搜索引擎，还有360搜索、有道等等。国外的全文搜索引擎最具代表性的是Google。还有一种全文搜索引擎也具有自己的检索程序，但是它没有建立自己的索引数据库，这种搜索引擎租用其他

18、搜索引擎的数据库，在用户查询的时候检索其他搜索引擎的数据库，将结果按一定的格式返回给用户。这种搜索引擎的代表是Lycos搜索引擎。搜索引擎自动访问互联网摘录网页信息，它自动访问网站的方式可以分为两种：一种是每隔一段固定的时间（比如Google一般是28天），搜索引擎的检索程序就对一定的IP地址段进行访问，发现新建的网站就提取网站信息存入索引数据库，如果老网站有更新的内容，检索程序也会提取新的信息覆盖索引数据库中旧的信息。另一种搜索方式是被动搜索，也即网站所有者向搜索引擎主动提供网址，希望搜索引擎能访问网站，提取网站信息，并保存到索引数据库，那么在在用户查找界面就可以通过查询找到网站地址和信息。

19、当网站所有者提供网址之后，一般在两天到数月的时间，搜索引擎的检索程序就会访问网站，提取网站摘要信息并存入索引数据库。当用户用端浏览器打开搜索引擎的查询界面时，可以用关键词查找信息，用户的查询请求将会被服务器端程序接收，然后在索引数据库中进行查找，如果找到与用户查询要求相符合的结构，便根据相应的排序规则将结果返回客户端。全文搜索引擎的一个最大特点就是搜全率比较高。（2）目录搜索引擎目录搜索引擎虽然被分在搜索引擎的范围中，但是它不是真正意义上的搜索引擎。目录搜索引擎应该被成为目录索引更为贴切。目录索引，就是将网站按照某种分类法归于相应的目录中，所有的网站都被分门别类的进行存放。目录搜索引擎虽然没有

20、全文搜索引擎中的网络爬虫（Crawler）程序，但是它和全文搜索引擎相比也有其独到的地方：第一点不同在于全文搜索引擎是自动搜索网站，不管是根据IP地址段还是用户提供的URL地址，全文搜索引擎都有网络爬虫（Crawler）程序对网站进行自动索引。而目录索引没有网络爬虫（Crawler）程序，登录网站信息全靠手工操作。登陆网页信息一般有两种方式：一种是登陆系统会提供一个提交界面，用户在此界面输入网站信息，目录收录人员会核实提交的信息，然后根据评判标准和收录规则决定是否接纳用户的网站，并把它归入哪一个类别。还有一种是目录收录人员对网上新发布的网站进行主动的收录和分类。第二点不同在于全文搜索引擎在访问

21、网站后，收录网站信息进入索引数据库比较简单容易，只要没有违反相关的规则（例如含有敏感词或反社会言论等待），一般都能索引成功，并且会自动进行分类索引。而目录索引时，目录收录人员对网站的审核一般都会比较严格，有时候根据它的要求进行多次修改也不一定能索引成功。特别是像Yahoo这样全球影响的super目录索引，要成功索引更是相当困难。更有甚者，如果目录收录人员认为用户提交网站的目录、网站信息不合适，他可以随时对其进行调整，当然事先是不会和网站所有者商量的。第三点不同在于在全文搜索引擎收录网站的时候，一般不用考虑网站分类的问题，直接把网站信息存入索引数据库就可以了。而目录索引中，为网站找到一个合适的分

22、类非常重要，必须将网站分到一个最合适的目录（Directory）中。第四点不同在于用户在使用全文搜索引擎查找信息时，一般是通过关键词（Keywords）进行查询。而目录索引中进行查询，不光可以通过关键词，还可以根据分类目录（或者导航）进行一级一级的查询，直到找到所需的信息。目前，目录索引中最具代表性的搜索引擎，国外的有大名鼎鼎的Yahoo，国内的有新浪分类目录搜索等。（3）元搜索引擎元搜索引擎（Metasearch Engine）是一种非常特别的搜索引擎，与全文搜索引擎相比，它没有网络爬虫（Crawler）程序，甚至没有搜索部件和搜索功能，但是它却被称为“搜索引擎之母（The mother o

23、f searce engines)”。元搜索引擎相当于一个搜索任务的接收和分配器或者是一个总开关，元搜索引擎整合了多个独立搜索引擎，并能够调用、控制这些独立搜索引擎，能对搜索效率和资源使用情况进行优化利用和整合。被整合的独立搜索引擎通常被称为“源搜索引擎”（source Engine），或“搜索资源”（searcing resources）。元搜索引擎的工作原理参见图2-1。元搜索引擎可以被理解成一种客户机/服务器结构的系统，但不同的是它是一种双层的客户机/服务器结构。在图中，客户端-元搜索引擎是一层客户机/服务器结构，元搜索引擎-其他搜索引擎是第二层客户机/服务器结构。图2-1 元搜索引擎工

24、作原理当用户使用向元搜索引擎，在客户端浏览器上发送查询请求，服务器端的元搜索引擎会把该请求发送到多个源搜索引擎中，源搜索引擎执行用户的请求，检索数据库，返回检索结果给元搜索引擎，元搜索引擎将多个源搜索引擎返回的结果进行整合（除重，合并），并以一定的排序方式传送回客户端浏览器。2.1.2工作原理（1）普通搜索引擎的工作原理搜索引擎的基本工作原理包括如下三个过程：1、抓取网页。每个独立的搜索引擎都有自己的网页抓取程序（spider网络蜘蛛，或称Robot网络机器人，或称Crawler网络爬虫）。网络爬虫首先访问种子网页，从中提取URL，然后根据这个地址继续访问，继续提取URL，一直不停的循环下去。

25、通过这种方式，Internet上的绝大多数的网页都能被访问到。2、网页分析和处理。对于网络爬虫访问过的网页，要对它进行大量的分析和处理工作，网页去重，去除噪声，提取文本，停用词去除，特征向量提取和分析，相关度评价，计算网页的重要程度，建立索引，存入数据库，然后才能提供检索服务。3、检索服务。网页信息存入数据库后，要建立索引文件，提供快速查询。这样用户在检索界面输入检索词进行检索，搜索引擎能通过索引快速查找数据库中的信息，并显示在用户界面。为了方便用户使用搜索引擎，用户界面的设计应该简单、方便使用。网络爬虫(Crawler)是传统的搜索引擎中的重要组成部分，为搜索引擎从万维网上下载网页。网络爬虫

26、从一个或若干个种子网页开始，从种子网页中提取URL地址，抓取URL指向的网页，再从其中提取URL地址，再抓取指向的网页，不断的重复这一过程，直到满足系统的停止条件为止。并且在访问网页的过程中，不断从当前页面上抽取新的URL放入URL队列。网络爬虫的工作流程如图2-2所示。（2）主题搜索引擎的工作原理主题搜索引擎的核心部分是主题爬虫（Topical Crawler）又称为聚焦爬虫（Focused Crawler）方伟,黄坚钦,卢敏,等.17种丛生竹竹材的比较解剖研究J.浙江林学院学报,1998,15(3):225-231，主题爬虫的工作流程和传统爬虫的基本相似，但是要多出一些步骤。在遍历网络方面

27、基本相同，可以采取适合的遍历策略，在遍历页面以后，传统的爬虫提取页面中的URL并放入继续遍历队列，而主题爬虫会根据相应的URL算法分析评价URL的重要程度，把重要程度高的URL放入等待抓取的遍历队列，主题爬虫根据队列里的URL再进行网页遍历和抓取，并重复上述过程，直到满足爬行停止条件为止。对于抓取到的网页，搜索引擎中有专门的功能模块来对网页进行处理，对网页的有效内容进行提取，对网页内容进行分析和特征词提取，对特征词向量化，对向量化的特征词和主题词进行分析比对等等，以确定抓取的网页是否主题相关，并把相关的网页存入索引数据库，供用户查询使用。主题爬虫的工作流程如图2-3所示：图2-2 搜索引擎工作

28、原理 图2-3 主题搜索引擎工作原理我们用表格来列出主题爬虫与传统爬虫的区别：表2-1 主题爬虫与传统爬虫的区别传统爬虫主题爬虫用户面向所有用户面向特定的专业人群爬虫策略一般是广度优先爬行策略，遍历一定IP地址范围内的所有网页一般采用最佳优先爬虫策略，遍历的时候与主题对比，保留关联度高的网页主题范围面向所有的主题面向特定的主题硬件要求对服务器和存储设备要求较高对服务器和存储设备要求比较低主题爬虫与传统爬虫的爬虫策略如图2-4所示，其中，白框代表与主题无关的页面，黑框代表主题相关页面，虚线代表链接，箭头代表访问线路。图2-4 传统爬虫和主题爬虫遍历策略对比在图2-4（a）中，传统爬虫一般是以广度

29、优先策略遍历网页，循着网页中的URL指向访问每一个网页。假设从起始网页i到目标网页k需要爬行n步，那么在访问到目标网页前必须先将n-1步内的所有网页爬行完，爬行的步子将会是N步，且N远大于n。在图2-4（b） 中，主题爬虫在访问网页之前先会把指向网页的URL进行分析，评价URL的主题相关性，忽略主题无关的URL。假设从起始网页i到目标网页k需要爬行n步，那么在访问目标网页前仅爬行n-1步，也就是网页i与k之间的一个网页子集。在最理想情况下只要爬行n个链接就可以访问到目标网页，大大节约了爬行时间，提高了爬行效率。2.2.数据库技术2.2.1 SQL Server 2005SQL Server关系

30、模型最早是由Ashton-Tate及微软共同设计开的数据库管理系统，早在1970年，相关领域专家就已经提出了相关联系的关系模型。IBM是最早开发、使用SQL语言的公司，据相关记载，IBM于1976年年底正式对外公布使用SQL语言。SQL语言在1970年末由Oracle公司作为商品在市场中进行销售。八十年代中期，美国国家标准协会将SQL定位标准语言，而后各个国家相继效仿，SQL语言国际化发展趋势日益张显出来。1998年，SOL Server才第一次出现在人们的视线，因为有了Sybase的发展基础，三大国际公司共同完成SQL Server1.0的设计制作，实现了SQL语言在OS系统上实际应用的最初

31、发展目标。回顾SQL Server的发展史，最早Server1.11版本是在1991年提出的；1992年正式出版SQL Server4.2(由微软与Sybase公司共同设计)；1993年，微软公司独立推出Windows NT 3.1，改变了服务器操作市场长期稳定的发展局面。同时开发的QL Server for Windows NT 3.1也获得用户好评；到6.0与6.5版本陆续问世后，获得的市场占有率是有目共睹的； SQL Server 7.0于1998年再次发布，SQL Server 7.0已经不在满足普通用户，开始在企业级数据库开拓市场；在2000年前后，SQL Server 2000正式

32、问世，2005年SQL Server 2005正式与世人见面。SQL Server 2005与以往的SQL Server数据库版本比较，在以下几个方面的能力大幅度提高：l 企业数据管理增强的几个企业数据管理方面的特征主要有五点：（1）交互操作能力。程序员可以在SQL Server 2005中整合或连接数据库和相对独立应用程序，可以最大化的实现系统投资效益。并且在设备和应用以及各种不同平台之间实现交互操作；（2）比较易于管理。在该系统中，管理员对系统功能的操作可以通过最新的编程模式，包括通过自我控制能力来对数据库的日常运行进行有效管理。同时，数据库管理员可以使用其他管理工具或SQL事件探查器来将

33、SQL服务器调节至最佳状态；（3）安全稳定性。为了保证网络运营环境的安全，可以通过加密、设立安全模型及提高安全防控等措施加大安全管理力度，提高系统运行环境的稳定性；（4）较强的伸缩特征。即使是比较复杂的程序，如果是运用SQL Server 2005语言进行开发，由于支持64位等相关优势，虽然结构复杂且要求严格，但系统的优越性也是比较突出的；（5）可用性。故障时间在改进联机操作、故障转移群集以及数据库镜像等可用特性下降到最低，这将有利于随时访问或调用企业数据系统。l 开发人员生产力（1）CLR(Common Language Runtime)集成。公共语言运行库是Microsoft.NET Fr

34、amework的核心组成部分，公共语言运行库为.NET Framework提供了相应的代码执行条件。CLR中运行的代表即是通常所指的托管代码，CLR也会为各种执行程序提供相应的函数与服务，如在线管理、处理异常、内存清理等功能。（2）XML的集成。自从Microsoft SQL Server 2005问世后，XML数据处理方式从中得到众多发展优势。所有的XML值都可以轻松的存储在XML数据类型列中，相应类型也可以在XML列中进行添加。细粒度的数据操作在XML DML以及XQuery中是被支持的。在SQL Server 2005中，可以进行存在的XML数据种类繁多，例如，在表中分散的XML数据与原

35、生的XML数据都是可以进行存储的。（3）增强Transact-SQL。Transact-SQL语言的拓展性在近阶段内得到很大增强。例如，处理错误的能力有了明显提高，且可以进行递归查询。（4）SQL代理服务器。如果把SQL Server代理认为是一个比较完善的报警管理系统，这样一个周期内必须完成的工作就可以定义为一个主要任务，并可以进行自动执行。图2-7即是SQL Server代理属性对话框反应图。在SQL Server管理平台上实现SQL Server代理通常经过一下几个过程：通过高级页选择进入报警系统页，修改相应的报警设置，连接相应的作业系统页，最后在历史页中可以查到相关浏览信息。l 商务智

36、能增大商务智能化、提高编程工作效率及管理数据库系统是SQL Server 2005版本最大的功能优势，是在SQL Server 2000基础上，对原有功能进行全面改进。现在应用最广泛的便是SQL Server 2005。针对SYBASE与ORACLE而言，SQL Server 2005具有的兼容优势更为明显，且功能比较强大，安装及实际的操作过程都有了明显的便携性改善。第一，分析服务；第二，数据传输服务；第三，报表服务；第四，数据挖掘。通过引进新的数据挖掘运算法，使得对于数据挖掘的使用变得简单易用。2.2.2.ADO.NETADO.NET是目前微软最为常用的数据库存取技术，他取代了以前开放数据库

37、连接架构ODBC的地位，ADO对象是程序与数据库之间的沟通桥梁。ADO.NET的早起版本ADO产生原因是为了存取数据库，而ADO.NET是目前能够在高度分布式应用环境下的大规模数据访问和控制的技术。ADO.NET技术是对之前ADO技术的延生，相比上一版本，ADO.NET具有更加出色的性能、更加方便的可维护性等。ADO.NET是面向创建式分布式数据共享音应用程序的编程模型Error! Reference source not found.，通过对数据集概念的引入，使得其处理能力大大加强；同时对XML技术的整合，使得ADO.NET在数据存取上的性能有了较大的提高。如果需要访问数据库数据，则可以使用

38、其提供的API即可轻松实现。ADO.NET技术是可以支持跨平台间访问操作的，即使类型不同的数据库或数据源，ADO.NET也是可以支持彼此交互作用的。通常，组成ADO.NET的元素共有两大部分，详细情况如图2-5所示：Data Set.NET Framework数据提供程序Data AdapterConnectionData Table Collection数据表事务Select CommandData Row CollectionInsert CommandData Column CollectionConnectionConstrain CollectionUpdateCommand事务Da

39、ta Relation CollectionDelete CommandData Reader数据库XML图2-5 ADO.NET结构1、Data Reader如果在Ado.Net的对象位置只是输入数据流，则数据库检索需要采用Data Reader的形式。如果使用Date Reader中的Read方式进行请求发送，查询结果会自动存储在客户端的缓存位置，并且系统会自动返回相关操作界面。因为使用这种方法如果数据有用，就会马上检索此数据，不会只是等待全部结果的返回，所以节约了很多时间，应用程序的性能被显著的提高。除此以外，这种方法在默认情况下一次在内存中只存储一行，这样系统的开销就会被大大的降低。因

40、为在内存中不存在数据，因此Data Reader是一种很好选择，尤其在对海量数据进行检索时。2、Data Set作为Ado.Net的对象，Date Set是一种典型的数据驻留表达样式。无论Data Set内部的数据来自哪里，系统都会根据彼此关系构建相应的程序编制模型。所有的Data Set都是不同的数据集，表间关系及数据排列在此数据集中都可以全面的体现出来。Data Set内部也包含Data Relation的重要组成部分，Data Relation可以清楚的表达各个表单之间存在的主要关系，及整体数据库设计包含的所有约束条件。使用Data Set进行数据源使用访问时，通常要经过以下几个过程：首

41、先，Data Adapter对象的建立，即使只有一个数据需要进行查询，制定Select Command也是非常必要的，之后在进行Data Adapter内容的扩充。如果需要进行相关位置的数据删除，则需要在Data Adapter的相应位置输入系统指令就可以完成相应操作。2.3. 其他技术2.3.1.ASP.NET技术ASP即是动态服务器主页的简称，是一种比较特殊的编程语言，且JAVA与VB在ASP背景下都是可以正常使用的。市面上拥有的ASP版本种类，ASP.NET就是比较典型的一个。在.NET基础上对编程环境进行约束，Java及VB都可以在服务器上成功运行。通常，在ASP.NET环境下，JAV

42、A及C#都是可以被当作编程软件进行程序编写的。在ASP.NET环境下进行程序设计，XML Web Services及Web窗体都是可以正常使用的，甚至采用二者综合方式进行编程都是被允许的。对于应用程序而言，同一个结构可以进行相关的缓存配置，包括安全身份认证，以满足不同客户的实际需求。ASP.NET逻辑结构如图2-6所示：图2-6 ASP.NET逻辑结构2.3.2.HTML语言HTML（HyperText Mark-up Language）是超文本标记语言的缩写，由Tim Berners-Lee于1990年提出，用于描述超文本文档的语言规范，是目前Web上通用的描述语言。HTML语言通过标签组来

43、标记网页中要显示的各个部分，其本身是一种文本文件，通过在其中添加特定的标签组，可以告诉浏览器如何显示其中的内容（如：文字如何处理，画面如何安排，图片如何显示等）。在HTML文本中包含了所谓的“超级链接”点（即URL），通过激活（点击）它，可使浏览器方便地获取新的网页。超链接还可以把爬虫程序引导到其他的Web页面，这也是聚焦爬虫能不断访问网络的基础。这就是HTML获得广泛应用的最重要的原因之一。HTML页面通过IE或其他浏览器显示在用户面前。浏览器按顺序读取HTML网页文件，然后解释HTML代码并显示其标记的内容，HTML页面包含的代码主要有：HTML标签组：在HTML文档中以字符“”结尾的字符

44、串就是HTML语法标记，标记符是成对出现的。URL：URL地址是超链接（Link）的一部分，他们的关系如下图所示：图2-7 页面及链接结构示意图超链接包含两个部分，一部分是Text（锚文本），还有一部分就是URL。要从超链接中提取URL，要在上HTML代码中，寻找标签、等，提取href=、src=、background=、code=等符号后面的URL地址。文本：HTML文档中的文字部分即是文本。这一部分是需要从HTML文档中提取的内容。2.3.3.RSSRSS(Really Simple Syndication，简易信息聚合）是一种基于XML标准，是使用最广泛的XML应用，在互联网上被广泛采用来进行内容包装和投递协议。RSS搭建了信息迅速传播的一个技术平台，有利于让用户快速获取最新更新的信息。RSS用XML来对网站的内容进行描述和同步，并且在网站和用户之间搭建了信息迅速传播的一个技术平台，使得每个人都成为潜在的信息提供者。RSS目前广泛用于网上新闻频道及信息推送服务网站，主要的版本有0.91， 1.0， 2.0。用RSS订阅新闻，信息将被XML加工和封