资源大数据采集技术方案要点.docx

《资源大数据采集技术方案要点.docx》由会员分享，可在线阅读，更多相关《资源大数据采集技术方案要点.docx（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、资源数据采集技术方案公司名称2023 年 7 月二 O 一一年七月文档目 录第 1 局部 概述31.1 工程概况31.2 系统建设目标31.3 建设的原则31.3.1 建设原则31.4 参考资料和标准5第 2 局部 系统总体框架与技术路线52.1 系统应用架构52.2 系统层次架构62.3 关键技术与路线6第 3 局部 系统设计标准9第 4 局部 系统具体设计9第 1 局部 概述1.1 工程概况Internet 已经进展成为当今世界上最大的信息库和全球范围内传播学问的主要渠道， 站点遍布全球的巨大信息效劳网，为用户供给了一个极具价值的信息源。无论是个人的进展还是企业竞争力的提升都越来越多地依靠

2、对网上信息资源的利用。现在是信息时代，信息是一种重要的资源，它在人们的生活和工作中起着重要的作用。计算机和现代信息技术的快速进展，使Internet 成为人们传递信息的一个重要的桥梁。网络的不断进展，伴随着大量信息的产生，如何在海量的信息源中查找搜集所需的信息资源成 为了我们今后建设在线预订类旅游网重要的组成局部。因此，在当今高度信息化的社会里，信息的猎取和信息的准时性。而 Web 数据采集可以通过一系列方法，依据用户兴趣，自动搜取网上特定种类的信息，去除无关数据和垃圾数据， 筛选虚假数据和迟滞数据，过滤重复数据。直接将信息依据用户的要求呈现给用户。可以大 大减轻用户的信息过载和信息迷失。1.

3、2 系统建设目标在线预订类旅游网是在线供给机票、酒店、旅游线路等旅游商品为主，涉及食、住、行、游、购、娱等多方面的综合资讯信息、全方位的旅行信息和预订效劳的网站。假设用户要搜集这一类网站的相关数据，通常的做法是人工扫瞄网站，查看最近更的信息。然后再将之复制粘贴到 Excel 文档或已有资源系统中。这种做法不仅费时费力，而且在查找的过程中可能还会遗漏，数据转移的过程中会出错。针对这种状况，在线预订类旅游网信息自动采集的系统可以实现数据采集的高效化和自动化。1.3 建设的原则1.3.1 建设原则由于在线预订类旅游网的数据采集涉及的方面多、数据量大、采集源数据构造多样化的特点。因此，在进展工程建设的

4、过程中，应当遵循以下原则：可扩大性依据实际的要求，系统可被便利地载减和敏捷的扩展，使系统能适应变化和状况。可以实现模块级别的动态扩展，而且是运行时的。所谓运行时模块的动态扩展，比方说你需要增加一些的功能，你可以将开发的类和文件依据Bundle 进展组织，然后直接扔到运行时环境下，这些功能就可以用了。因此系统不会受技术改造而重做出调整。创性软件的投资要考虑到今后的进展，不能使用落后的产品与技术，避开投资的铺张；在系统软件选型、开发技术上，到达国内外先进水平。标准性和标准性整个设计方案从网络协议、操作系统到各个设计细节，应当全部遵循通用的国际或行业标准，符合国家有关标准标准的。低耦合性采集系统与其

5、它系统彼此间相对独立，直接进展数据库入库、sql 同步或者基于txt/xml 的数据交换，保证整体系统的低耦合性。高效性在底层的技术实现上承受java 语言，跨平台，跨数据库，运行效率卓越。安全、稳定、准确、准时性承受先进的算法，承受多个子系统和工具组成一个安全、稳定、准确、准时的解决方案。方案在总体设计上遵循稳定、开放、可扩展、经济、安全的原则，从而使整个方案组成合理， 技术先进，易于扩展，既能满足当前的业务数据处理要求，又能符合长期进展的需要。易操作和易维护原则整个系统易于维护，简洁操作，易学，易用，完全通过WEB 方式完成，降低维护的技术难度，也削减了人为隐患的发生。1.4 参考资料和标

6、准主要参阅并依据以下一些参考资料及标准：l 中国工程治理学问体系C-PMBOK，2023.5l GB/T 1526-1989信息处理 数据流程图、程序流程图、系统流程图、程序网络图、系统资源图的文件编制符号及商定l GB/T 8566-1995信息技术 软件生存期过程l GB/T 8567-1988计算机软件产品开发文件编制指南l GB/T 9385-1988计算机软件需求说明编制指南l GB/T 13702-1992计算机件分类与代码l GB/T 11457-1995软件工程术语第 2 局部 系统总体框架与技术路线网络信息资源采集系统是一套功能强大的网络信息资源开发利用与整合系统，可用于定制

7、跟踪和监控互联网实时信息，建立可再利用的信息效劳系统。能够从各种网络信息源，包括网页、BLOG、论坛等采集用户感兴趣的特定信息，经自动分类处理后,以多种形式供给应最终用户使用。2.1 系统应用架构采集应用效劳网络蜘蛛数据库数据分析数据解析分组分析网络蜘蛛 数据流掌握流互联网资源公布系统 客户端l 网络蜘蛛：依据指定规章抓取网站数据。l 数据分析：分析从网络蜘蛛来的数据，过滤掉我们不需要的信息。l 数据解析：依据指定资源格式(字段)的定义，进展数据库字段级别的解析。l 分组分析：依据不同的网络资源类型进展分类，并以多种存储方式进展存储。2.2 系统层次架构扫瞄器表现层网络资源采集数据转换数据导出

8、数据公布网络恳求应用层采集监控数据分析消息通知登录验证数据处理任务打算常用脚本库认证码识别WEB效劳器应用效劳器标准接口其他支撑层关系数据文本文件数据图片视频数据数据层整个系统分为四层，分别为：l 数据层：数据层负责存储抓取来的各种信息及数据，这里面包括网页、文档、关系型数据、多媒体数据等。l 支撑层：支撑层供给了关键的硬、软件支撑系统，包括应用效劳器、WEB 效劳器、标准接口等标准支撑系统。l 应用层：在应用层主要供给网络资源采集、数据转换、分析、处理、导出、公布、采集监控、消息通知、登录验证、任务打算、认证码识别等效劳。l 表现层：表现层通过扫瞄器等方式，为用户供给多样化的信息效劳。2.3

9、 关键技术与路线为了充分满足本工程的建设：我们承受先进、主流、牢靠、有用、性价比好的三层架构体系，充分考虑今后纵向、横向扩张力量。承受构件化和面对对象技术，使系统具有敏捷的扩展性和良好的移植性。2.3.1 J2EE 标准体系从软件层次上看，我们承受了典型的J2EE 三层架构体系，即应用支撑数据三层。 简洁地说，J2EEJavatm 2 Platform Enterprise Edition是一个标准中间件体系构造， 旨在简化和标准多层分布式应用系统的开发和部署，有了它，开发者只需要集中精力编写代 码来表达应用的商业规律和表示规律，至于其他系统问题，如内存治理，多线程，资源分布 和垃圾收集等，都

10、将由J2EE 自动完成。J2EE 已经被证明是一个稳定的、可扩展的、成熟的平台，在国内外拥有众多成功的应用实例。J2EE 应用效劳器Application Server承受目前国际最先进的开发理念、拥有很多适合基于Internet 应用需求的特点：l 三层构造体系最适合Internet 环境，可以使系统有很强的可扩展性和可治理性。l 面对对象、组件化设计2EE 是一种组件技术，已完成的模块能便利的移植到其它地方，可以提高开发速度，降低开发本钱。l 基于 JAVA 完全跨平台特性与平台无关，适应Internet 需要，并能得到大多数厂商支持，用户可依据需要选择适宜的效劳器硬件和数据库。并且假设需

11、要更换系统平台时，J2EE 也能便利的进展移植。把 J2EE 三层架构软件体系引用到资源采集系统，将大大提高系统的可移植性、可伸缩性和可扩展性。2.3.2 XML 技术XMLeXtensible Markup Language，可扩展标记语言，是当前最热门的网络技术之一，被称为“其次代Web 语言”、“下一代网络应用的基石”。自它被提出以来，几乎得到了业界全部大公司的支持。XML 具有卓越的性能，它具有四大特点：l 优良的数据存储格式l 可扩展性l 高度构造化l 便利的网络传输以 XML 技术作为支持，为用户自定义应用界面和业务数据构造，并将其与底层数据库定义格式、界面标准输入、输出的接口转换

12、作了实现，可实现分布式、异构应用系统之间的数据交换。我们将在本工程中主要以XML 为存储方式，便利扩展和数据分析。2.3.3 WEB2.0 技术Web2.0，是相对 Web1.02023 年以前的互联网模式的的一类互联网应用的统称， 是一次从核心内容到外部应用的革命，是依据“六度分隔”(注：由美国哈佛大学社会心理 学教授斯坦利米尔格兰姆觉察的，你和任何一个生疏人之间所间隔的人不会超过六个，也 就是说，最多通过六个人你就能够生疏任何一个生疏人。)、XML、AJAX 等理论和技术实现的互联网一代模式。由Web1.0 单纯通过网络扫瞄器扫瞄html 网页模式向内容更丰富、联系性更强、工具性更强的 W

13、eb2.0 互联网模式的进展已经成为互联网的进展趋势。Web1.0 到 Web2.0 的转变，具体的说，从模式上是单纯的“读”向“写、”“共同建设”进展；由被动地接收互联网信息向主动制造网络信息迈进。运行机制上，由“Client Server”向“Web Services”转变；作者由程序员等专业人士向全部一般用户进展；应用上由初级的“滑 稽”的应用向全面大量应用进展。承受创的Ajax 技术，同等网络环境下，页面响应时间最高削减 90。2.3.4 系统集成 APIXML 文档构造在很多方面可以便利地反映对象的构造，这也是其适合面对对象的软件技术的一个关键点。使用 XML 对数据源的数据进展处理

14、，它起着接口层或者封装的作用，这样不同的应用程序之间，不同的操作系统之间，不同的数据库之间都可以交换数据。使用XML 作为数据交换工具还可以解决异构数据库之间的集成。对本工程中涉及到的数据采集、转换、分析、处理等问题，我们将开发专用的数据接口， 承受 XML 技术作为数据交换的页面描述标准。XStream 是一个 Java 和 XML 相互转换的工具。使用格外的简洁，并且可以自定义转换的过程，但是这个组件仅能做的就是这些最根本的工作，有了这个组件，我们可以不用考虑具体一个Java 对象和XML 之间问题了。第 3 局部 系统设计标准第 4 局部 系统具体设计4.1 应用功能设计4.1.1 资源

15、采集我们可以使用采集，对网络上的各种资源进展挖掘。a) 采集工程：采集工作的具体设置文件，包含了要采集的资源链接。1. 准确：依据指定资源格式(字段)的定义，进展数据库字段级别的采集。2. 蜘蛛/爬虫：依据指定的文件匹配表达式，自动对指定网站的资源进展全面分析和采集。b) 字段：各种资源的最小单位，譬如您要采集某个网站的多个帖子，那么每个帖子可能包含以下字段：作者、标题、日期、内容等。c) 链页：一些帖子在多页面里的，这种状况下您可以为帖子的内容字段设置链页属性， 自动把多个分页的内容合并到内容字段。d) 追踪：一些资源是要从列表页面中，通过点击多个页面才显示的，这种状况下，您可以为内容自动设

16、置跟踪属性，自动猎取最终的内容。e) 登录验证：一些资源网站需要您登录后才可以访问内容，这种状况下下，您可以为整个网站、每个链接甚至每个资源单独定义登录验证以满足具体需求。1. 参数：这是模拟登录需要的参数，譬如用户名、密码等。2. 登录采集工程：一些网站的登录认证相当简单，往往会承受一些动态参数/值，假设用固定的参数是无法满足登录需求的，这个时候，您可以使用采集工程来自动猎取登录参数的值。3. 登录脚本：假设即便使用采集工程仍旧无法满足一些特别网站的登录需求，您可以使用自定义的登录脚原来实现相应的登录认证。f) 数据处理：1. 脏字过滤：对符合国家规定的敏感字符的过滤，还可以自定义要过滤的字

17、符， 以确保采集到的内容符合相关法律法规。2. 垃圾内容过滤：使用贝叶斯概率模型对已采集的内容自动分析判定是否为垃圾内容，您可以自行对各种垃圾内容进展过滤。3. 内容嗅探：对于 Flash/Silverlight 播放器，会在页面加载之后才从后台猎取实际的文件(.FLV/MP3/.XAP 等)，您可以使用内容嗅探实现对这些实际内容的采集。4. 关键字/标签(Tag)自动分析：利用全文分词对采集的内容进展分析，自动猎取内容的关键字/标签列表。5. 文件格式批量转换：对大量文件的快速转换，转变图片或视频的大小/添加水印/转变格式，抽取压缩文件，Office 系列文档转换为HTML，以多种方式修改文

18、件名称和内容，修改图片文件属性，文本排版，文本混淆，文本简繁大小写编码互转，文本切分合并，网页文本互转，不良图片过滤，数据转换等。g) 图片转换：转变图片大小和格式，添加水印，支持 jpg、bmp、png、gif、icl、jpeg等。h) 压缩文档：抽取/转换/生成压缩文档，支持zip、rar 等。i) Office 文档支持：支持doc、docx、xls、xlsx、xml、pdf、rtf 等。j) 文本排版：段落智能修正、去掉干扰符、修正段落首尾空格、修正标点符号，支持txt,htm,eml。k) 文本切分合并：按大小、行数或段落数剪切文本内容、和并内容，支持 txt,htm,eml。l)

19、不良图片过滤：识别并过滤不良图片，支持全部图片。m) 数据转换：使用自定义脚本转换数据和文件，支持采集工程、各种数据库和各种文件。n) 快速下载：1. 链接分析：复制要下载各种资源(如图片等)的链接或网页内容，全自动分析并下载到本地磁盘。2. 嗅探：复制视频地址或内容，全自动分析并下载视频，特有嗅探功能，支持全部视频网站。o) 通过多线程并行采集，加快采集速度。4.1.2 数据导出a) 导出数据库：把采集后的数据导出到各大数据库/数据文件中。b) 以 Excel、XML 等文件形式导出。c) 可以把文件导出到FTP。d) 自定义导出脚本。4.1.3 资源信息公布a) 采集后的数据：可以把采集后

20、的数据，公布到指定网站或系统。b) 网络恳求：可以自定义恳求，譬如网络投票等。4.1.4 任务打算可以指定采集、转换、导出、公布、恳求等各种任务定时执行。a) 可启用多个线程来完成同一个采集任务。b) 可自由设定采集网页数和暂停的时间，此功能主要解决采集过快而被屏闭或制止访问 等问题。c) 可以在采集当中随身暂停、启动或停顿任务。4.1.5 消息通知能够自动通过多种方式邮件、系统日志、系统声音等通知采集公布状况。a) 在各种任务完成之后，如采集，公布，打算任务等。b) 监控指定网站并在数据转变时。4.1.6 监控设置当网络资源更或采集到的资源信息时，通过各种通知方式，随时提示。4.1.7 脚本

21、定义脚本是对各种功能的自定义扩展，支持JavaScript 语言编写。a) 采集脚本：在采集工程中，假设遇到一些特别的资源，正常的采集方式无法胜任的时候，可以通过脚原来进展自定义的采集。b) 公布脚本：可以针对特别的网站进展发送恳求。c) 常用脚本：系统内置的常用的脚本，如对专用链的解释/编码、条形码的生成、敏感字符的过滤、中文分词/Tag 识别、计算数学表达式、RSS 解释与生成、消息通知等。4.1.8 认证码识别系统自动识别各种登录页面的认证码、验证码等。a) 默生疏别：全自动识别各种常见的认证码。b) 智能识别：自定义识别各种特别的认证码。4.1.9 系统扩展系统供给以下丰富的程序接口，

22、便利系统进展二次开发。a) 消息通知：编写各种特定的消息通知方式以满足需求。b) 中文分词/Tag 识别。c) 数据转换：转换各种采集后的数据到系统当中。d) 功能扩展：对各种功能(采集、公布、脚本、消息通知、打算任务等)进展自定义设置并应用到实际的系统运行中。4.1.10 任务治理可以对采集、公布、恳求、打算任务、脚本、消息通知等各种任务进展全面治理。4.1.11 地图周边资源采集可依据采集到的数据在地图上显示，以该点为中心，在指定的搜寻范围内搜寻其周边的全部资源信息，并采集到系统当中。以酒店为例：以酒店为中心的5 公里范围内，在这范围内的全部酒店、旅行社、小吃、旅游景点、购物场所、公交信息等都可以搜寻到并采集下来。