（大数据资料）云数据交换与服务调度工程平台技术文档v1.0.docx

《（大数据资料）云数据交换与服务调度工程平台技术文档v1.0.docx》由会员分享，可在线阅读，更多相关《（大数据资料）云数据交换与服务调度工程平台技术文档v1.0.docx（45页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、（大数据资料）云数据交换与服务调度工程平台技术文档v1.03.2 主要研发方向基于当前云计算服务模式从孤立式单一云服务模式向聚合式混合云服务模式的提升,云云交互、云与智能终端交互、非云与云应用交互的数据交换与服务调度将面临巨大困难.针对云环境下数据交换和服务调度的资源共享难题,本工程中心着力于面向混合云模式下的云资源数据交换和云服务调度工程技术研究.研究主要分为五个方向分别是：云数据交换工程技术;云服务总线工程技术;云服务生产工程技术;云服务调度工程技术;云服务目录工程技术.3.3 主要研发内容3.3.1 云数据交换工程技术3.3.1.1 技术概述云数据交换工程技术的的研究基于云计算技术、SO

2、AWOA和OSGI架构技术、P2P智能网络技术、多领域虚拟化租户技术等相关技术.研发的云数据交换平台可以实现跨部门、跨单位、多层级、多业务领域的数据交换、服务共享、业务协同.为城市级电子政务和电子电子商务应用实现跨机构、跨系统、跨领域的横向协作、纵向协作提供技术基础.为云端城市各类云技术应用提供资源层面交互提供技术支撑.3.3.1.2 技术架构云数据交换工程遵循国际和国内相关标准和规范.通过深化技术原理性设计和加强工程化设计,丰富数据交换功能模块并大幅提升数据交换性能,采取软件固化技术、软硬融合一体,全面提升系统安全性和可靠性.云数据交换遵循即配即用(out-of-the-box)的人性化设计

3、原则,无须进行任何编码,且提供简易的可视化异构数据桥接配置工具.提供强大的资源提取、转换、推送、传输等功能.云数据交换平台采用多租户的软件架构技术设计,使云数据交换能够作为云端城市的云应用支撑基础设施,能够实现政府部门工商、税务、财政、执法、监察等多类业务领域的资源数据共享.平台支持在多个租户、多个业务领域进行部署、配置、和监控.各个业务领域实现运行和管理隔离.提供断点续传和故障恢复等多层次的安全保障体系,保证数据交换在各类云到云、非云到云之间交互的安全性和可靠性.云数据交换同时支持公私云(内外网)网络隔离环境下的数据安全交换.采用基于串行硬件驱动器热插拔控制原理,研发了一种基于光盘数据安全传

4、导的内外网光盘传导设备.云数据交换工程主要由四大部分组成分别是：云交换总控、云交换网关(共享交换节点)、内外网数据光盘传导平台,其总体架构如下：1) 云数据交换总控,是云数据交换平台中的总控系统,提供统一配置、统一监控、统一跟踪、统一管理等功能,部署在云数据交换管理中心.2) 云数据交换网关,是云数据交换工程中的节点(亦称为：共享交换前置节点),可部署在不同领域各业务部门.3) 异构云桥,具有数据提取、转换和推送功能,实现各业务系统与云数据交换网关之间的桥接,省去接口开发工作.提供智能化的桥接适配器,内嵌JS脚本引擎、转换引擎、流程引擎、调度引擎,使各种信息孤岛的数据通变得简易操作,大大提高异

5、构系统互联的工作效率,避免异构系统与云交换网关的接口开发,与异构的互联互通”零编码”实现,即配即用.异构云桥提供强大的图形化和智能接口设计、部署和监管功能,使信息”孤岛”的连接变得简单易操作,大大提高了系统互联的工作效率,减轻了广域数据交换、广域应用联动的工作负担.异构云桥提供图形化配置界面.可以通过拖拽的方式完成桥接规则的配置.4) 内外网数据光盘传导平台,提供跨网络隔离环境下的内外网数据安全传导功能.以刻录光盘作为数据传输的中转载体,实现数据在物理隔离网络中的交换云数据交换的四大组成部分同时提炼出了云数据交换四大关键产品：云数据交换总控、云交换网关、内外网数据光盘传导设备和异构云桥软件3.

6、3.1.3 主要技术1)架构技术OSGi云数据交换工程的平台架构采用OSGi架构技术.实现云数据交换各个组成部分的松耦合模块化设计,模块之间以服务方式实现交互,同时,还需要所有的模块均能根据实际需要支持动态的插拔和修改,系统的模块要遵循对具体实现的零依赖和配置的统一维护,避免服务不可用时造成系统的崩溃,从而保证系统的即插即用,即删即无,最后还需要为和其它应用结合系统需要有良好的可扩展性设计,这正符合OSGi框架的设计思想.OSGi是一个基于Java的服务平台规范,面向Java的动态模型系统,它是为那些需要长时间运行,动态更新并且对运行环境的影响尽可能小的系统制定的. OSGi的设计主旨：一个轻

7、量级的进程内(in-process)服务容器框架,并提供了完整生命周期管理. OSGi服务平台提供在多种网络设备上无需重启的动态改变构造的功能.为了最小化耦合度和促使这些耦合度可管理,OSGi技术提供一种面向服务的架构,它能使这些组件动态地发现对方.OSGi联盟已经开发了为例如象HTTP服务器、配置、日志、安全、用户管理、XML等很多公共功能标准组件接口.这些组件的兼容性插件实现可以从进行了不同优化和使用代价的不同计算机服务提供商得到.而且,服务接口能够基于专有权基础上开发.OSGi的服务平台主要包括两部分：OSGi框架和OSGi标准服务.OSGi定义了服务的主要工作,具体的服务则定义了具体的

8、功能和职责.OSGi 框架提供了平台无关性和动态代码的装入,使得在有限的资源的设备上开放和动态部属应用程序成为可能,它提供了开发应用程序执行的上下文环境,OSGi 框架还可以动态的更新服务而不用停止执行环境.因为OSGi技术为集成提供了预建立和预测试的组件子系统,所以采用OSGi技术将会在改善开发周期时间和降低开发成本上获益,同时,因为这些组件能够动态发布到云数据交换的每个组成设备上,所以OSGi技术也能降低维护成本. 2)P2P 智能网络传输技术云数据交换采用P2P智能网络技术实现云数据交换节点间数据传输通道的智能路由和数据的分布式传输.同时提供交换节点传输故障转移的功能.P2P(Peer

9、to Peer)可以简单的定义成通过直接交换来共享计算机资源和服务,而对等计算模型应用层形成的网络通常称为对等网络.在P2P网络环境中,成千上万台彼此连接的计算机都处于对等的地位,整个网络一般来说不依赖专用的集中服务器.网络中的每一台计算机既能充当网络服务的请求者,又对其它计算机的请求作出响应,提供资源和服务.通常这些资源和服务包括：信息的共享和交换、计算资源(如CPU的共享)、存储共享(如缓存和磁盘空间的使用)等. 3)多领域虚拟化租户技术传统的数据交换平台都是根据不同的业务需求分散建设的,随着业务领域的不断扩展、数据交换的需求的不断增加.一般有两种数据交换平台建设模式,一种是在原有平台上扩

10、展造成交换平台管理越来越复杂.多业务领域间的交互影响,另外一种情况就是重新规划建设数据交换平台,最后在运行数据交换平台越来越多,建设和维护成本越来越高,而且存在严重的重复建设的情况.在云环境下针对多领域数据交换的难题,本项目提出了以PaaS服务模式按需提供虚拟化多领域多租户云数据交换解决方案.一个业务领域对应一个租户,每个租户拥有为一个虚拟化的交换与共享环境、租户与租户之间相互隔离、互不干扰,每个虚拟化交换环境包括前置交换的虚拟化、交换传输通道的虚拟化; 交换传输网络虚拟化.交换传输网络虚拟化支持NVGRE标准,集成NvGRE网关控制器,能与微软system center 2012进行无缝集成

11、. 云数据交换多领域虚拟化架构如下：4)基于NVGRE标准虚拟网络技术云数据交换支持NVGRE标准,集成NvGRE网关控制器,能与微软system center 2012等云计算基础平台进行无缝集成.云数据交换基于NVGRE通过租赁网络标识符解决多领域交换租户间多租赁网络问题.一个大型的云数据交换平台可以支持数以百计的业务领域交换租赁用户,每个租赁用户又可以同时运行多个交换业务,他们之间的数据传输都是相互隔离的.NVGRE创建了一个虚拟2层网络NVGRE是一个由RFC 2784定义和RFC 2890扩展的通道协议,该协议提供了一种封装方法,将交换数据包发送到2层或3层网络目的地址.NVGRE提

12、议使用GRE来创建一个独立的虚拟2层网络,限制物理2层网络或扩展超过子网边界.每个TNI都与一个GRE通道相关联.从通道终端发送的数据包会通过IP组播送往与同一个TNI相关的另一个终端.使用多播技术意味着通道可以扩展到3层网络,将一个大型的数据交换广播域划分成多个较小的数据交换域,从而限制广播流量.通过NVGRE标准隔离租赁用户传输数据;NVGRE终端通过在GRE头插入INT指示符的方式分隔各个TNI.TNI指示符是位于RFC 2890规定的关键域中.虽然该关键域定义为32位域,但是TNT会占用24位,其余8位为保留位.NVGRE不使用RFC定义的序列号.封装了数据包的NVGRE终端必须定义数

13、据包发送的目标地址.目前,NVGRE提议草案将这个问题延迟到后续版本,它规定：”控制面板可以使用任意技术进行配置、发现和分配策略信息”.5)串行硬件热插拔控制技术内、外网或公私云之间严格物理隔离的要求给数据交换工程带来极大的困难.为了交换数据又保证安全,传统采取由人工的方式,在相互隔离的网络系统间使用移动数据存储或介质转移数据,但效率低下,操作也不方便,而且人的行为存在诸多不可控因素.比如有意无意的操作失误以及其它外部影响等,都会导致涉密数据的外泄.而市场上推出的各种能自动传导数据的网闸等设备又皆因采用某些公有或者私有协议,其安全保障仍摆脱不了程序设计影响而难以实现完全的物理隔离.云数据交换工

14、程采用基于串行硬件驱动器热插拔控制方案实现的网络隔离环境下的数据安全传导.该方案设备由多个物理隔离主机、串行设备热插拔控制单元,以及串行存储器构成.该设备采用STAT光盘刻录机作为串行存储器,使用光盘作为搬迁数据存储载体.通过光盘刻录机的热插拔实现数据安全传导,支持物理隔离的一个网络系统向另一个网络系统传导数据.每个主机内置一个数据桥接处理单元,每个主机只与一个网络系统连接,不同的主机连接不同的网络系统; 内外网数据安全传导方案架构如下：工作时,当一个网络系统需要向另外一个或多个网络系统传导数据,该网络系统则通过与其连接的主机的数据桥接处理单元将需要传导的数据进行处理且写入所述串行存储器后,通

15、过主机的GPIO输出的高低电平来触发所述串行设备热插拔控制单元来控制所述串行存储器与当前主机在物理电路上断开且连接至另外一个主机,另外一个主机的数据桥接处理单元从串行存储器中读取数据且写入到相连接的网络系统中,写入工作完成后则格式化所述串行存储器并切回连接至起初的主机;内外网光盘传导平台模块结构示意图;6)基于ETL的异构数据桥接技术云数据交换在异构系统之间进行数据抽取、转换、推送等数据桥接过程中.采用了ETL技术.ETL即数据抽取、转换、装载的过程)作为BI/DW(Business Intelligence)的核心和灵魂,能够按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数

16、据转化的过程,是实施数据交换的重要步骤.ETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程.是构建数据交换平台的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据模型,将数据加载到数据交换平台中去进行数据的传输和共享.3.3.1.4 关键特性和技术创新1)云数据交换工程技术研发的数据交换产品都严格遵循即配即用(out-of-the-box)设计原理、无需进行任何编码,提供可视化配置工具、通过便利的拖、拉、拽等方式即可实现各种应用场景下的数据交换配置和部署2)支持多领域多租户资源共享与交换,采用虚拟化云数据

17、交换环境创建技术在多个业务领域内为租户构建虚拟的共享交换环境.3)推出国内第一个采用硬软结合、软件固化、系统软件微核化设计,即插即用云数据交换产品. 4)推出国内第一个基于JXTA P2P智能通信技术,去中心化、端到端数据双向交换产品.5)推出国内第一个基于NVGRE标准,集成NvGRE网关控制器,实现云数据交换在虚拟隔离网络环境安全传输的云数据交换产品6)采用差异化云安全技术为提供云数据交换提供多层次的安全防御体系3.3.2 云服务总线技术3.3.2.1 技术概述云服务总线工程技术的研究解决了云资源共享、云服务整合、异构系统之间互联互通、消息格式繁多难以统一等问题.同时开发了一款基于软硬件结

18、合的、适用于私有云、公共云、区域云的云技术中间件产品,它是基于高档的、工业级、嵌入式设备之上的一款服务容器,利用云服务总线可方便、高效地搭建智慧城市的中枢神经系统,可广泛应用于智慧城市、智慧政府、大部制应用整合于资源共享、局域SOAWOA、广域SOAWOA领域.3.3.2.2 技术架构云服务总线主要要面向SOA以及WOA应用领域.提供快速响应,高吞吐量,高可靠性消息中介引擎、和服务中介引擎.同时云服务总线还支持事件发布与订阅,支持DB2、Oracle、MSSQL、MySQL、H2等主流关系数据库访问,支持将数据库存储过程暴露成服务,提供服务动态发现(WS-Dicovery规范)等.云服务总线提

19、供强大的服务整合和服务综合治理功能.云服务总线的安全策略设计依据当前国家关于信息安全方面的法律、法规和标准,当然也参考并遵从了主流的信息技术安全标准.并使用差异化云云安全国际标准作基本框架,实现安全管理准则的整合.云服务总线支持的web服务标准主要包括： SOAP 1.1、SOAP 1.2、WS-Addressing、MTOM(Attachments)、WS-Eventing、WS-Transfer、WS-Security、WS-ReliableMessaging、WS-Coordination 、WSDL 2.0、WS-Policy、WS-MTOMPolicy、WS-Discovery;JA

20、X-RS.云服务总线支持的主流消息传输协议包括：HTTP/HTTPS、HTTP-NIO /HTTPS-NIO、MAIL、JMS、VFS、TCP/UDP、FIX.云服务总线能处理的消息格式包括： SOAP1.1 /SOAP1.2 , POX /REST, Text, Binary.云服务总线技术架构如下：云服务总线的中介引擎由代理服务、端点、时序组成.由任务调度来启动和管理云服务总线的任务作业.云服务总线同时提供被中介引擎使用的注册和存储库的接口.云服务总线部署在实际的客户端和后端服务实现之间来协调两者之间的消息流.云服务总线提供身份验证、消息转换、日志记录、基于内容的路由等功能,云服务总线支持

21、消息传输失败时引入消息节流和消息缓存机制,当高并发访问时云服务总线支持集群部署和负载均衡.针对故障场景,如身份验证失败,或模式验证失败,云服务总线支持配置自定义消息返回给服务调用客户端.而不需要转发给实际的服务.云服务总线中介引擎运行流程云服务总线主要提供以下技术功能3.3.2.3 主要技术1)服务感知技术云服务总线能为后端真实服务提供虚拟服务代理服务以供前端服务消费者享受服务,同时隐藏了真实服务的具体发布位置;cBus提供服务编排功能,能将几个服务的编排逻辑定制为时序(sequence)以供内部处理.其服务处理机制(服务请求服务调度)如下图所示：其中Message builder负责将服务请

22、求构建为消息模型,Message formatter负责将消息模型转换为真实服务协议能识别的消息格式.2)消息中介技术： 云服务总线提供基于Rule的消息路由和Content的消息路由功能以及提供组件对消息进行分割、聚合和格式转换功能.如下图所示： 其消息处理机制如下图所示： 3)事件中介技术 ：云服务总线提供事件的发布与订阅功能支持基于EDA架构的应用集成特别适合对实时性要求较高的应用.TYKY cBus云服务总线设备提供对事件的感知功能,并通知事件的订阅者完成服务调度.TYKY cBus云服务总线设备还可对事件消息进行格式转换、分割等功能.在ED-SOA架构中的发布/订阅机制如下图：云服务

23、总线设备的强大消息中介功能,使得它不仅支持传统的”服务请求服务调度”模式,同时也能出色地支持也支持”事件感知服务调度”模式.其事件处理机制如下图所示：在云服务总线设备中,事件发布者发布事件(请求)到总线事件源,由事件代理服务流程中的分派事件组件负责通知事件订阅者.云服务总线为事件代理服务与与订阅者之间建立可靠消息传输通道.4)任务调度技术：云服务总线设备采用调度框架执行一些内部comand或外部comand的功能.例如服务总线设备允许将一些繁重的任务作为批处理任务放在特定时段完成.以提高服务器的吞吐量.其任务调度机制如下图所示： 5)服务治理技术：云服务总线设备提供服务注册、服务响应缓存、服务

24、访问流量控制、服务会话监控与跟踪等功能.如下图所示： 6)服务Qos技术： 云服务总线设备提供对服务访问的权限控制、可靠消息传输、提供负载衡的后端真实服务访问端点.云服务总线设备支持 WS-Security, WS-ReliableMessaging, WS-Policy等标准Web Service安全规范.并提供服务层与方法层的细粒度控制.提供可靠消息传输与以及支持故障转移的端点访问策略.其Qos保证机制如下图所示：云服务总线设备支持对代理服务实施WS-*标准,支持故障转移服务端点,支持负载均衡服务端点.TYKY cBus云服务总线设备集群机制如下图所示：通过外部负载均衡器及云服务总线设备的

25、集群特性轻易的实现了服务访问的伸缩性,服务的消息费者通过云服务总线设备上的服务,需由总线完成一系列任务(如：用户身份认证、服务访问授权、消息内容校验/过滤等)后,才将消息转换成真实服务可处理的格式.由云服务总线设备提供的Loadbalancing 服务访问点,可轻松实现故障转移.3.3.2.4 关键特性和技术创新1)云服务总线提供下图所示的关键技术特性：2)云服务总线相比同类产品的创新特性：3)支持REST、SOAP两种样式的云共享服务全面支持非云,云和云端REST 、SOAP两种样式的共享服务.REST服务具有：高性能、可寻址性(可通过URL访问)、无状态性、接口通用性、语义可见性五大特性,

26、因此REST服务也称为云服务,它非常适用于云与云、非云与云、云与云端的服务关联互动.4)支持云服务组合,能将多个细粒度云服务组合成粗粒度云服务云服务总线内置强大的规则引擎,并提供基于Web、基于规则流的可视化服务组合功能,能将多个细粒度云服务组合成粗粒度云服务,确保有依赖关系的共享云服务能够流程化自动调度执行.5)提供全面的共享云服务治理、服务质量保证功能服务总线提供服务注册、服务响应缓存、服务访问流量控制、服务会话监控和访问日志等全面服务治理功能;提供服务层与方法层的细粒度访问控制,提供可靠消息传输保障,以及支持故障转移的端点访问策略,确保服务共享的安全性和可靠性.6) 支持多业务领域的配置

27、和部署云服务总线支持在多个业务领域进行配置、部署和监控.3.3.3 云服务生成技术3.3.3.1 技术概述云服务生成工程技术的研究主要实现将格式化以后的非云、云和云端共享资源进行自动webservice服务化生成.生成的服务支持SOAP和REST两种服务样式.云服务生成技术能为用户提供智能化的服务生成工具.云服务生成工具能够帮助用户快速实现非云资源资源SOA化、云化,快速实现业务服务的云共享.3.3.3.2 技术架构云服务生成工具基于SOA/WOA架构思想设计,提供用于发布生成并运行基础源Sercice服务的中间件产品.它既是服务生成工具,也是服务容器.作为服务生成工具,云服务生成工具能根据用

28、户业务的不同,灵活、快速地生成和发布标准遵循JAX-WS和JAX-RS等规范的REST和SOAP服务,真正意义意义上的零编码开发工具.作为服务容器,云服务生成工具能稳定和高效地运行Sercice服务,提供高并发访问和请求.云服务生成工具技术架构图如下：云服务生成流程主要经过四个阶段分别是：资源加载资源对象化服务定义服务发布.云服务生成工具同时为生成的服务提供安全模块、可靠消息模块、服务事件模块和服务云端寻址模块.云服务生成主要采用了AXIOM对象模型和DSDL文档规范来定义资源的属性和操作方法.3.3.3.3 主要技术资源服务化技术AXIOM 和DSDL在资源服务化过程中使用AXIOM对象模型

29、将资源变成一个个对象模型然后通过DSDL文档模式定义语言暴露到网络中.AXIOM对象模型(AXis Object Model,AXIOM)是 XML 对象模型,其目标是提供强大的特性组合彻底改变 XML 处理技术.AXIOM 超越了现有的 XML 处理技术,它把延迟构建和一种快速、轻型的可定制对象模型结合了起来. AXIOM 还不是另一种对象模型.它有着明确的设计目标： SOAP 协议栈的性能.结果造就了不同于其他对象模型的 AXIOM(也称为 OM),因为它突出了构造的轻型,并且 仅当需要的时候才建立.由于是轻型的,它尽可能地减轻对系统资源的压力,特别是 CPU 和内存.同时,延迟构造又允许

30、在其他部分还没有完成的时候使用树的一部分.AXIOM 强大的延迟构建能力源于底层的 Streaming API for XML (StAX) 解析器.AXIOM 提供了所有这些特性,同时幕后的复杂性对用户是透明的. 使用 XMLBench Document Model Benchmark 测试的结果表明,AXIOM 的性能和现有的高性能对象模型相当.但是 AXIOM 的内存占用要好于现有多数依靠 SAX 和/或 DOM 输入输出的对象模型.因此对于 Web 服务引擎或内存受限制设备这样的 XML 处理器,AXIOM 是一种理想的选择,它可用于一般的 XML 处理,但是有一个对 SOAP 优化了

31、的可选层.DSDL是一组有关 XML 验证和基本文档组成的规范.DSDL 所体现的理念是使用多种方法进行 XML 验证和核心处理,并且多种方法之间能够互相补充.这并不是指创建一个具有所有这种功能的庞大系统,相反,DSDL 创建了一种集合了各种标准的框架,可以单独使用这些标准,也可以结合使用于进行 XML 验证.这种方法避免了每个规范自身的复杂性,同时又提供了处理复杂问题的能力.3.3.3.4 关键特性和技术创新点1)提供强大的共享资源云服务化工具利用云服务生成技术可以将格式化以后的非云、云和云端共享资源的服务化,自动生成SOAP、REST两种样式的服务,支持多数据源,确保资源共享达到高安全的服

32、务共享级别,不是原始的数据库共享级别2)提供支持REST服务的服务生成工具REST服务具有;高性能、可寻址性(可通过URL访问)、无状态性、接口通用性、语义可见性五大特性,因此REST服务也称为云服务,它非常适用于云与云、非云与云、云与云端的服务关联互动.3.3.4 云服务调度技术3.3.4.1 技术概述云服务调度工程技术研究重点是云资源分配及服务调度.云资源分配与服务调度是云计算的核心功能,云计算存在资源总量丰富与资源利用率低的突出矛盾,如何提高云资源的分配效率是云计算中的关键技术问题.云服务具有不确定性和动态性,云服务调度是 制约云计算发展的关键技术问题. 3.3.4.2 技术架构云服务调

33、度是资源从服务化到服务共享调用的的一系列流程.云服务生成工具将共享资源生成REST或者SOAP服务;云服务总线将共享服务全部代理到”数据交换与云服务调度中心”,形成一个广域的SOA服务调度中心,经过授权的各种业务应用包括云端SaaS应用均可透明的请求云服务总线上的REST服务或者SOAP服务,由云服务总线再去统一调度相应的真实服务,以达到云与云、云与非云、云与端应用关联、实时互动.云服务调度的总体架构如下：云服务调度支持”服务请求服务调度”和”事件感知服务调度”两种服务调度模式,云服务调度过程中采用了云资源在线动态分配算法,有效提高了云资源的分配效率;采用阶段性云服务调度算法,有效提高了云服务

34、的调度效率.3.3.4.3 主要技术1)在线动态资源分配算法云服务调度在资源分配策略上,采用了在线动态资源分配算法,提高了云系统的并行处理性能,特别在资源竞争非常激烈的情况下,与传统FCFS算法相比,处理用户请求的平均响应时间缩短20%-50%;在紧耦合的情况下平均响应时间缩短了20%-70%. 2)基于着色Petri网的阶段性服务调度算法云服务调度在服务调度策略上,采用了基于着色Petri网的阶段性服务调度算法 提高了系统的可靠性和性能.与静态调度方法相比,服务平均响应时间缩短20%-30%,超时任务数量减少60%-80%,超时总量锐减70%-90%;与动态调度方法相比,服务平均响应时间缩短

35、10%-20%,超时任务数量减少30%-70%,超时总量减少20%-50% 该方法在静态全局优化和动态局部优化两方面都取得令人满意的效果,保证了云服务的高效性、灵活性、可靠性 3.3.4.4 关键特性和技术创新点1)云服务调度支持”服务请求服务调度”和”事件感知服务调度”两种服务调度模式支持.2)云服务调度过程中采用了云资源在线动态分配算法,有效提高了云资源的分配效率.3)云服务调度在服务调度策略上,采用了基于着色Petri网的阶段性服务调度算法.有效提高了云服务的调度效率.3.3.5 云服务目录技术3.3.5.1 技术概述云资源目录工程技术的研究主要是开发一款软硬融合一体的云资源目录及云服务

36、治理产品、严格遵循GB/T 21063-2007 政务信息资源目录体系标准的基础上扩展了云资源共享所必备的云服务治理功能.它具有资源类化编目、目录版本管理、服务消费认证,同时它向用户提供检索服务、订阅服务、使用评价等功能.3.3.5.2 技术架构根据GB/T 21063-2007 政务信息资源目录体系标准,结合SOA、WOA架构规范,以及上述的架构蓝图,云资源目录产品的整体建设框架设计如下：1)利用异构数据桥接器,将同级政府机构各种原始的、杂乱的、异构的数据进行抽取、转换,并同步到共享资源库中,实现共享资源的格式化.2)各政府机构共享资源、政务信息资源中心的共享信息资源,可通过云服务生成器或数

37、据交换网关中内置的云服务生成功能,将共享资源生成REST服务,实现共享资源的服务化.3)将各政府机构的共享资源服务、政务信息资源中心的共享资源服务全部挂接到政务信息资源中心的云服务总线上,构建省级政务信息资源共享服务中心;同时,还可为共享资源比对,确保政务信息资源中心的信息资源的永远是最新的,提供了技术支撑.4)云资源目录支持WS-Discovery服务发现规范,可以动态搜索云服务总线上的共享资源,并根据根据GB/T 21063-2007 政务信息资源目录体系的资源标识符编码规则和资源分类规则,对共享资源的编目处理,以形成政务信息资源目录体系.3.3.5.3 主要技术服务感知技术WS-Disc

38、overy服务发现是服务感知技术主要实现手段.采用WS-Discovery服务发现规范来实现服务动态感知,WS-Discovery同时支持adhoc和managed两种服务发现模式.我们知道在面向服务系统里,有时候,服务的地址是动态生成的,并且可能一直在变化.例如,有时不同的服务设备会频繁地接入或者离开整个系统.为了适应这种变化,客户端必须具备可以动态查找服务的能力,也就是服务发现：WS-Discovery .WS-Discovery是一个基于SOAP协议的动态服务发现OASIS标准,它可以在运行时发现服务终结点.客户端可以根据一定的条件来探测特定的服务目标,最后根据特定的匹配条件返回最佳的服

39、务终结点地址.服务发现技术的四点内容：（1） Ad hoc Service Discovery.(2)设定查找范围(Scope).(3)服务公告Service Announcement.(4)托管服务(Managed Service) Discovery.3.3.5.4 关键特性和技术创新点1)支持服务感知,支持资源动态发现、资源自动编目 云资源目录均支持WS-Discovery服务发现规范,同时支持ad hoc和managed两种服务发现模式,能够自主发现部署在云服务生成器生成的服务.云资源目录能动态搜索云服务总线上的共享服务,并自动生成可编辑的目录供使用者进一步完善目录.2)全面支持共享资

40、源的依赖关系管理和生命周期管理云资源目录平台全面支持共享资源的依赖关系管理和共享资源的批量化的生命周期管理,能有效保障共享资源的有效性,避免共享资源最终变成离弃的垃圾资源.3)不但支持资源目录检索、资源访问验证,而且还支持资源目录订阅云资源目录平台不但支持资源目录浏览、资源目录检索、资源访问验证,而且还支持资源目录订阅,用户可通过ATOM订阅器,订阅共享资源目录,以及时了解信息资源中心的共享资源,及时提升横向电子政务和综合电子商务的协作效能.3.4 拟推出的新产品云数据交换与服务调度工程中心拟推出面向云计算的新一代云服务中间件产品.产品分为两大系列,分别是云数据交换系列产品和云服务共享产品.云

41、数据交换系列包括：云数据交换总控设备、云交换网关设备、异构云桥软件、内外网数据光盘安全数据传导设备;云服务共享系列包括：云服务总线设备、云服务网关(含服务生成器软件)设备、云服务目录设备.在云计算中心中,采用该平台的核心设备可组成整套共享服务区设备系统. 整个平台采用虚拟一体机固化、系统软件微核化、P2P应用层交换、多租户虚拟化等先进技术,具有数据感知与转换、双向传输、大数据传输、服务器生成与调度等功能.全部产品为国产自主品牌,达到国内外先进水平,为我国各大领域信息化和智慧城市构建大型共享交换系统提供完整解决方案.3.4.1 TYKY xSwap云交换总控TYKY xSwap云数据交换总控设备

42、是一款高档的、工业级、嵌入式设备,它负责对运行在广域资源共享与数据交换网络中的各个TYKY xGate数据交换网关设备进行统一配置、统一监控、统一跟踪、统一管理,是整个广域资源共享与数据交换网络的治理中心.TYKY xSwap数据交换总控设备由监控管理中心和配置部署中心组成.监控管理中心负责监控连接到总控中心的各个TYKY xGate数据交换网关设备.收集TYKY xGate的运行状态、数据传输状态、网络连接状态等实时信息.收集共享与交换过程日志和传输异常信息.提供异常定位、错误分析、远程控制和统计分析等功能.监控中心监控界面如下：配置部署中心能对TYKY xGate数据交换网关设备进行各种综

43、合配置.分别提供系统管理、权限管理、定时任务、交换配置、信息统计、订阅分发、数据跟踪等功能.支持对采集模式、订阅分发模式、双向同步模式、大数据传输模式、数据对比模式等复杂模式的配置.配置中心界面如下图：是一款基于SOA、WOA架构技术、云计算技术、云服务技术、P2P智能通信网络技术相结合的广域数据交换与服务调度平台,是国内外领先的资源共享与数据交换产品.通过TYKY xSwap产品可以实现跨部门、跨单位、多层级的资源共享、数据交换、业务协同,为政府电子政务实现跨机构、跨系统的横向协作、纵向协作提供技术基础.TYKY xSwap严格遵循国际及国内外相关标准与规范(如：GB/T 21062-200

44、7,GB/T 21063-2007等),加强工程化、产品设计,大幅度地提升数据交换与服务调度智能化和高性能,并采取类似”路由器”的软件固化技术、将软件嵌入到硬件中,软硬件融为一体,全面提升系统安全性和可靠性,使产品全面满足支撑广域数据交换与服务调度的技术要求.产品硬件特性：1) 标准19英寸2U机架式设备2) 多核高性能处理器平台3) 高峰值能承载100,000笔数据交换交易/分钟4) 1TB防震存储容器5) 工业级可热插拔双冗余电源系统,故障自动切换,同时通过内置的声控系统报警6) 四个1000BasdeTX网络端口,一个RJ45控制端口,两个USB接口7) 两个电源状态灯,一个系统状态灯,

45、一个存储状态灯8) 一个重启复位针孔键,一个报警消声针孔键9) 通过CCC国家强制性产品认证3.4.2 TYKY xSwap云交换网关TYKY xGate云数据交换网关设备是工业级、嵌入式设备,是广域资源共享与数据交换网络中的节点设备(亦称为：数据交换前置设备),它提供：数据交换过程实时监控、数据交换网关配置、数据交换定时任务调度、传输安全管理、数据交换定时任务调度、传输安全管理、数据智能恢复、数据断点续传、数据共享服务生成等功能;各业务互联单位均需要部署一台.TYKY xGate数据交换网关设备硬件特征：1)标准19英寸1U机架式设备;2)多核高性能处理器平台;3)高峰值能承载12,000笔

46、数据交换交易/分钟;4)250MB防震存储容器;5)双冗余电源系统,任何一个电源出现故障时,毫不影响网关的正常运行,同时通过内置声控系统报警;6)四个1000 BaseTX网络端口,一个RJ45控制端口,两个USB端口;7)四个电源状态灯,一个系统状态灯,一个存储器状态灯;8)一个重启复位针孔键,一个报警消除针孔键;9)通过CCC国家强制性产品认证.3.4.3 TYKY xBridge异构云桥TYKY xBridge异构数据桥接器是一个强大的、灵活的数据提取、转换、推送的工具软件.它提供智能化的桥接适配器,内嵌JS脚本引擎、转换引擎、流程引擎、调度引擎,使各种信息孤岛的数据通变得简易操作,大大

47、提高异构系统互联的工作效率,避免异构系统与TYKY xGate的接口开发,与异构的互联互通”零编码”实现,即配即用.TYKY Bridge异构数据桥接器提供其强大的图形化和智能接口设计、部署和监管功能,使信息”孤岛”的连接变得简单易操作,大大提高了系统互联的工作效率,减轻了广域数据交换、广域应用联动的工作负担.TYKY Bridge提供图形化配置界面.可以通过拖拽的方式完成桥接规则的配置界面如下图所示：TYKY xBridge异构数据桥接器主要功能如下图所示：1)数据桥接：对用户指定的数据源进行数据桥接,能够支持各种类型的数据源,包括各种类型的数据库(Oracle、MySQL、DB2、H2等等)、Cube数据集市数据源、XML数据源、EXCEL数据源、CSV数据源、LDAP数据源、EMAIL数据源,等等.同时支持五种数据库数据提取模式：数据库日志分析、触发器、标示位、全表比对、时间戳.2)数据转换：提供上百种数据转换的组件供用户选择,用户根据自己的数据转换规则选择相应组件,通过各种不同的数据转换组件的组合可以完成复杂的数据转换需求.主要的数据库数据转换组件有：字段折分组件、字段合并组件、数据过滤组件、多字段计算组件、空处理组件、字段映射组件、数据类型转换组件、脚本转换组件等.可以出色完成如下图所示的数据