（大数据资料）云数据交换与服务调度工程平台技术文档v1.0.pdf

《（大数据资料）云数据交换与服务调度工程平台技术文档v1.0.pdf》由会员分享，可在线阅读，更多相关《（大数据资料）云数据交换与服务调度工程平台技术文档v1.0.pdf（40页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、（大数据资料）云数据交换与服务调度工程平台技术文档v1.03.2主要研主要研发发方向方向基于当前云计算服务模式从孤立式单一云服务模式向聚合式混合云服务模式的提升,云云交互、云与智能终端交互、非云与云应用交互的数据交换与服务调度将面临巨大困难.针对云环境下数据交换和服务调度的资源共享难题,本工程中心着力于面向混合云模式下的云资源数据交换和云服务调度工程技术研究.研究主要分为五个方向分别是：云数据交换工程技术;云服务总线工程技术;云服务生产工程技术;云服务调度工程技术;云服务目录工程技术.3.3主要研主要研发发内容内容3.3.13.3.1云数据交云数据交换换工程技工程技术术3.3.1.1 技技术术

2、概述概述云数据交换工程技术的的研究基于云计算技术、SOAWOA和OSGI架构技术、P2P智能网络技术、多领域虚拟化租户技术等相关技术.研发的云数据交换平台可以实现跨部门、跨单位、多层级、多业务领域的数据交换、服务共享、业务协同.为城市级电子政务和电子电子商务应用实现跨机构、跨系统、跨领域的横向协作、纵向协作提供技术基础.为云端城市各类云技术应用提供资源层面交互提供技术支撑.3.3.1.2 技技术术架构架构云数据交换工程遵循国际和国内相关标准和规范.通过深化技术原理性设计和加强工程化设计,丰富数据交换功能模块并大幅提升数据交换性能,采取软件固化技术、软硬融合一体,全面提升系统安全性和可靠性.云数

3、据交换遵循即配即用(out-of-the-box)的人性化设计原则,无须进行任何编码,且提供简易的可视化异构数据桥接配置工具.提供强大的资源提取、转换、推送、传输等功能.云数据交换平台采用多租户的软件架构技术设计,使云数据交换能够作为云端城市的云应用支撑基础设施,第 1 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0能够实现政府部门工商、税务、财政、执法、监察等多类业务领域的资源数据共享.平台支持在多个租户、多个业务领域进行部署、配置、和监控.各个业务领域实现运行和管理隔离.提供断点续传和故障恢复等多层次的安全保障体系,保证数据交换在各类云到云、非云到云之间交互的安

4、全性和可靠性.云数据交换同时支持公私云(内外网)网络隔离环境下的数据安全交换.采用基于串行硬件驱动器热插拔控制原理,研发了一种基于光盘数据安全传导的内外网光盘传导设备.云数据交换工程主要由四大部分组成分别是：云交换总控、云交换网关(共享交换节点)、内外网数据光盘传导平台,其总体架构如下：1)云数据交换总控,是云数据交换平台中的总控系统,提供统一配置、统一监控、统一跟踪、统一管理等功能,部署在云数据交换管理中心.2)云数据交换网关,是云数据交换工程中的节点(亦称为：共享交换前置节点),可部署在不同领域各业务部门.3)异构云桥,具有数据提取、转换和推送功能,实现各业务系统与云数据交换网关之间的桥接

5、,省去接口开发工作.提供智能化的桥接适配器,内嵌JS脚本引擎、转换引擎、流程引擎、调度引擎,使各种信息孤岛的数据通变得简易操第 2 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0作,大大提高异构系统互联的工作效率,避免异构系统与云交换网关的接口开发,与异构的互联互通”零编码”实现,即配即用.异构云桥提供强大的图形化和智能接口设计、部署和监管功能,使信息”孤岛”的连接变得简单易操作,大大提高了系统互联的工作效率,减轻了广域数据交换、广域应用联动的工作负担.异构云桥提供图形化配置界面.可以通过拖拽的方式完成桥接规则的配置.4)内外网数据光盘传导平台,提供跨网络隔离环境下

6、的内外网数据安全传导功能.以刻录光盘作为数据传输的中转载体,实现数据在物理隔离网络中的交换云数据交换的四大组成部分同时提炼出了云数据交换四大关键产品：云数据交换总控、云交换网关、内外网数据光盘传导设备和异构云桥软件3.3.1.3 主要技主要技术术1)架构技架构技术术OSGi云数据交换工程的平台架构采用OSGi架构技术.实现云数据交换各个组成部分的松耦合模块化设计,模块之间以服务方式实现交互,同时,还需要所有的模块均能根据实际需要支持动态的插拔和修改,系统的模块要遵循对具体实现的零依赖和配置的统一维护,避免服务不可用时造成系统的崩溃,从而保证系统的即插即用,即删即无,最后还需要为和其它应用结合系

7、统需要有良好的可扩展性设计,这正符合OSGi框架的设计思想.OSGi是一个基于Java的服务平台规范,面向Java的动态模型系统,它是为那些需要长时间运行,动态更新并且对运行环境的影响尽可能小的系统制定的.OSGi的设计主旨：一个轻量级的进程内(in-process)服务容器框架,并提供了完整生命周期管理.OSGi服务平台提供在多种网络设备上无需重启的动态改变构造的功能.为了最小化耦合度和促使这些耦合度可管理,OSGi技术提供一种面向服务的架构,它能使这些组件动态地发现对方.OSGi联盟已经开发了为例如象HTTP服务器、配置、日志、安全、用户管理、XML等很多公共功能标准组件接口.这些组件的兼

8、容性第 3 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0插件实现可以从进行了不同优化和使用代价的不同计算机服务提供商得到.而且,服务接口能够基于专有权基础上开发.OSGi的服务平台主要包括两部分：OSGi框架和OSGi标准服务.OSGi定义了服务的主要工作,具体的服务则定义了具体的功能和职责.OSGi 框架提供了平台无关性和动态代码的装入,使得在有限的资源的设备上开放和动态部属应用程序成为可能,它提供了开发应用程序执行的上下文环境,OSGi 框架还可以动态的更新服务而不用停止执行环境.因为OSGi技术为集成提供了预建立和预测试的组件子系统,所以采用OSGi技术将会

9、在改善开发周期时间和降低开发成本上获益,同时,因为这些组件能够动态发布到云数据交换的每个组成设备上,所以OSGi技术也能降低维护成本.2)P2P 智能网智能网络传输络传输技技术术云数据交换采用P2P智能网络技术实现云数据交换节点间数据传输通道的智能路由和数据的分布式传输.同时提供交换节点传输故障转移的功能.P2P(Peer to Peer)可以简单的定义成通过直接交换来共享计算机资源和服务,而对等计算模型应用层形成的网络通常称为对等网络.在P2P网络环境中,成千上万台彼此连接的计算机都处于对等的地位,整个网络一般来说不依赖专用的集中服务器.网络中的每一台计算机既能充当网络服务的请求者,又对其它

10、计算机的请求作出响应,提供资源和服务.通常这些资源和服务包括：信息的共享和交换、计算资源(如CPU的共享)、存储共享(如缓存和磁盘空间的使用)等.3)多多领领域虚域虚拟拟化租化租户户技技术术传统的数据交换平台都是根据不同的业务需求分散建设的,随着业务领域的不断扩展、数据交换的需求的不断增加.一般有两种数据交换平台建设模式,一种是在原有平台上扩展造成交换平台管理越来越复杂.多业务领域间的交互影响,另外一种情况就是重新规划建设数据交换平台,最后在运行数据交换平台越来越多,建设和维护成本越来越高,而且存在严重的重复建设的情况.在云环境下针对多领域数据交换的难题,本项目提出了以PaaS服务模式按需提供

11、虚拟化多领域多租户云数据交换解决方案.第 4 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0一个业务领域对应一个租户,每个租户拥有为一个虚拟化的交换与共享环境、租户与租户之间相互隔离、互不干扰,每个虚拟化交换环境包括前置交换的虚拟化、交换传输通道的虚拟化;交换传输网络虚拟化.交换传输网络虚拟化支持NVGRE标准,集成NvGRE网关控制器,能与微软system center 2012进行无缝集成.云数据交换多领域虚拟化架构如下：云交换总控虚拟化共享交换环境创建器租户配置库资源分配领域领域A虚拟化交换总控创建租户N租户C虚拟化网关虚拟化网关虚拟化网关虚拟化网关租户B租户

12、A虚拟化网关虚拟化网关虚拟化网关虚拟化网关领域A领域BxGate云交换网关cGate云交换网关虚拟化网关环境创建器云交换节云交换中P2P智能传输网络4)基于基于NVGRE标标准虚准虚拟拟网网络络技技术术云数据交换支持NVGRE标准,集成NvGRE网关控制器,能与微软system center 2012等云计算基础平台进行无缝集成.云数据交换基于NVGRE通过租赁网络标识符解决多领域交换租户间多租赁网络问题.一个大型的云数据交换平台可以支持数以百计的业务领域交换租赁用户,每个租赁用户又可以同时运行多个交换业务,他们之间的数据传输都是相互隔离的.NVGRE创建了一个虚拟2层网络NVGRE是一个由R

13、FC 2784定义和RFC 第 5 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.02890扩展的通道协议,该协议提供了一种封装方法,将交换数据包发送到2层或3层网络目的地址.NVGRE提议使用GRE来创建一个独立的虚拟2层网络,限制物理2层网络或扩展超过子网边界.每个TNI都与一个GRE通道相关联.从通道终端发送的数据包会通过IP组播送往与同一个TNI相关的另一个终端.使用多播技术意味着通道可以扩展到3层网络,将一个大型的数据交换广播域划分成多个较小的数据交换域,从而限制广播流量.通过NVGRE标准隔离租赁用户传输数据;NVGRE终端通过在GRE头插入INT指示符的

14、方式分隔各个TNI.TNI指示符是位于RFC 2890规定的关键域中.虽然该关键域定义为32位域,但是TNT会占用24位,其余8位为保留位.NVGRE不使用RFC定义的序列号.封装了数据包的NVGRE终端必须定义数据包发送的目标地址.目前,NVGRE提议草案将这个问题延迟到后续版本,它规定：”控制面板可以使用任意技术进行配置、发现和分配策略信息”.5)串行硬件串行硬件热热插拔控制技插拔控制技术术内、外网或公私云之间严格物理隔离的要求给数据交换工程带来极大的困难.为了交换数据又保证安全,传统采取由人工的方式,在相互隔离的网络系统间使用移动数据存储或介质转移数据,但效率低下,操作也不方便,而且人的

15、行为存在诸多不可控因素.比如有意无意的操作失误以及其它外部影响等,都会导致涉密数据的外泄.而市场上推出的各种能自动传导数据的网闸等设备又皆因采用某些公有或者私有协议,其安全保障仍摆脱不了程序设计影响而难以实现完全的物理隔离.云数据交换工程采用基于串行硬件驱动器热插拔控制方案实现的网络隔离环境下的数据安全传导.该方案设备由多个物理隔离主机、串行设备热插拔控制单元,以及串行存储器构成.该设备采用STAT光盘刻录机作为串行存储器,使用光盘作为搬迁数据存储载体.通过光盘刻录机的热插拔实现数据安全传导,支持物理隔离的一个网络系统向另一个网络系统传导数据.每个主机内置一个数据桥接处理单元,每个主机只与一个

16、网络系统连接,不同的主机连接不同的网络系统;第 6 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0内外网数据安全传导方案架构如下：工作时,当一个网络系统需要向另外一个或多个网络系统传导数据,该网络系统则通过与其连接的主机的数据桥接处理单元将需要传导的数据进行处理且写入所述串行存储器后,通过主机的GPIO输出的高低电平来触发所述串行设备热插拔控制单元来控制所述串行存储器与当前主机在物理电路上断开且连接至另外一个主机,另外一个主机的数据桥接处理单元从串行存储器中读取数据且写入到相连接的网络系统中,写入工作完成后则格式化所述串行存储器并切回连接至起初的主机;内外网光盘传导

17、平台模块结构示意图;数据桥接处理单元第一主机数据桥接处理单元第二主机数据桥接处理单元第N主机串行设备热插拔控制单元串行存储器Z1Z2ZN45第一网络系统第二网络系统第N网络系统串串行行数数据据线线GPIO电平信号线网线GPIO电平信号线串串行行数数据据线线串串行行数数据据线线网线网线串串行行数数据据线线GPIO电平信号线W1W2W3第 7 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.06)基于基于ETL的异构数据的异构数据桥桥接技接技术术云数据交换在异构系统之间进行数据抽取、转换、推送等数据桥接过程中.采用了ETL技术.ETL即数据抽取、转换、装载的过程)作为BI/

18、DW(Business Intelligence)的核心和灵魂,能够按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据转化的过程,是实施数据交换的重要步骤.ETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)的过程.是构建数据交换平台的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据模型,将数据加载到数据交换平台中去进行数据的传输和共享.3.3.1.4 关关键键特性和技特性和技术创术创新新1)云数据交换工程技术研发的数据交换产品都严格遵循即配即用(out-of-the-box)设计原理、无需进

19、行任何编码,提供可视化配置工具、通过便利的拖、拉、拽等方式即可实现各种应用场景下的数据交换配置和部署2)支持多领域多租户资源共享与交换,采用虚拟化云数据交换环境创建技术在多个业务领域内为租户构建虚拟的共享交换环境.3)推出国内第一个采用硬软结合、软件固化、系统软件微核化设计,即插即用云数据交换产品.第 8 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0 4)推出国内第一个基于JXTA P2P智能通信技术,去中心化、端到端数据双向交换产品.5)推出国内第一个基于NVGRE标准,集成NvGRE网关控制器,实现云数据交换在虚拟隔离网络环境安全传输的云数据交换产品6)采用差

20、异化云安全技术为提供云数据交换提供多层次的安全防御体系3.3.23.3.2云服云服务总线务总线技技术术3.3.2.1 技技术术概述概述云服务总线工程技术的研究解决了云资源共享、云服务整合、异构系统之间互联互通、消息格式繁多难以统一等问题.同时开发了一款基于软硬件结合的、适用于私有云、公共云、区域云的云技术中间件产品,它是基于高档的、工业级、嵌入式设备之上的一款服务容器,利用云服务总线可方便、高效地搭建智慧城市的中枢神经系统,可广泛应用于智慧城市、智慧政府、大部制应用整合于资源共享、局域SOAWOA、广域SOAWOA领域.3.3.2.2 技技术术架构架构云服务总线主要要面向SOA以及WOA应用领

21、域.提供快速响应,高吞吐量,高可靠性消息中介引擎、和服务中介引擎.同时云服务总线还支持事件发布与订阅,支持DB2、Oracle、MSSQL、MySQL、H2等主流关系数据库访问,支持将数据库存储过程暴露成服务,提供服务动态发现(WS-Dicovery规范)等.云服务总线提供强大的服务整合和服务综合治理功能.云服务总线的安全策略设计依据当前国家关于信息安全方面的法律、法规和标准,当然也参考并遵从了主流的信息技术安全标准.并使用差异化云云安全国际标准作基本框架,实现安全管理准则的整合.云服务总线支持的web服务标准主要包括：SOAP 1.1、SOAP 1.2、WS-第 9 页 共 40 页（大数据

22、资料）云数据交换与服务调度工程平台技术文档v1.0Addressing、MTOM(Attachments)、WS-Eventing、WS-Transfer、WS-Security、WS-ReliableMessaging、WS-Coordination、WSDL 2.0、WS-Policy、WS-MTOMPolicy、WS-Discovery;JAX-RS.云服务总线支持的主流消息传输协议包括：HTTP/HTTPS、HTTP-NIO/HTTPS-NIO、MAIL、JMS、VFS、TCP/UDP、FIX.云服务总线能处理的消息格式包括：SOAP1.1/SOAP1.2,POX/REST,Text,

23、Binary.云服务总线技术架构如下：配置模块资源接口资源池服务Qos服务中介消息中介事件中介时序主题任务调度命令/任务Mediators（中介器）Message FormattersMessage BuilderTransports（消息传递）负载均衡高可用性集群Endpoints服务安全可靠消息http/sJmsVFSFIXsmtp配置管理监控云服务总线的中介引擎由代理服务、端点、时序组成.由任务调度来启动和管理云服务总线的任务作业.云服务总线同时提供被中介引擎使用的注册和存储库的接口.云服务总线部署在实际的客户端和后端服务实现之间来协调两者之间的消息流.云服务总线提供身份验证、消息转换、

24、日志记录、基于内容的路由等功能,云服务总线支持消息传输失败时引入消息节流和消息缓存机制,当高并发访问时云服务总线支持集群部署和负载均衡.针对故障场景,如身份验证失败,或第 10 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0模式验证失败,云服务总线支持配置自定义消息返回给服务调用客户端.而不需要转发给实际的服务.云服务总线中介引擎运行流程云服务总线主要提供以下技术功能第 11 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.03.3.2.3 主要技主要技术术1)1)服务感知技术服务感知技术云服务总线能为后端真实服务提供虚拟服务代理服务以供前端

25、服务消费者享受服务,同时隐藏了真实服务的具体发布位置;cBus提供服务编排功能,能将几个服务的编排逻辑定制为时序(sequence)以供内部处理.其服务处理机制(服务请求服务调度)如下图所示：其中Message builder负责将服务请求构建为消息模型,Message formatter负责将消息模型转换为真实服务协议能识别的消息格式.2)2)消息中介技术：消息中介技术：云服务总线提供基于Rule的消息路由和Content的消息路由功能以及提供组件对消息进行分割、聚合和格式转换功能.如下图所示：其消息处理机制如下图所示：第 12 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术

26、文档v1.0 3)3)事件中介技术事件中介技术 ：云服务总线提供事件的发布与订阅功能支持基于EDA架构的应用集成特别适合对实时性要求较高的应用.TYKY cBus云服务总线设备提供对事件的感知功能,并通知事件的订阅者完成服务调度.TYKY cBus云服务总线设备还可对事件消息进行格式转换、分割等功能.在ED-SOA架构中的发布/订阅机制如下图：云服务总线设备的强大消息中介功能,使得它不仅支持传统的”服务请求服务调度”模式,同时也能出色地支持也支持”事件感知服务调度”模式.其事件处理机制如下图所示：第 13 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0在云服务总线设

27、备中,事件发布者发布事件(请求)到总线事件源,由事件代理服务流程中的分派事件组件负责通知事件订阅者.云服务总线为事件代理服务与与订阅者之间建立可靠消息传输通道.4)4)任务调度技术：任务调度技术：云服务总线设备采用调度框架执行一些内部comand或外部comand的功能.例如服务总线设备允许将一些繁重的任务作为批处理任务放在特定时段完成.以提高服务器的吞吐量.其任务调度机制如下图所示：第 14 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.05)5)服务治理技术：服务治理技术：云服务总线设备提供服务注册、服务响应缓存、服务访问流量控制、服务会话监控与跟踪等功能.如下图

28、所示：6)6)服务服务QosQos技术：技术：云服务总线设备提供对服务访问的权限控制、可靠消息传输、提供负载衡的后端真实服务访问端点.云服务总线设备支持 WS-Security,WS-ReliableMessaging,WS-Policy等标准Web Service安全规范.并提供服务层与方法层的细粒度控制.提供可靠消息传输与以及支持故障转移的端点访问策略.其Qos保证机制如下图所示：第 15 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0云服务总线设备支持对代理服务实施WS-*标准,支持故障转移服务端点,支持负载均衡服务端点.TYKY cBus云服务总线设备集群机

29、制如下图所示：Tyky cBus总线服务器1FTP JMSFIXService Consumer1Service Consumer2Service Consumer3FTP ServerJMS ServerExternal FIX Broker服服务务消消息息费费者者Service ProvidercBus Management ConsoleTyky cBus总线服务器2Service Consumer n真实服务端点Loadbalacing EndpointLoad BalancerJEE SystemLegacy Systems通过外部负载均衡器及云服务总线设备的集群特性轻易的实现了服务

30、访问的伸缩性,服务的消息费者通过云服务总线设备上的服务,需由总线完成一系列任务(如：用户身份认证、服务访问授权、消息内容校验/过滤等)后,才将消息转换成真实服务可处理的格式.由云服务总线设备提供的Loadbalancing 服务访问点,可轻松实现故障转移.3.3.2.4 关关键键特性和技特性和技术创术创新新1)云服务总线提供下图所示的关键技术特性：第 16 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0Tyky cBus96%提提供供系系统统监监控控、日日志志记记录录以以及及跟跟踪踪功功能能提提供供JMX管管理理功功能能，可可完完成成cBus软软件件产产品品的的关关

31、闭闭与与重重启启支支持持简简单单事事务务基基于于Rule的的消消息息仲仲裁裁支支持持WS-Eventing，支支持持事事件件 源源以以及及事事件件代代理理提提供供非非阻阻塞塞的的HTTP/HTTS传传输输提提供供WEB的的管管理理控控制制台台用用完完成成管管理理，配配置置及及部部署署提提供供内内置置资资源源库库可可使使用用Java、JavaScript、Ruby或或者者其其他他脚脚本本语语言言进进行行扩扩展展和和定定制制工工作作任任务务调调度度功功能能轻轻量量级级，XML与与Web Services为为中中心心的的消消息息模模型型支支持持工工业业标标准准(Hessian，FIX，HL 7协协议

32、议)使使用用DBMediators来来支支持持数数据据库库的的lookup及及store，支支持持重重复复利利用用数数据据库库连连接接池池支支持持消消息息分分割割和和聚聚合合代代理理服服务务2)云服务总线相比同类产品的创新特性：Tyky cBus为为智智能能信信息息操操作作提提供供丰丰富富的的内内置置mediator组组件件为为mediation配配置置元元素素提提供供依依赖赖检检测测和和警警告告配配置置分分页页服服务务管管理理，端端点点管管理理和和序序列列管管理理界界面面通通过过VFS传传输输协协议议支支持持通通用用Internet文文件件系系统统（CIFS）在在UI界界面面提提供供代代理理

33、服服务务的的模模板板支支持持VFSSmooks mediator提提高高消消息息转转换换效效率率支支持持通通过过配配置置来来实实现现组组件件安安装装和和卸卸载载可可通通过过web代代理理服服务务器器获获取取获获取取资资源源，例例如如wsdl轻轻松松创创建建和和管管理理动动态态的的sequence和和endpoint统统计计数数据据的的收收集集和和传传输输状状况况的的监监测测支支持持热热部部署署和和热热更更新新配配置置（sequence，endpoint，proxy）支支持持Web服服务务端端点点的的动动态态发发现现3)支持REST、SOAP两种样式的云共享服务第 17 页 共 40 页（大数据

34、资料）云数据交换与服务调度工程平台技术文档v1.0全面支持非云,云和云端REST、SOAP两种样式的共享服务.REST服务具有：高性能、可寻址性(可通过URL访问)、无状态性、接口通用性、语义可见性五大特性,因此REST服务也称为云服务,它非常适用于云与云、非云与云、云与云端的服务关联互动.4)支持云服务组合,能将多个细粒度云服务组合成粗粒度云服务云服务总线内置强大的规则引擎,并提供基于Web、基于规则流的可视化服务组合功能,能将多个细粒度云服务组合成粗粒度云服务,确保有依赖关系的共享云服务能够流程化自动调度执行.5)提供全面的共享云服务治理、服务质量保证功能服务总线提供服务注册、服务响应缓存

35、、服务访问流量控制、服务会话监控和访问日志等全面服务治理功能;提供服务层与方法层的细粒度访问控制,提供可靠消息传输保障,以及支持故障转移的端点访问策略,确保服务共享的安全性和可靠性.6)支持多业务领域的配置和部署云服务总线支持在多个业务领域进行配置、部署和监控.3.3.33.3.3云服云服务务生成技生成技术术3.3.3.1 技技术术概述概述云服务生成工程技术的研究主要实现将格式化以后的非云、云和云端共享资源进行自动webservice服务化生成.生成的服务支持SOAP和REST两种服务样式.云服务生成技术能为用户提供智能化的服务生成工具.云服务生成工具能够帮助用户快速实现非云资源资源SOA化、

36、云化,快速实现业务服务的云共享.3.3.3.2 技技术术架构架构云服务生成工具基于SOA/WOA架构思想设计,提供用于发布生成并运行基础源Sercice服务的中间件产品.它既是服务生成工具,也是服务容器.作为服务生成工具,云服务生成工具能根据用户业务的不同,灵活、快速地生成和发布标准遵循JAX-WS和JAX-RS等规范的REST和SOAP服务,真正意义意义上的零编码开发工具.作为服务容器,云服务生成工具能稳定和高效地运行Sercice服务,提供高并发访问和请求.云服务生成工具技术架构图如下：第 18 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0JARWARDBSt

37、AX Reader InterfaceXml SourceAxis2 Web Services 引擎ObjectModelAxiom BuilderIntefaceAxiom-userIntefaceAxiom对象模型Web Service 服务发布WEB服务安全模块WEB服务可靠消息WEB服务寻址WEB服务事件模块运行支撑环境（JavaEE应用服务器）Soap服务Rest服务资源加载资源对象化、服务定义服务发布云云服服务务生生成成流流程程云服务生成流程主要经过四个阶段分别是：资源加载资源对象化服务定义服务发布.云服务生成工具同时为生成的服务提供安全模块、可靠消息模块、服务事件模块和服务云端寻

38、址模块.云服务生成主要采用了AXIOM对象模型和DSDL文档规范来定义资源的属性和操作方法.3.3.3.3 主要技主要技术术资资源服源服务务化技化技术术AXIOM 和和DSDL在资源服务化过程中使用AXIOM对象模型将资源变成一个个对象模型然后通过DSDL文档模式定义语言暴露到网络中.AXIOM对象模型(AXis Object Model,AXIOM)是 XML 对象模型,其目标是提供强大的特性组合彻底改变 XML 处理技术.AXIOM 超越了现有的 XML 处理技术,它把延迟构建和一种快速、轻型的可定制对象模型结合了起来.AXIOM 还不是另一种对象模型.它有着明确的设计目标：SOAP 协议

39、栈的性能.结果造就了不同于其他对象模型的 AXIOM(也称为 第 19 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0OM),因为它突出了构造的轻型,并且 仅当需要的时候才建立.由于是轻型的,它尽可能地减轻对系统资源的压力,特别是 CPU 和内存.同时,延迟构造又允许在其他部分还没有完成的时候使用树的一部分.AXIOM 强大的延迟构建能力源于底层的 Streaming API for XML(StAX)解析器.AXIOM 提供了所有这些特性,同时幕后的复杂性对用户是透明的.使用 XMLBench Document Model Benchmark 测试的结果表明,AX

40、IOM 的性能和现有的高性能对象模型相当.但是 AXIOM 的内存占用要好于现有多数依靠 SAX 和/或 DOM 输入输出的对象模型.因此对于 Web 服务引擎或内存受限制设备这样的 XML 处理器,AXIOM 是一种理想的选择,它可用于一般的 XML 处理,但是有一个对 SOAP 优化了的可选层.DSDL是一组有关 XML 验证和基本文档组成的规范.DSDL 所体现的理念是使用多种方法进行 XML 验证和核心处理,并且多种方法之间能够互相补充.这并不是指创建一个具有所有这种功能的庞大系统,相反,DSDL 创建了一种集合了各种标准的框架,可以单独使用这些标准,也可以结合使用于进行 XML 验证

41、.这种方法避免了每个规范自身的复杂性,同时又提供了处理复杂问题的能力.3.3.3.4 关关键键特性和技特性和技术创术创新点新点1)提供强大的共享资源云服务化工具利用云服务生成技术可以将格式化以后的非云、云和云端共享资源的服务化,自动生成SOAP、REST两种样式的服务,支持多数据源,确保资源共享达到高安全的服务共享级别,不是原始的数据库共享级别2)提供支持REST服务的服务生成工具REST服务具有;高性能、可寻址性(可通过URL访问)、无状态性、接口通用第 20 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0性、语义可见性五大特性,因此REST服务也称为云服务,它非

42、常适用于云与云、非云与云、云与云端的服务关联互动.3.3.43.3.4云服云服务调务调度技度技术术3.3.4.1 技技术术概述概述云服务调度工程技术研究重点是云资源分配及服务调度.云资源分配与服务调度是云计算的核心功能,云计算存在资源总量丰富与资源利用率低的突出矛盾,如何提高云资源的分配效率是云计算中的关键技术问题.云服务具有不确定性和动态性,云服务调度是 制约云计算发展的关键技术问题.3.3.4.2 技技术术架构架构云服务调度是资源从服务化到服务共享调用的的一系列流程.云服务生成工具将共享资源生成REST或者SOAP服务;云服务总线将共享服务全部代理到”数据交换与云服务调度中心”,形成一个广

43、域的SOA服务调度中心,经过授权的各种业务应用包括云端SaaS应用均可透明的请求云服务总线上的REST服务或者SOAP服务,由云服务总线再去统一调度相应的真实服务,以达到云与云、云与非云、云与端应用关联、实时互动.云服务调度的总体架构如下：第 21 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0云服务调度支持”服务请求服务调度”和”事件感知服务调度”两种服务调度模式,云服务调度过程中采用了云云资资源在源在线动态线动态分配算分配算法法,有效提高了云有效提高了云资资源的分配效率源的分配效率;采用采用阶阶段性云服段性云服务调务调度算法度算法,有效提高了云服有效提高了云服务

44、务的的调调度效率度效率.3.3.4.3 主要技主要技术术1)在在线动态资线动态资源分配算法源分配算法云服务调度在资源分配策略上,采用了在线动态资源分配算法,提高了云系统的并行处理性能,特别在资源竞争非常激烈的情况下,与传统FCFS算法相比,处理用户请求的平均响应时间缩短20%-50%;在紧耦合的情况下平均响应时间缩短了20%-70%.2)基于着色基于着色Petri网的网的阶阶段性服段性服务调务调度算法度算法云服务调度在服务调度策略上,采用了基于着色Petri网的阶段性服务调度算法 提高了系统的可靠性和性能.与静态调度方法相比,服务平均响应时间缩短20%-30%,超时任务数量减少60%-80%,

45、超时总量锐减70%-90%;与动态调度方法相比,服务平均响应时间缩短10%-第 22 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.020%,超时任务数量减少30%-70%,超时总量减少20%-50%该方法在静态全局优化和动态局部优化两方面都取得令人满意的效果,保证了云服务的高效性、灵活性、可靠性 3.3.4.4 关关键键特性和技特性和技术创术创新点新点1)云服务调度支持”服务请求服务调度”和”事件感知服务调度”两种服务调度模式支持.2)云服务调度过程中采用了云资源在线动态分配算法,有效提高了云资源的分配效率.3)云服务调度在服务调度策略上,采用了基于着色Petri网

46、的阶段性服务调度算法.有效提高了云服务的调度效率.3.3.53.3.5云服云服务务目目录录技技术术3.3.5.1 技技术术概述概述云资源目录工程技术的研究主要是开发一款软硬融合一体的云资源目录及云服务治理产品、严格遵循GB/T 21063-2007 政务信息资源目录体系标准的基础上扩展了云资源共享所必备的云服务治理功能.它具有资源类化编目、目录版本管理、服务消费认证,同时它向用户提供检索服务、订阅服务、使用评价等功能.3.3.5.2 技技术术架构架构根据GB/T 21063-2007 第 23 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.0政务信息资源目录体系标准,

47、结合SOA、WOA架构规范,以及上述的架构蓝图,云资源目录产品的整体建设框架设计如下：1)利用异构数据桥接器,将同级政府机构各种原始的、杂乱的、异构的数据进行抽取、转换,并同步到共享资源库中,实现共享资源的格式化.2)各政府机构共享资源、政务信息资源中心的共享信息资源,可通过云服务生成器或数据交换网关中内置的云服务生成功能,将共享资源生成REST服务,实现共享资源的服务化.3)将各政府机构的共享资源服务、政务信息资源中心的共享资源服务全部挂接到政务信息资源中心的云服务总线上,构建省级政务信息资源共享服务中心;同时,还可为共享资源比对,确保政务信息资源中心的信息资源的永远是最新的,提供了技术支撑

48、.4)云资源目录支持WS-Discovery服务发现规范,可以动态搜索云服务总线上的共享资源,并根据根据GB/T 21063-2007 政务信息资源目录体系的资源标识符编码规则和资源分类规则,对共享资源的编目处理,以形成政务信息资源目录体系.第 24 页 共 40 页（大数据资料）云数据交换与服务调度工程平台技术文档v1.03.3.5.3 主要技主要技术术服服务务感知技感知技术术WS-Discovery服务发现是服务感知技术主要实现手段.采用WS-Discovery服务发现规范来实现服务动态感知,WS-Discovery同时支持adhoc和managed两种服务发现模式.我们知道在面向服务系统

49、里,有时候,服务的地址是动态生成的,并且可能一直在变化.例如,有时不同的服务设备会频繁地接入或者离开整个系统.为了适应这种变化,客户端必须具备可以动态查找服务的能力,也就是服务发现：WS-Discovery.WS-Discovery是一个基于SOAP协议的动态服务发现OASIS标准,它可以在运行时发现服务终结点.客户端可以根据一定的条件来探测特定的服务目标,最后根据特定的匹配条件返回最佳的服务终结点地址.服务发现技术的四点内容：1Ad hoc Service Discovery.(2)设定查找范围(Scope).(3)服务公告Service Announcement.(4)托管服务(Manag

50、ed Service)Discovery.3.3.5.4 关关键键特性和技特性和技术创术创新点新点1)支持服务感知,支持资源动态发现、资源自动编目 云资源目录均支持WS-Discovery服务发现规范,同时支持ad hoc和managed两种服务发现模式,能够自主发现部署在云服务生成器生成的服务.云资源目录能动态搜索云服务总线上的共享服务,并自动生成可编辑的目录供使用者进一步完善目录.2)全面支持共享资源的依赖关系管理和生命周期管理云资源目录平台全面支持共享资源的依赖关系管理和共享资源的批量化的生命周期管理,能有效保障共享资源的有效性,避免共享资源最终变成离弃的垃圾资源.3)不但支持资源目录检