智慧检务大数据平台解决方案.docx
《智慧检务大数据平台解决方案.docx》由会员分享,可在线阅读,更多相关《智慧检务大数据平台解决方案.docx(115页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、智慧检务大数据平台梁以松耦合的方式实现服务与服务之间的集成实现服务的地址 透明化和协议透明化。5.3.1.3、面向服务架构SOA的实现前提是可以通过经济高效的方式整合现有的以及新建的应用、流程和服务 无需在应用中添加复杂的编程程序便可验证 或确保信息交换的可靠连接0城0城遗留聚筑其他素婉服务封装匿务封装果务打罢:?安访问朝发现部函转授夔务封装数据资源(Oracle , SOlSeryer, JMS而企业服务总线ESB正是在SOA环境中实现连接的理想解决方案。通过以下多种能力来满足和保证应用及服务的管理需求它能够 提供服务化功能可以透明的将旧有应用系统加入到框架的服务生 命周期管理当中从而最大程
2、度的保证了对旧有系统的兼容性 提供 各类应用及数据的服务注册、发现和寻址功能在服务之间对消息进99行匹配和路由能够在请求方与服务提供方之间转换协议能够在请求方与服务提供方之间转换消息格式还能分配和提取不同来源的业务事件。AESB通过应用、系统和服务之间的中间层来执行上述所有任务 不仅能够确保应用的总体复杂性不会因为连接接口的增加而增加 而且在许多情况下还能帮助企业防止或降低应用的复杂性消除 应用和系统之间所有硬编码链接。ESB是所有应用、服务以及其他IT 资产的信息交互中枢服务交互中的参与者连接至ESB而不是彼 此直接相连。当服务请求者连接至ESB时ESB负责将其请求传递(通 过消息)至能提供
3、所需功能与服务质量的服务提供者。即使协议、交 互模式或服务能力并不匹配ESB仍可以促进请求者与提供者之间的 交互与递送。如果对所有的应用和有效连接都采用这种机制那么应用 只需单一接口便可将ESB连接起来用于开展所有互动。此外 连接 ESB的所有其他资产都能通过这个接口与此应用进行互动而其他资产同样只需一个接口便可实现与ESB的连接。无论处理 要求和复杂性发生怎样的变化 这些接口始终都是ESB环境中最重 要的组件并可在ESB中进行维护以便在周围环境发生变化时确保应 用能够以不变应万变。消除应用之间的连接性可大大降低应用中接口的复杂性从而降100低有关对这些应用进行更改的本钱和风险 让用户能够以更
4、简单、更快速、更平安的方 式来使用它们尤其是能够让用户对更多的应用和功能作为服务加 以访问和重复利用。Apusic ESB提供了适配器可以将包括 WebService JMSJavaBean数据库、文件等多种格式在内的信息源作为接入对象 并 经由适配器体系接入ESB总线之中。在ESB总线中可以进行消息格式 转换和消息路由消除数据源的异构和数据格式的不匹配。通过 Apusic ESB建立了连接底层数据中心和上层业务应用的桥梁 实 现多个应用系统间的实时、平安、可靠信息传输。针对数据存储介质Apusic ESB出厂时提供了默认的数据访问组 件 对数据存储介质中的数据进行访问 包括采集、推送、侦听等
5、。 这些组件会在出厂时被包装成SCA服务组件 可以在Apusic ESB平 台中使用。这些组件包括数据库访问组件 支持主流数据库的主流版本例如 Oracle 9i、Oracle 10g SQL Server 2000 SQL Server 2005DB2 8.X、MySQL 5 等。Excel访问组件 能够对Excel文件的数据进行访问文本访问组件能够对格式化的文本文件数据进行定制化、格式化访问101文件数据库访问组件 支持文件数据库 包括Access和VisualFox Pro作为一个完备的企业服务总线产品AESB具备架构、连接、中介、 编排、设计以及监控六大领域的能力 其功能架构如下图。特
6、别的 是 AESB提供了界面化的设计工具和监控平台以可视化的方式提供全过程的支持。开发测试金蝶ApusiQ业资总:设计B志平安部詈由1+ 卜 I状态、 AESB基本功能Apusic ESB产品的功能包括但不限于下面4大功能点1025.321、 AESB操作功能AESB拥有创立及管理AESB网络驱动实例数据源触发器闪回 CDC(Change Data Capture)消息集 JMS 队歹ll Socket 队 列调度服务注册流程数据集成流程服务集成流程服务实 例资源同步首选项配置服务注册库等等功能。实现AESB的操作功能需要通过AESB-Designer开发管理平台来 实现 AESB-Desig
7、ner 全称为 Apusic Enterprise Service Bus Designer 中文名为“Apusic企业服务总线设计器 AESB-Designer是建立 在Eclipse基础之上的“轻量级” ESB开发管理平台 通过它可以极大地降低AESB的开发与管理难度 提升AESB应用开发效率。5.322、 AESB组件功能pusic ESB产品的组件功能包括但不限于下面27个组件。 连线连线配置流程在经过该连线的时候执行用于判断流程是否 可通过。为了解决流程中业务逻辑的多样性AESB流程在分支节点的输出连线上添加了连线配置可以填写业务逻辑判断条件用于引导流程。103分支、合并组件分支、合
8、并节点是对流程中连线的约束所有输入任务节点只允 许一条输出连线其他节点只允许一条输入和一条输出连线除此之外分支节 点允许有多条输出连线而合并节点允许有多条输入连线。循环循环组件用于处理消息流程中记录集遍历以及按条件执行任 务。组件功能类似于java语言中的for each和while。捕获异常捕获异常组件用于监控并捕获流程抛出的异常。假设捕获到异常后 那么沿着“捕获异常”的输出连线继续执行流程否那么沿着节点的输出 连线继续执行流程。抛出异常抛出异常组件允许在流程中抛出一个运行时异常抛出异常的 流程分支将无法继续执行。抛出异常组件通常用于终止流程的不合法 分支如输入信息不合法。防止流程在错误的分
9、支上继续执行并返 回异常提示信息。映射在此组件中可以往流程中添加新的数据类型并可对数据变量 进行值映射。XML转换SDO是保存信息的数据结构XML是符合xml语法的字符串。104XML需要转换成SDO才能让消息流程直接使用里面的信息 SDO需要转换成XML才能把信 息保存到文件中。JSON转换本组件可以将符合JSON语法的字符串转换成SDO 让消息流程可以使用JSON里面的信息 也可以将SDO转回JSONo文本转换SDO是保存信息的数据结构 文本是流程中的文本消息。文本需要转换成SDO才能让消息流程直接使用里面的信息SDO需要转 换成文本才能把信息保存到文件中。文本转换组件定义了文本转SDO和
10、SDO转文本两种转换方式。表输入组件表输入定义了对数据库表的记录采集。表输入节点通过定义SQL 语句来采集记录在设计期表输入节点的下游节点可以获取该表输入节点所采 集的数据的描述信息而在运行期表输入节点的下游节点那么可以获取 表输入节点所采集的记录实例。增量表组件增量表那么是用在数据的实时同步。采用触发器、闪回、CDC等105方式 将采集数据库表中的增量数据变化 从而到达实时同步数据 的功能。Excel相关Excel读取组件用来读取Excel文件的内容 将读取的内容做为SDO对象 提供给下游节点使用。可定义读取的起始行、起始列、 读取行数、根据关键字替换列值为上一行等。Excel输出组件将读取
11、到的源表数据 输出到指定Excel文件中 去。记录拆分记录拆分组件用于将一个结果集拆分为多个结果集例如对 于一组分数集 将其拆分为大于90、小于90大于60、小于60三组 数据。表输出组件表输出组件将上游集合变量的数据同步操作类型包括插 入、更新、删除 到指定数据源的指定表中 如果上游集合变量数据 中不包含操作类型那么默认为插入操作。数据扩充数据扩充组件用于扩充源变量的字段扩充字段来自关联变 量。TXT输出TXT输出组件 用于将数据库表数据和流程中的集合类型数据106 导出到txt文件中。存储过程调用存储过程调用组件 用于调用数据库中的存储过程。数据相关组件数据输入组件是用于从数据库中读取数据
12、 同时对已读取的数 据进行处理有三种处理方式 “直接删除”、“逻辑删除”、“更新状态表”。数据插入组件是在得到上游节点过来的数据后把符合条件的 数据插入或者更新到指定的数据库中。数据更新组件是在得到上游节点过来的数据后可以先对数据 进行筛选把符合条件的数据更新到指定的数据库表中。数据删除组件是在得到上游节点过来的数据后根据配置的删除 条件对目标表数据进数据查询组件是在限定的模型下 编写Sql查询语句对数据库进 行数据查询。限定模型是指select结果集字段必须在你所导入的数据 “类型”范围内。SQL执行组件可以对一个指定的数据源执行假设干句SQL语句这些语句可以是DDL、DML或DCL。AMQ
13、相关组件AMQ是Apusic公司的MQ产品 实现了 JMS规范。“AMQ消息输入”做为流程的开始节点监听并接收队列或主107 题中的消息 对于依赖JMS的系统内部通信或系统之间通信 该组 件尤为重要。“AMQ消息获取“可以根据“消息筛选规那么”从队列里获取指 定的消息 所以也可用于多个获取组件监听并接收一个队列。“AMQ消息输出”组件可以把消息输出到相应的队列或主题上 去 即 数据的输出方或发布者。“AMQ文件输入”组件监听设定的文件池当有文件传输进来 时 可以选择将文件保存到本地目录、并可将其读取为上下文变量对 象(包含来源路径、源文件名、文件备注等)。“AMQ文件获取”组件根据文件名或文件
14、UUID从指定文件 池中获取匹配的文件。可以选择将文件保存到本地目录 并将文件相 关信息保存为流程变量向后续节点传递。“AMQ文件输出”组件将文件输出到指定的MQ文件池中 利 用文件池传输文件。文件可以是本地文件或自己生成一个新的文件。 相关组件 服务端输入组件建立一个自定义的 服务 允许通过接 收 请求来对流程输入信息并运行流程。组件定义了 访问地 址 消息类型和SSL平安连接选项。 服务端输入组件经常与 输出组件搭配使用。108信息技术的开展,特别是近年来随着电子商务的蓬勃兴起和不断 开展壮大,以物联网、移动互联网、云计算、大数据等为代表的新一 代信息技术加速普及,给当今社会、经济均带来前
15、巨大影响。检察院作为履行国家法律监督职能的重要机关,如何充分把握新 科学技术革命浪潮这一有利时机,以数据资源为核心,以新一代信息 技术为引擎,以包括检察业务决策支持在内的各项数据应用促进提升 检察院法律监督能力和执法公信力,提升检察机关管理效率,提升队 伍能力素质,实现检察工作转型升级与自身转型升级,是服务保障转 型升级,走新型检察开展道路的重要使命。1.1、政策背景最高检“十三五”时期科技强检规划纲要提出,构建“感、 传、知、用、管”五维一体的智慧检务应用体系,到2017年底,电 子检务工程建设完成覆盖全国四级检察机关的司法办案、检察办公、 队伍管理、检务保障、检察决策支持、检务公开和服务等
16、六大平台。日前,最高检印发检察大数据行动指南(20172020年),通过一中心、四体系的建设方案实现从试点到全面推广的4年规划,打 造数据化、科学化、智能化的“智慧检务”。作为坚守社会底线的检 察机关,应对数据化、信息化的机遇,解放司法一线办案人员的生产10 服务端输出组件用于设置响应 请求的内容 响应的 内容可以是自定义内容或者文件。 服务端输出组件需要和 服务端输入组件配合使用。 客户端组件允许发送一个 请求到指定url请求的响应 结果将以文本、二进制或文件变量的形式包装供后续节点使用可 自定义变量名。FTP相关组件FTP文件监控组件是流程的起始组件 必须出 现在流程的起始位置不需要前置条
17、件。可以使用此组件监控FTP服务器上指定文件夹里面新增的文件。FTP上传组件不是流程的初始组件不需要任何前置组件和前 置条件 可以出现在流程的任何非初始位置。可以使用此组件将指定 的文件或文件夹上传到FTP服务器端。FTP下载组件不是流程的初始组件不需要任何前置组件和前 置条件可以出现在流程的任何非初始位置。可以使用此组件将指定的 文件或文件夹从FTP服务器端下载到本地文件系统。JMS相关组件JMS消息输入组件提供接入Apusic MQ服务器或者其他厂商的 MQ服务器的服务 从相应的JMS queue里面获取信息。在设计期 JMS消息输入节点的下游节点可以获取该JMS消息输入节点所采集109
18、的数据的描述信息而在运行期 JMS消息输入节点的下游节点那么 可以获取JMS消息输入节点所采集的消息实例。JMS消息获取组件提供接入ApusicMQ服务或者其他厂商的MQ 服务器的服务 从相应的MS queue获取信息。在设计期 该结点 的下游节点可以获取该节点所采集数据的描述信息而在运行期下 游节点那么可以获取该节点所采集的消息实例数据。JMS消息输出组件提供接入Apusic MQ服务器或者其他厂商的 MQ服务器的服务 可以把消息输出到相应的JMS queue中。Socket相关组件Socket服务端输入组件用于启动一个Socket服务器 可以接收Socket客户端发送的请求 根据配置中的“
19、消息内容”对信息进行相 应的处理。Socket服务端输出组件用于向Socket客户端发送响应消息 根 据配置中的消息类型相应地发送文本信息或二进制信息。Socket客户端组件有两个页面配置 第一个页面为Socket请 求”用于向指定的Socket服务器发送请求第二个页面为 Socket响应”用于接收Socket服务器返回的消息。Email发送Email发送组件不是流程的起始组件不需要前置组件和前置条110件可以出现在流程的任何非起始位置。可以使用此组件连接一个邮件发送服务器 smtp服务器 发送电子邮件。WSDL调用调用组件不是流程的初始组件可以出现在流程的任何非初始 位置。使用前提 要使用此
20、组件 必须先在流程属性中的“WSDL管 理”中导入服务的WSDL地址才能进行相关配置必须要有符合 服务请求类型的输入变量。文件相关组件文件监控组件用于监控指定文件夹 AESB-Runtime所在主机 里面新增和修改的文件每增加或修改一个文件都将会触发运 行一次流程并将新增或修改文件的相关信息缓存到fileMonitorlnf。 变量中供后续组件使用。文件读取组件 用于读取指定文件的内容 并将读取的文件内 容缓存到生成的变量中供后续组件使用。文件输出组件 用于把指定内容输出到指定文件 并将输出的 文件内容缓存到生成的变量中 供后续组件使用。流程调用流程调用组件可以调用指定流程的操作 控制流程的启
21、动或停止并支持事务回滚。1115.323、 AESB增强功能服务路由ESB本身不直接提供服务而是通过将服务提供 者发布的服务注册到SRR上 当服务消费者请求服务时 总线根据 内部维护的路由规那么 将消费请求分发给相应的服务提供者。Apusic ESB通过流程化的方式 有机的组合和串联各个服务和 数据处理组件 以流程化的方式 制定服务路由规那么。ESB本身不直接提供服务而是通过将服务提供者发布的服务 挂载到服务总线上 当服务消费者请求服务时 总线根据内部维护 的路由规那么 将消费请求分发给相应的服务提供者。同时 Apusic ESB通过底层的Apusic消息中间件完成消息的物 理路由 真正做到消
22、息传输的可靠、稳定、平安。MQ应用系统A 应用系统BMQ稳定平安可靠高效网络 日志管理Apusic ESB对发生的服务运行各个环节都记录有详细的数据日 志。基于这些日志数据 可以形成非常丰富的日志分析报表。AESB 提供了相应的接口可以随时根据工程需求定制开发相应的日志分析模块。在出厂的时候 AESB已经提供了最常用的日志分析的功能可以112 根据用户输入的时间条件获取各个前置机上 在这段时间内 以月、 天或者小时为单位发生的数据记录情况。流程维度AESB提供对数据交换流程的全面监控。包括监控正在执行的流程、已经执行完毕的历史流程等。能够监控到流程中的每一个任务节点得到其中发生的数据情 况。例
23、如一个部门中从业务数据库到前置数据库的数据同步流程可 以在流程监控中看到流程的运行情况对每一个节点可以看到节点 执行时发生的数据。对于表增量输入任务节点可以看到本次流程执行时在数据 提取时一共提取了多少张表的分别各多少条数据记录以及记录的数 据详情。对于影射转换任务节点可以看到在本次流程执行时在进行 数据影射转换时输入的记录被影射被转换成其他各式的多少数据 记录以及这些数据记录的数据详情。对于比对清洗任务节点可以看到在本次流程执行时在进行 数据比对清洗的时候输入的记录被比对清洗后产生的数据结果 集以及其总每一条记录的数据详情。对于表输出任务节点可以看到在本次流程执行人数据入库 的时入库记录的数
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智慧 检务大 数据 平台 解决方案
限制150内