75页智慧司法大数据平台建设方案.docx
《75页智慧司法大数据平台建设方案.docx》由会员分享,可在线阅读,更多相关《75页智慧司法大数据平台建设方案.docx(70页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、司法行政工作管建平台移讫平台WC行业“都值乏於充运行维护保障体系标准规范保障体系信息安全保障体系业务应用S水加精W崔戈 力芟理 事台q法行政大噌场将台( 电孑成界外网 I ggR于3府中心灾务523NE )邨(箝;付会| /* Ri安之会. 雪如|司安行政大及据中心司去部留磐司去fBW化tt承升虫 务速克片智慧司法大数据平台建设方案智慧司法大数据平台建设方案各业务处室与省司法厅下属单位的数据交换共享;共享服务 库由基础库、主题库构成,其中基础库包括共享按部级要求进行 共享的行业基础信息;主题库将根据江苏省司法行政行业决策的 需求,结合司法行政基础数据库以及业务库,逐步构建完整的主 题库。(5)
2、开放服务库提供开放数据库及相应数据资源建设,以政府信息资源开放 目录规定数据为基础建立的江苏省司法政务信息资源目录, 并结合行业外单位需要的数据,用于支撑行业外单位及社会公众 及社会机构的数据开放。(6)运行管理库提供运行管理库及相应数据资源建设,实现对实体库数据资 源标识和属性的管理,提供目录管理库、元数据库等功能。2. 2建设功能架构江苏省司法行政大数据资源管理平台(江苏省司法行政数据 资源交换共享与开放应用平台)业务主要包括:大数据资源管理 门户、数据综合采集、数据综合治理、数据共享服务、数据应用 能力支撑、数据安全管理。智慧司法大数据平台建设方案2. 3数据流架构江苏省司法行政大数据资
3、源管理平台(江苏省司法行政数据 资源交换共享与开放应用平台)数据资源库的数据流结构如下图 所示:(1)数据汇聚:要求行业内外数据资源统一汇聚至省厅数 据原始库,包括从行业内各业务系统抽取原始重点价值数据到数智慧司法大数据平台建设方案据原始库和通过数据共享平台共享接入的司法部、省政府及 其他职能部门的行业外价值数据。(2)数据组织:要求基于原始库汇集的行业内外数据资源, 通过基础数据库、共享服务库、开放服务库、运行管理库的建设, 对数据进行分类并对数据质量治理,有效提升数据价值及保障数 据资源目录的持续补充、更新。(3)数据服务:要求通过数据共享门户,对行业内各业务 系统提供行业数据服务,对行业
4、外各政府单位提供价值数据共享, 对社会机构、企业、公众提供数据开放服务。(4)反馈循环:要求通过对行业的数据服务和行业外价值 数据共享,丰富各数据使用对象原有业务系统数据种类并提升业 务效率。同时,对其新产生的价值业务数据进行再一次汇聚整合, 形成一个良性循环。2. 4数据存储架构江苏省司法行政大数据资源管理平台(江苏省司法行政数据 资源交换共享与开放应用平台)数据资源体系设计数据库存储架 构如下图所示:智慧司法大数据平台建设方案基础元素库(逻辑库)基础元素库(逻辑库)共享服务库(逻辑库)开放服务库(逻辑库)逻辑生成生产业务库(物理库)数据原始库(物理库)坦仃(物(1)要求数据存储架构包括物理
5、库所在的物理储存层。这 一部分是需要消费磁盘存储空间进行物理数据存储的部分。具体 包括省司法厅原有建设、即将建设的生产业务库、本期项目建设 的数据原始库及运行管理库。后期根据业务需求,考虑预留各类 物理专题库和物理主题库的空间。(2)要求在物理库之上逻辑生成基础数据库、共享服务库、 开放服务库三个逻辑数据库。逻辑数据库在数据原始库基础上生 成,通过运行管理库进行元数据标识,不占用磁盘存储空间。司法厅整个数据存储架构如下:智慧司法大数据平台建设方案DWS-数据集市.主题层ODS-操作数据层2. 5共享交换体系架构江苏省司法行政大数据资源管理平台(江苏省司法行政数据 资源交换共享与开放应用平台)是
6、江苏省大数据管理中心的重要 组成部分,要求实现与省政府政务数据共享交换平台、司法部司 法行政数据资源平台与司法共享服务平台、省级行业外业务部门 共享交换平台等系统的对接与交互。江苏省司法行政大数据资源 管理平台(江苏省司法行政数据资源交换共享与开放应用平台) 数据资源库的数据共享体系的总体布局如下图:智慧司法大数据平台建设方案司法数据资源平台和司法共享眼务:司法数据资源平台和司法共享眼务:市司法局吟。口I法部苏省政府省政府政务数据共享交换平台)共享与交换通过电子政务 外网进行数据 连通过电子政务 外网进微据,通过电子政务 外网进行数据新 共:法数据资源共享平台%级政法业务部I公安法院检察院省级
7、政法数据共享应用服务年wJ共学后理开放官理V,鲁级政法外业务部事I目录与数据言应1 I交换管理I民政厅数据质量管理1 1数据共享门户一人社厅通过政法肖级业务部门共享交换平台江苏省司法数据资源交换共享与开放应用平台专网进行通过电子政 纳卜网邺亍 数威!?(已有的数 据共享与交忙防zT ,一12S48信 息中心3.功能方案3. 1数据资源及数据库建设 3. 1. 1概述数据资源及数据库的建设主要为建设业务库、数据原始库、运行管理库、基础数据库、共享服务库、开放服务库等。业务库 负责依据数据原始库提取各业务系统的业务数据库,供本业务系 统使用。数据原始库负责实现对江苏省司法厅行政数据资源体系 在数据
8、接入层面进行统一规划、接入、通道管理及原始数据存储。 运行管理库负责实现对实体库数据资源标识和属性的管理。基础 数据库负责针对司法行政行业中各业务系统使用频率最高、应用 范围最广、最核心的数据类别,经比选确定的核心基础数据。共 享服务库负责支撑部省司法厅各业务处室与省司法厅下属单位 的数据交换共享。开放服务库负责支撑行业外单位及社会公众及智慧司法大数据平台建设方案社会机构的数据开放。3. 1.2数据库建设方案数据仓库的建设是一个系统工程,是一个不断建立、发展、 完善的过程,通常需要较长的时间。需要对整个系统的建设提出 一个全面、清晰的远景规划及技术实施蓝图,并在已有的基础上, 结合其他业务系统
9、,逐步构建起完整、健壮的数据仓库系统。基 于上述司法行政大数据资源管理平台数据仓库体系架构要求满 足如下需求:ODS (操作数据存储)层:用于同步源系统数据,不对源系统 数据做处理,可用于对源系统事务级的数据分析及追溯。暂存层:用于获取源系统被更新数据信息,定义规范数据接 口,仅存储发生变化数据记录信息。DW层:将数据模型化,一般以星型和雪花型设计数据结构, 形成共享维度和层次关系。DM集市层:根据明确业务场景及需求设计,一般以CUBE方 式进行存储,数据大多经过逻辑运算。在省司法厅数据仓库中,存储整合、转换后的数据,通过数 据分层管理、数据仓库建模以及多维分析数据库技术的应用,使 得每一类数
10、据可以快速提供不同层面的分析应用,形成全面统一 的数据视图。3. 2数据资源管理平台建设数据资源管理平台建设要求包含:司法行政法大数据资源管智慧司法大数据平台建设方案理门户、数据综合采集子系统、数据综合治理子系统、数据 共享服务子系统、数据能力应用支撑子系统、数据安全管理子系 统。3. 2.1大数据资源管理门户3. 2. 1. 1功能概述司法行政大数据资源管理门户,作为数据能力提供和展示的 窗口,将数据综合采集子系统、数据综合治理子系统、数据共享 服务子系统、数据应用能力支撑子系统和数据安全管理子系统有 机的结合起来,提供界面化的能力支撑,实现总体运行可视化、 数据汇聚可视化、数据共享服务可视
11、化、数据质量可视化、数据 应用可视化等。3. 2. 1.2功能设计1、总体运行可视化要求满足,总体运行可视化基于宏观指标层面,全面展示数 据中心总体运行情况。2、数据汇聚可视化要求满足,数据汇聚可视化设计展示内容包括整个数据中心 在数据汇聚层面的关键指标。3、共享服务可视化要求满足,共享服务可视化设计主要展示内容的指标包括对 数据共享的总记录情况。4、数据质量可视化智慧司法大数据平台建设方案要求满足,数据质量可视化对数据中心的质量运行情况,提智慧司法大数据平台建设方案取关键指标进行展现。5、数据应用可视化要求满足,数据应用可视化基于各数据应用部门或指定应用 系统或业务的数据应用情况概览。3.
12、2. 2数据综合采集子系统3. 2. 2. 1功能概述要求满足,基于分布式架构的数据综合采集子系统提供数据 抽取、集中、加载、转换、传输及共享等功能,可为不同系统间 信息数据交换、信息数据共享以及信息数据业务协同等任务提供 基础。支持多源异构数据采集与管理,多种加密、解密算法配置 等功能,从而可以保障数据在传输中的安全以及数据在存储过程 中的安全。3. 2. 2. 2功能设计3. 2. 2. 2. 1数据接入能力及范围要求满足,传统数据库(结构化数据)类、半结构化数据(文 本)类、大数据平台类数据的接入能力。3. 2. 2. 2. 2数据接入模式要求满足,全量数据接入和增量数据接入模式。1.全
13、量数据接入全量抽取类似于数据迁移或数据复制。是指将源系统表或视 图中的业务数据一次性全量获取到并导入数据仓库的接口数据 层,全量抽取比较简单。智慧司法大数据平台建设方案目录1 .项目概述3项目背景3(一) 项目目标32. 总体框架4逻辑架构4(一) 功能架构53. 建设任务54. 建设内容6司法行政大数据资源管理平台6(一) AI支撑服务平台380A办公档案管理系统48(二) 办公支撑服务平台54服务总线58(三) 运维管理平台60规范与管理体系67智慧司法大数据平台建设方案.增量数据接入要求满足时间戳模式和标志位获取模式。2 . 2. 2. 2. 3 数据 ETL1、数据抽取数据综合采集子系
14、统要求满足可采集具备不同数据源中符 合指定规则的数据,并可实现数据的统一采集。要求满足抽取后 的数据存储支持落地与不落地二大类进行,抽取后的数据可以为 数据清洗环节提供输入,也可以直接进行处理或者加载。要求满足,手工和自动两种抽取方式、多种抽取模式与策略 定义、灵活的数据源定义管理能力、异构数据源进行数据采集、 多种数据库连接方式、基于日志的增量数据捕获能力(OGG)、丰 富的数据采集作业执行状态监控管理能力等。2、数据清洗要求满足,数据综合采集子系统可以对偏差以及“脏”数据 进行清洗、对数据粒度的转换以及依据一些业务统计量计算统计 值。3、数据转换要求满足,在数据流转过程中为了提升数据可靠性
15、,需要对 数据进行转换、过滤、清洗等数据处理操作。数据处理能力实现 了数据检查、数据标准化处理、汇总、装载、库内处理等功能。数据综合采集子系统对接单个或者多个数据结构相同的接 口文件进行转换,在数据不落地的情况下,可以直接从管道中读智慧司法大数据平台建设方案取接口文件的数据内容进行转换。要求满足,数据清洗装换、 数据映射转换、数据加密转换;4、数据分发要求满足,数据综合采集子系统支持多种异构数据分发方式, 包括内存不落地异构数据分发和文件落地异构数据分发方式及 第三方开源工具。5、数据加载要求满足,数据综合采集子系统参照业界技术规范标准,结 合不同行业应用诉求特点对数据装载功能模块进行了个性化
16、能 力扩展,内置了全量装载、增量装载、增量更新装载、月初全量 其他增量加载、双加载等多种装载方案,能够满足在海量数据规 模的情况下通过远程分布式多节点并行对数据装载能力的诉求。要求满足,支持对多类型数据目标的加载、支持数据批量加 载、支持多种加载模式与策略定义、支持文件落地和不落地两种 存储加载、支持自动和手工两种加载方式、支持多任务并行加载、 支持加载对象的参数配置、过滤、支持脚本加载事务处理、支持 数据加载对目标表的操作等。数据加载功能具备双加载功能,指支持在一个作业中像多个 目标加载数据。要求满足,主要加载方式采用文件落地加载和采 用内存不落地加载。3. 2. 2. 2. 4数据资产目录
17、要求满足,数据资产目录是数据资产总体情况的展示窗口,智慧司法大数据平台建设方案支持主题维度,业务维度,部门维度等多维分类检索,为不 同角色用户开放不同元数据视图权限,为不同的角色提供不同的 功能。3. 2. 2. 2. 5任务调度要求满足,任务调度平台具备外部服务接入、调度优化、调 度管理、调度监控等优势,调度管理模块采用灵活的cron表达 式,满足95%以上的定时任务需求,支持年、月、日、时、分的 周期调度,同时调度支持事件触发、外部触发等触发策略,支持 顺序启动、唯一启动、多重启动、周期内顺序启动等多种运行类 型。要求满足调度系统server调度系统agent、心跳检测机制。3. 2. 2
18、. 2. 6 统一监控数据综合采集子系统提供web的监控功能,多个数据接入服 务器可以在web监控界面查看。要求满足,总体监控、主机监控、数据库监控、任务监控告 警、接入点流量监控、日志监控。3. 2. 2. 2. 6. 1总体监控要求满足,监控页面提供数据库系统、资源概况、数据概况、 热门服务、热门订阅、数据接入点流向图等。提供图形化服务的 添加和监控,当服务出现异常时可以通过前台进行对服务的启动、 停止等操作。3. 2. 2.2. 6. 2主机监控智慧司法大数据平台建设方案要求满足,实时采集主机的运行参数,包括存储空间、CPU、智慧司法大数据平台建设方案内存等信息,对于使用率超过阈值的将通
19、过告警通知平台告 警。3. 2. 2. 2. 6. 3数据库监控要求满足,可支持对数据库的运行状态进行实时监控,运维 人员通过图形化界面准确掌握数据量的存储空间信息、已用空间 信息、使用率、运行状态等信息。3. 2. 2. 2. 6. 4任务监控告警要求满足,任务监控可以满足在任务运行周期中,各个批次 任务运行状态,成功率、失败率、运行总数等内容的监控,异常 失败任务可通过对接短信平台或邮件平台进行及时的任务告警, 也可对失败任务进行定点重做,保证数据的完整性。3. 2. 2.2.6. 5接入点流量监控要求满足,提供统一监控服务,包括对文件、库表、接口服 务等数据交换流量的统计,对各类数据各业
20、务部门之间的流入流 出量进行准确统计监控,对数据的接入方向提供动态图标指向。 可以查看各业务库、任意时间段内的数据流量状况。3. 2. 2. 2. 6. 6日志监控要求满足,提供多种类型的应用程序日志和安全日志。其中 应用程序日志主要包括:记录对数据库访问操作、服务器运行状 态、应用软件操作等;安全日志主要包括:记录有效或无效登录 尝试等事件,以及关键资源相关的事件等。3. 2. 3数据综合治理子系统智慧司法大数据平台建设方案3.2.3. 1功能概述智慧司法大数据平台建设方案数据治理的英文是Data Governance,DAMA数据管理知识 体系指南中的定义:数据治理是对数据资产管理行使权力
21、和控 制的活动集合(规划、监控和执行)。数据治理并不是一个新生 事物,可以说,有数据的地方就存在数据治理,只不过随着数据 应用的迅猛发展将它提到了一个高度,作为一个独立的研究领域。 数据治理并没有标准的、严格的定义。概况地讲,所有为提高数 据质量而展开的业务、技术和管理活动都属于数据治理范畴。构 建数据治理体系是数据治理工作的基础,为了有序实施数据治理, 应采用规划先行的原则,制定适合司法行政业务特点的管理流程, 选择可行的技术方案和实施工具,明确数据治理的工作机制和工 作内容,稳步推进数据治理各项工作。3. 2. 3. 2功能设计3. 2. 3.2. 1数据架构统一管理要求满足,数据综合治理
22、子系统的权限管理包括角色、用户、 团队、和资源授权管理。3.2. 3. 2.2审批流程统一管理要求满足,针对数据标准发布、物理模型发布、逻辑模型发 布提供统一的审批流程管理。3. 2. 3. 2. 3数据源统一管理要求满足,数据综合治理子系统支持多种数据源的连接,包 括主流的关系型数据库、Excel/CSV文本数据源,基于大数据平 台数据源以及其它的JDBC数据源。智慧司法大数据平台建设方案3. 2. 3. 2. 4数据标准统一管理要求满足,根据司法行政业务属性,建立起一套统一的标准 化体系确保数据协调一致,管理一致,使用一致。解决源系统不 规范的命名方式,而出现的同名不同义,同义不同名的问题
23、。要求满足,系统通过以下几个方面着手建立起一套数据标准 体系:数据分类的标准规范数据字典的标准规范数据模型的标准规范维度代码的标准规范数据项的标准规范3. 2. 3. 2. 5元数据管理要求满足,提供多种异构数据源的元数据的采集和维护管理, 基于规范有效地实现了元数据的依赖关系,变更控制,版本控制 等核心的能力,通过元数据的血缘分析,影响分析帮助数据生产 单位有效的维护和管理数据,帮助用户了解数据,为数据的处理 和使用提供有效的信息。要求满足元数据管理范围、元数据维护、元数据采集、元数 据版本管理、数据看板等功能。3. 2. 3. 2. 5. 1元数据管理范围要求满足,元数据管理提供了丰富的管
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 75 智慧 司法 数据 平台 建设 方案
限制150内