校园数据共享平台建设方案.docx

《校园数据共享平台建设方案.docx》由会员分享，可在线阅读，更多相关《校园数据共享平台建设方案.docx（24页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、校园数据共享平台建设方案序号模块二级模块技术要求50支持逻辑主键的配置51支持技术元数据业务属性与溯源业务属性进行 比对，并可同步溯源的业务属性到元数据，溯 源信息包括部门和业务系统52支持新增，编辑和管理元数据自动采集任务53支持通过元数据数据地图查看业务系统与数据 湖、数据仓库之间的数据共享交换情况以及数 据仓库通过数据清单方式开放数据给业务系统 的情况，通过数据地图可以查看当前高校数据 的整体交换情况，包括业务部门、业务系统、 厂商，数据清单，ETL接口个数等信息54支持查看对元数据中心模块的运行情况进行监 测，统计元数据总数、采集任务失败数、元数 据结构变更数55数据工程看板支持以数字

2、化看板的方式实时展现项目工程进 度，内容包括集成业务系统基本信息、数据湖 建设情况、数据仓库建仓情况和数据集市建设 信息10序号模块二级模块技术要求56业务系统的基本信息，包括：业务部门数、业 务系统数、厂商数量、数据表数量、包含数据 项、数据总量、数据总体积、表注释率、字段 注释率57支持查看数据中台中数据湖的数据治理成果信 息，包括：业务部门数、业务系统数、厂商数 量、数据表数量等。58支持查看数据中台中数据仓库的数据治理成果 信息，包括：标准模型数、业务部门数、业务 系统数、数据表数量等。59数据集市的数据治理成功信息，主要展示数据 集市与业务系统的供给关系，包括：供给部 门、业务系统、

3、用户、厂商数量和数据开放方 式数量统计。60支持指标的历史数据查看以及导出功能61数据质量管理数据质量检测支持新增/编辑/删除检测规则，支持完整性、 准确性、及时性、唯一性、一致性的质量检测 规则11序号模块二级模块技术要求62平台支持导入、导出质量检测规则63支持普通模式和自定义模式，普通模式可按界 面操作新增空值检核、数据量检核、及时性检 核、值域检核（码值、值域范围）、规则检核（正 则检核），自定义模式可写自定义SQL,不限制 检核类别，支持复杂的业务数据关联检核64支持一键同步代码规则，可以对绑定了代码表 的字段一键生成值域类型的检核规则，并绑定 对应数据表字段，同步代码表当规则导入失

4、败 时，详情信息可展示错误条数和错误原因65支持按数据源、数据表为字段绑定质量检测规则66支持绑定的规则一键检测功能，单张表下所有字段绑定的规则同时进行数据检核67支持检核后的问题示例数据预览和问题详细数据下载68支持按对象、按规则两种质量检测方式69支持为字段配置检测任务，定时对字段进行质12序号模块二级模块技术要求量检测70支持快速自定义检测功能，通过自定义SQL快速对数据表中的数据进行质量检测71数据质量报告支持按部门、业务系统、自定义配置数据报告，可自定义设置报告的生成日期72支持质量情况统计，包括今日质量检测情况、 近7天质量指标分布情况、部门数据质量排 名、数仓检测详情、异常率排名

5、、正常数据量 和异常数据量的变化趋势、73数据质量检测报告导出支持PDF和Iltml格式文件74数据质量报告支持包括全局问题汇总概览和问题详细数据75支持玫瑰图展示质量维度，质量规则和绑定字段的数量76支持按部门、业务系统、自定义配置展示质量报告的质量评分和详细信息77支持查看己生成报告的历史检测情况13二、数据治理服务序号服务内容二级服务项技术要求1业务 数据 治理 服务业务系统数据集成利用统一数据集成模块相关功能将原始的多 源、异构数据集中存储在一个数据库中（含 下述业务系统主管部门的离线电子表格）， 实现数据的统一集中，并添加数据表和字段 的注释，避免我校后续处理时跨库、含义不 清带来的

6、技术困难。本次业务系统范围包 括：人事系统、教务系统、科研系统、学工 系统、网络教学平台、0A、资产系统、疫情 防控、财务系统、图书管理系统、海康安防 综合系统，绩效考核、智慧课堂、一卡通、 微应用教师发展平台、阳光校务、请假系 统、新教师入职、报表系统共计15个业务 系统。2数据清洗与标准化根据数据数据标准的存储要求，对数据利用 相关技术的数据清洗规则，转化成满足数据 标准要求的数据。3将清洗治理后的高质量、多维度数据按照校 标的分类和规范组织，生成全域数据仓库。14序号服务内容二级服 务项技术要求4提供详细的数据子集分类方案、数据表建模 方案。5业务数据质量检查根据数据的质量特性，需制定合

7、理的质量规 则（如身份证号有效性检测，代码有效性校 验，枚举有效性检测等），查看所有跟规则 相关的对象的数据质量情况。6要求支持多种数据质量规则定义：非空性， 唯一性，值域有效性，枚举有效性，代码有 效性，基于正则表达式的复杂规则，基于 SQL语句的自定义规则。根据数据的有效值 域、枚举范围、唯一性、非空性等制定约束 条件，对数据的质量情况进行检查。7针对每次的检测结果，需生成检测报告。对 异常数据提供修复的方式，查看异常影响， 并做出回应。8基于检测的数据项数量和质量检测结果，对 数据质量进行归一化评分。9对系统中的数据质量问题进行统计分析和预15序号服务内容二级服 务项技术要求警，找出其中

8、的问题分布比率，包括数据质 量问题类型分析、数据质量问题发生曲线图 等。10要求通过数据质量模块来实现，避免手工操 作带来的不规范、易出错、难管理、难交接 的问题。11数据 集市 开发 服务专题应用集市对教职工个人相关的人事信息（基本信息、 工作经历、学习经历等）、教学信息（课堂 教学、实践教学、教改项目、教学成果、指 导学生等）、科研项目及成果信息（论文及 著作、横纵向科研项目等）进行数据整合关 联计算并定时更新，形成教师个人数据中心 直接可用的数据集市。12对学生个人相关的学生基本信息（基本信 息、学籍异动）、学业（培养计划、课程、 成绩等）、学生荣誉（技能考试获奖、活动 竞赛获奖、奖惩助

9、贷等）、个人行为（T 通消费、图书借阅、门禁进出、疫情打卡 等）进行数据整合关联计算并定时更新，形16序号服务内容二级服 务项技术要求成学生个人数据中心直接可用的数据集市。三、师生个人数据中心序号功能模块技术要求1师生个人数据呈现支持面向全校、院级、部门等多级视角的师生在校 状态、在籍状态的综合展示。2生成面向师生个人的信息聚合页面，供师生个人进行查看。3支持通过自定义个人数据中心表单，可将多个数据 版块进行自定义组合，形成统一的个人数据展示页 面。4支持信息分类呈现，可按照不同的数据来源、数据 内容进行栏目分类，使各个栏目下展现的信息来源 明确，排列方式符合逻辑、便于理解、便于查阅。5明确数

10、据来源：基于深化数据治理过程中明确的各 数据项的权威来源，在个人信息页面中呈现每项数 据的来源信息。6支持通过模型实例和表单字段的绑定，实现自动带17序号功能模块技术要求出用户数据，避免用户重复填写数据，节省用户填 写时间。7支持灵活自定义数据配置，支持对接常用关系型数 据库获取数据，如 oracle mysql sqlserver 等。8支持从单一实体表整体获取数据，也支持通过自定 义SQL灵活获取数据。9支持从数据中心或其他数据源自动同步组织结构及 用户信息，并支持手动添加、查看、编辑部门信 息。四、数据资产大屏18序号功能模块技术要求1数据 资产 大屏 展示呈现数据资源体量，支持展示数据

11、湖、数据仓库、数 据标准库中的表、记录、元数据资源量。2呈现各部门数据标准的建设情况，数据标准和代码标 准分布情况。3呈现学校数据交换整体情况，如调用总量、调用此时序号功能模块技术要求部门分布等。4按部门统计展示数据质量问题分布及问题趋势。5呈现业务系统数据访问情况，各业务系统数据量排 名，使用频度最高数据等。五、数据报表系统1、建设内容此项目具体建设内容包括：师专数据报表系统（其中包括主数据平台、数据报表平台、师生数字画像（数据展示平台）等）平台运行流程：业务部门信息中心数据所有人数据奏任部门（2）系统及应用系统软件必须遵循J2EE的技术路线，采用Java编程语言和服务器端Java技术进行开

12、发。19一、数据治理与服务平台3二、数据治理服务14三、师生个人数据中心17四、数据资产大屏18五、数据报表系统191、建设内容192、技术要求192. 1总体要求192. 2主数据平台202.3数据报表平台212. 4 系统任务模块22（3）采用面向对象的组件技术，着重于开发构成应用程序“业 务对象”的可重复使用的组件，利用这些组件顺利地建立分布式应 用程序。（4）采用成熟的SOA架构及设计理念，保证学校内部各业务系 统集成和交互过程中异构技术架构和异构数据结构集成中的稳定性 和可管理性。（5）应用程序开发与运行结构要基于统一的技术开发系统的三 层架构，即Web服务器、应用支撑服务器和数据库

13、服务器。（6）系统必须支持负载均衡，支持动态监测负载状况，自动对 可用资源进行并发检测功能。1.1.1 2主数据平台1.1.2 数据目录平台根据教师域、学生域以及对应对象来进行信息展示。信息 展示的数据字段包括：段名、数据域、来源（自建微应用、业务部 门/数据中心抽取、报表采集）、责任部门、使用频次。需要新上线 的字段由数据使用人/部门提出字段上线申请，信息中心字段评审， 通过后字段上线。1.1.3 数据纠错数据纠错模块主要展示核心纠错流程及任务管理。纠错流程由 数据所有人/信息中心发起，数据责任部门审核，通过不同方式将最 新数据汇入主数据平台数据目录。纠错任务列表展示内容包括：字20 段名称

14、、当前值、修改值、责任部门、状态、任务来源、紧急程 度，并且可以进行纠错审核。2. 3数据报表平台3. 3. 1报表申请报表申请模块提供给业务部门根据本部门业务实际开展的需 求，进行报表申请的搭建采集。报表搭建需要填写：数据范围可以 选择对象（教师/学生）、人、部门、标签人员等，所需数据字段的 选择、报表标题、申请原因、结束时间。报表填写后可以在我的报 表查看已申请报表列表，页面会显示报表标题、进度（88/100）、 状态等，点击可以查看报表详情，并且还可进行报表的导出 Excelo4. 3.2报表任务在业务部门信息员提交报表申请以后，根据平台工作流程会由 信息中心进行审核，信息中心就会收到报

15、表任务，信息中心可以在 任务列表中报表任务列表查看（状态，标题），并可进行报表任务 的审核。当有需要数据所有人进行数据确认时，数据所有人也可以在人 物列表中收到报表任务，进行数据确认、纠错、采集信息填写。除此之外，系统会自动进行每日报表任务的检查，3天内需完 成的报表任务会推送数据所有人来进行数据确认等操作。5. 3.3个人主页（H5）21在个人主页板块，教师和学生都可以看到自己的个人主页。主 页会进行各项数据的展示，并可以进行数据纠错操作，提交审核保 证数据质量，减少数据重复填报。6. 3.4数据纠错入口（H5）在此模块可以进行数据纠错的发起，选择错误信息点击纠错， 填写准确信息，等待审核，

16、在纠错任务列表会显示发起过的纠错任 务，并可以查看进度和任务状态。7. 4系统任务模块1.1.1 1报表任务检查每日报表任务检查、推送提醒给数据所有人，院系领导可以查 看本院系相关报表任务。报表发起人可一键全部提醒，确认完成后 给报表申请人发送提醒。1.1.2 纠错任务检查每日检查纠错任务，推送提醒给责任部门信息专员1.1.3 纠错检查纠错任务来源自报表申请时，检查报表结束时间，提高纠错任 务紧急程度。空白纠错、重复纠错自动拒绝提交，部分信息纠错还 可设置免审核。22数据治理与服务平台软件、数据治理服务、师生个人数据中心 建设、数据资产大屏（软件）一、数据治理与服务平台序号模块二级模块技术要求

17、1全局管理用户管理支持新增/编辑/删除用户，支持重置用户密码、冻结解冻用户2支持自定义为不同用户角色进行菜单级别的权 限控制，对不同用户的权限进行管控，保障产 品的安全性3支持批量导入前台用户，导入时支持初始用户 密码和覆盖重复用户选项，满足批量添加用户 的需求4支持操作进行记录，可以记录用户操作的操作 时间、操作账号、操作IP、IP归属地，对用户 的操作进行在线留痕，方便管理员进行管理5运行监测支持查看数据源管理模块的数据概览情况，包 括：异常数据源、停用数据源、删除数据源、 DB连接用户变更数，支持查看详情6支持查看数据集成模块的数据概览情况，包3序号模块二级模块技术要求括：ETL接口异常

18、数、删除数据表、任务异常数和敏感操作数，支持查看详情7支持查看数据目录模块的数据概览情况，包 括：主题清单异常数、今日申请数、已处理申 请数，支持查看详情8支持查看数据标准模块的数据概览情况，包 括：公共属性变更数、代码表变更数、编码规 则变更数，支持查看详情9支持查看元数据中心模块的数据概览情况，包 括：元数据结构变更数、元数据删除数、元数 据采集任务失败数，支持查看详情10支持查看数据质量管理模块的数据概览情况，包括：检测规则删除数、检核任务失败数，支持查看详情11支持查看用户登陆异常情况，包括异地登陆和登陆密码错误操作记录12支持查看服务器资源总览，包括磁盘利用率、CPU利用率、内存利用

19、率序号模块二级模块技术要求13支持监控数据源的运行状态，包括：服务器信 息、数据库版本、备份日志详情、CPU、内存、 数据库连接数、表空间容量14支持查看数据仓库的运行监测情况，包括:服务 器信息、数据库版本、备份日志详情、CPU、内 存、数据库连接数、表空间容量15数据源管理支持添加、编辑和删除和管理关系型(MySQL、Oracle 、 SQLServer 、 PostgreSQL 、DWS (GaussDB) 、 RDS(MySQL) 、 TDSQL(PostgreSQL )和非关系型(Kafka、MongoDBImpalaHdfs Hive、Redis)数据 源16支持为数据源配置部门、

20、业务系统、系统厂 商，支持带出部门与业务系统、部门与业务系 统的关联关系17支持通过ETL资料库对0DI或Kettle接口血缘关系进行分析的功能18支持查看数据源下所有的表和视图，查看数据序号模块二级模块技术要求表或视图中的数据情况。并按表名、表中文 名、数据标签、对象类型、所属部门进行筛选19支持查看当前数据源运行异常监测，查看连接 异常的数据源数量，支持查看异常数据源明细20支持批量导入、导出数据表的数据字典，可便 捷的完成数据表的注释、字段的注释补充工作21支持查看HDFS数据库的文件情况；支持查看 Kafka数据库的Topic；支持查看Hive数据库 的数据表并快速的发布为数据清单；支

21、持查看 MongoDB数据库的数据表；支持将Hive MongoDB查询结果导出为Excel22统一数据集成关系 型数 据集 成支持对多种不同类型的数据库进行数据抽取， 转换加载的功能，既包括传统的Oracle、 MySQL、SQLServer等关系型数据库，也支持 PostgreSQL、华为 RDS、华为 DWS、腾讯 TDSQL、腾讯TBDS、MongoDB等新型数据库23支持多种如Oraclex MySQL SQLServer等数据库的实时数据同步序号模块二级模块技术要求24支持微任务分批分组并行机制，可以实现数据接口多线程并发工作25支持图形界面ETL接口配置，可通过可视化的 操作完成

22、字段的映射、转换函数的配置，引入 关联控件、过滤控件并配置参数26支持创建普通接口、集成接口两种类型接口，集成接口支持批量自动创建目标表，一次可批量创建不少于100个接口27支持全量数据交换和增量交换两种交换类型28支持设置源表为空时，是否继续执行数据抽取29支持执行数据抽取前是否对目标表执行清空30支持回收站功能，删除后的接口/任务会进入回收站，防止接口误删除31支持配置源表和目标表映射时可预览字段的数据，在字段映射时更加方便准确32支持添加存储过程，并通过调度任务调度存储过程33支持添加Shell脚本，并通过调度任务调度78序号模块二级模块技术要求Shell脚本34支持创建单次任务/周期任

23、务，周期任务可自定义频率执行35支持将任务进行分组，不同分组的任务按执行顺序并行36支持基于web界面的调度任务创建，为降低使 用门槛，支持通过拖拽的方式实现同步任务、 异步任务、串行、并行、任务流的创建，可根 据数据的业务属性创建不同的执行频率或周 期，支持单次或者周期性任务创建。37支持数据集成触发式调度模式38支持可视化配置增量数据的拉链表。配置后自 动实现变化数据拉链留存能力，可根据源表结 构在拉链表数据源中自动生成拉链表结构，以 方便对于学校历史数据的留存、管理、使用39统一数仓管理兀数据中心支持按模块根据关键字对元数据进行检索40支持查看元数据的数据表结构，支持查看元数据数据详情序

24、号模块二级模块技术要求41平台支持元数据分类，按技术元数据/业务元数据/管理元数据分类展示42支持将元数据采集/批量采集为主数据43支持查看数据表、视图、存储过程、函数等多 种元数据类型，支持通过筛选专区对元数据进 行筛选过滤，支持根据是否主数据进行筛选44支持将元数据按业务属性进行自定义分类45支持编辑/批量编辑元数据字段的业务系统、系统厂商、部门、代码表、安全等级等属性46当元数据与数据库中的数据表结构发生变更或无法进行比对时，会对用户进行预警47支持对元数据的历史版本进行比对并查看比对差异48支持对元数据的血缘关系进行分析，展示元数据各个链路的全过程，支持字段级别的追溯49支持元数据模块“一处配置全局生效”，即在 元数据模块配置了部门、业务系统，在其他模 块会读取元数据表的配置结果，无须重复配置9