通用数据质量控制系统数据库表设计.docx

优质文本 总参第六十三研究所“通用数据质量控制系统数据库详细设计技术文件编号：2015-ZC63SKY-242015 年 8 月 26 日目录1 概述41.1 工程名称41.2 工程建设单位41.3 建设原那么41.4 建设原那么51.5 系统建设依据71.5.1 法律法规标准71.5.2 标准与标准72 数据库设计82.1 数据生命周期定义4个表82.2 工程周期定义102.3 数据活动定义122.4 数据活动152.4.1 自定义活动152.4.2 数据活动管理172.4.2.1 数据采集(操作类)172.4.2.2 数据清洗202.4.2.3 数据建模212.4.2.4 数据稽核根据稽核规那么接口传输相应参数212.4.2.5 数据迁移sql条件查询注意232.4.2.6 数据导出232.4.2.7 数据入库242.4.2.8 数据拷贝信息录入252.4.2.9 数据归档252.4.2.10 数据销毁信息录入262.4.2.11 实施维护用例(产品维护类)262.4.2.12 制定维护方案282.4.2.13 编写维护用例292.4.2.14 发布维护报告302.4.2.15 制定数据应用方案(应用类)312.4.2.16 实施数据应用322.4.2.17 发布数据应用结果332.4.2.18 制定归档方案发布(归档管理类)342.4.2.19 实施归档方案352.4.2.20 发布归档结果352.4.2.21 工程立项(工程类)362.4.2.22 工程方案372.4.2.23 详细设计382.4.2.24 需求管理382.4.2.25 风险管理402.4.2.26 工程监控412.4.2.27 质量保证412.4.2.28 结项管理422.4.2.29 实施方案442.4.2.30 数据过滤自定义类442.5 任务书评审452.6 我的待办462.7 元数据管理472.8 平安管理472.9 数据生命周期定义各个实例关系47优质文本1 概述1.1 工程名称总参第六十三研究所“通用数据质量控制系统设计开发系统。1.2 工程建设单位总参第六十三研究所是军事通信新技术研究所，现设有“全军通信抗干扰研究中心、“全军电磁频谱技术研究中心、“全军通信测量技术研究中心和“总参通信装备模块化技术重点实验室等研究机构，是集科研、设计、试制和人才培养于一体的军队科研单位。1.3 建设原那么在最小化投资和改造、确保整个方案的可实施性以及可扩展性的前提下，本工程应该在确保整个系统建立的根本需求下，保证软件功能方案能面向未来具备一定的可扩展能力，需要以此原那么来设计系统构建方案，同时本工程建设应遵循以下原那么：1可扩展性/可伸缩性对各运营支撑平台采集接口进行会聚时，要求可以灵活的新增接口而不影响现有系统的运行。同时，对原有功能重叠局部进行评估整合，软件采用模块化、组件化设计原那么，整合方案要充分考虑实际业务情况，可以灵活的新增软件功能模块而不影响现有业务的运行。解决数据的分析及挖掘，提供开放的、可操作的数据挖掘处理能力，不局限于针对目前的业务模型需求进行数据分析处理系统的开发。2易操作、易管理充分考虑整体性和关联性。系统的各个功能模块是整个系统的有机组成局部，需要充分考虑各模块间的关联性。系统对行业用户、系统管理员都应提供良好的用户界面，做到普通用户不用任何操作手册帮助就可以熟练的使用平台的业务。3开放性系统支持各个层次的多种协议，支持与其它系统的互通、互联；向不同业务管理部门提供所需数据资源的输出和分析结果展现；支持多种数据库、中间件、第三方软件及硬件平台。支持SQL、hadoop、PMML等。4标准性和统一性本系统的软件应符合相关的国际、国内标准。5系统整合的高效性不搬移原有数据采集接口，就近采集，并通过网络进行会聚。6可靠性系统发生任何故障，都不影响用户正常业务使用，不降低现有业务的可靠性和可用性。关键功能及应用要具有冗余备份机制。7先进性，可扩展性并重采用成熟先进的技术，同时，系统的根底构架应采取模块化结构且具有较强的可扩展性，为系统的改良和完善创造条件。8可管理易维护性平台的部署应集中以便于集中维护，系统自身应提供分权分级的权限管理机制，不同的系统模块可以设置不同级别的的数据操作、统计、监控、分析权限等。9充分考虑建设的经济性。充分利投资，采取有效的措施和实施方案躲避投资风险。充分考虑设备的利旧情况，在不影响系统性能的根底上充分利用原有设备。1.4 建设原那么在最小化投资和改造、确保整个方案的可实施性以及可扩展性的前提下，本工程应该在确保整个系统建立的根本需求下，保证软件功能方案能面向未来具备一定的可扩展能力，需要以此原那么来设计系统构建方案，同时本工程建设应遵循以下原那么：1可扩展性/可伸缩性对各运营支撑平台采集接口进行会聚时，要求可以灵活的新增接口而不影响现有系统的运行。同时，对原有功能重叠局部进行评估整合，软件采用模块化、组件化设计原那么，整合方案要充分考虑实际业务情况，可以灵活的新增软件功能模块而不影响现有业务的运行。解决数据的分析及挖掘，提供开放的、可操作的数据挖掘处理能力，不局限于针对目前的业务模型需求进行数据分析处理系统的开发。2易操作、易管理充分考虑整体性和关联性。系统的各个功能模块是整个系统的有机组成局部，需要充分考虑各模块间的关联性。系统对行业用户、系统管理员都应提供良好的用户界面，做到普通用户不用任何操作手册帮助就可以熟练的使用平台的业务。3开放性系统支持各个层次的多种协议，支持与其它系统的互通、互联；向不同业务管理部门提供所需数据资源的输出和分析结果展现；支持多种数据库、中间件、第三方软件及硬件平台。支持SQL、hadoop、PMML等。4标准性和统一性本系统的软件应符合相关的国际、国内标准。5系统整合的高效性不搬移原有数据采集接口，就近采集，并通过网络进行会聚。6可靠性系统发生任何故障，都不影响用户正常业务使用，不降低现有业务的可靠性和可用性。关键功能及应用要具有冗余备份机制。7先进性，可扩展性并重采用成熟先进的技术，同时，系统的根底构架应采取模块化结构且具有较强的可扩展性，为系统的改良和完善创造条件。8可管理易维护性平台的部署应集中以便于集中维护，系统自身应提供分权分级的权限管理机制，不同的系统模块可以设置不同级别的的数据操作、统计、监控、分析权限等。9充分考虑建设的经济性。充分利投资，采取有效的措施和实施方案躲避投资风险。充分考虑设备的利旧情况，在不影响系统性能的根底上充分利用原有设备。1.5 系统建设依据1.5.1 法律法规标准GJB 438B-2016 军用软件开发文档通用要求GJB 2786A-2016 军用软件开发通用要求GJB 9001B-2016 质量管理体系要求1.5.2 标准与标准l ?计算机软件需求说明编制指南?GD9385-1988；l ?信息建模方法?IEEE1320.2-1998；l ?中华人民共和国计算机信息系统平安保护条例?；l ?计算机信息系统保密管理暂行规定?国保发19981号；l ?计算机软件产品开发文件编制指南?GB/T8567-1988；l ?计算机信息系统平安保护等级划分准那么?GB/T17859-1999；l ?信息技术平安技术信息技术平安性评估准那么?GB/T18336-2001；l ?涉及国家秘密的计算机信息系统平安保密方案设计指南?BMZ2-2001；l ?信息技术开放系统互联高层平安模型?GB/T17965-2000；l ?信息技术开放系统互联根本参考模型?GB/T9387；l ?信息技术开放系统互联网应用层结构?GB/T17176-1997；l ?信息技术开放系统互联开放系统平安框架?GB/T18794；l ?信息技术开放系统互联通用高层平安?GB/T18237；l ?计算机场地通用标准?GB/T2887-2000；l ?计算机场地平安要求?GB9361-1988；l ?信息技术平安技术信息技术平安性评估准那么?GB/T18336-2000；l ?计算机信息系统平安保护等级划分准那么?GB/T17859-1999；2 数据库设计2.1 数据生命周期定义4个表表清单代码名称注释Dqc_dlc数据生命周期(Data Lifecycle)(根底表)Dqc_dlcs数据生命周期阶段(Data life cycle stages)(根底表)Dqc_activeflow流程图定义(Flowchart definitions)(根底表)存储定义数据生命周期流程、工程流程、数据活动流程Dqc_dlcstages_REL数据生命周期阶段映射到数据生命周期cycle stages and lifecycle relationship关系表Dqc_dlc数据生命周期(Data Lifecycle)(根底表)列清单代码名称数据类型长度默认值备注DLC_id编码(id)VARCHAR220自动生成。name名称(name)VARCHAR2200creater创立人(creater)VARCHAR250Create_time创立时间date时间格式Yyyy-mm-dd 24h:mi:ssstatuts状态VARCHAR2100、未发布1、发布Remarks备注VARCHAR23000operation操作VARCHAR210DLC_type数据生命周期类型VARCHAR2101、参照数据生命周期2自定义数据生命周期orgcode所属单位VARCHAR220关系是？1：n或1：1 Dqc_dlcs数据生命周期阶段(Data life cycle stages)(根底表)列清单代码名称数据类型长度默认值备注sc_id阶段编码(stages code)VARCHAR220自动生成name阶段名称VARCHAR2200creater创立人VARCHAR250Create_time创立时间date时间格式Yyyy-mm-dd 24h:mi:ssstatuts状态VARCHAR2100、未发布1、发布operate操作VARCHAR210时间格式Yyyy-mm-dd 24h:mi:ssRemarks备注VARCHAR23000Owned所属模板(View template)VARCHAR2映射到工程流程1对多Dqc_activeflow流程图定义(Flowchart definitions)(根底表)列清单代码名称数据类型长度默认值备注Nodes_id结点idVARCHAR220name结点名称VARCHAR2200Parent_Node父节点VARCHAR250Child_node子节点VARCHAR250level层次VARCHAR2101数据生命周期层2工程层3数据活动层isendNode开始结点或尾结点VARCHAR2101开始结点2最后结点Remarks备注VARCHAR23000Dactiflow_id流程idVARCHAR220数据生命周期id、工程周期id、数据活动idDqc_dlcstages_REL数据生命周期阶段(所属模板)映射到数据生命周期cycle stages and lifecycle relationship列清单代码名称数据类型长度默认值备注sc_id数据生命周期阶段idVARCHAR220DLC_id数据生命周期idVARCHAR2202.2 工程周期定义表清单代码名称注释Dqc_procyc工程周期(Project Cycle)(根底表)Dqc_prolinks工程环节(Project links )(根底表)Dqc_pro_dlc_REL工程周期和数据生命周期映射(Project cycle and data between lifecycle)关系表Dqc_pro_links_rel工程环节(所属模板)映射到工程周期流程(project links and project cycle )关系表Dqc_links_stage_rel工程环节和数据生命周期阶段映射Project links and data lifecycle stage 关系表；工程环节和数据生命周期阶段是1对多各表实体关系 Dqc_procyc工程周期(Project Cycle)(根底表)列清单代码名称数据类型长度默认值备注pro_id工程周期idVARCHAR220主键name名称VARCHAR2200creater创立人VARCHAR250Create_time创立时间date时间格式Yyyy-mm-dd 24h:mi:ssstatuts状态VARCHAR2100、未发布1、发布Remarks备注VARCHAR23000org单位VARCHAR2Pro_type周期流程类型VARCHAR21、参照工程周期2自定义工程周期Dqc_prolinks工程环节(Data life cycle stages)(根底表)列清单代码名称数据类型长度默认值备注links_id编码VARCHAR220主键name名称VARCHAR2200creater创立人VARCHAR220Create_time创立时间date时间格式Yyyy-mm-dd 24h:mi:ssstatuts状态VARCHAR2100、未发布1、发布Xmhj_type所属类别VARCHAR2101工程类2产品维护类所属模板有映射映射到工程流程1对多Descrip描述VARCHAR23000Dqc_pro_links_rel工程环节映射到工程周期流程(project links and project cycle )列清单代码名称数据类型长度默认值备注Xmhj_id工程环节idVARCHAR220XMZQ_id工程流程idVARCHAR220Dqc_pro_dlc_REL工程周期和数据生命周期映射(Project cycle and data between lifecycle)列清单代码名称数据类型长度默认值备注XMZQ_id工程周期idVARCHAR220DLC_id数据周期idVARCHAR220Dqc_links_stage_rel工程环节和数据生命周期阶段映射Project links and data lifecycle stage列清单代码名称数据类型长度默认值备注XMZQ_id工程周期idVARCHAR220DLC_id数据周期idVARCHAR220sc_id数据生命周期阶段VARCHAR220Xmhj_id工程环节idVARCHAR2202.3 数据活动定义表清单代码名称注释DQC_DACTIFLOWINFO数据活动流程定义(Process definition data activity)(根底表)Dqc_actnodelinks_REL数据活动结点和工程环节映射(Data active node and project link)(关系表)多对一Dqc_dactflow_pro_rel活动流程和工程流程映射(关系表)1：1Dqc_actnodeflow_audit活动结点内部流程审核信息(Active node internal process audit information)(根底表)Dqc_actnodeflow_Exetor执行人(Executor)关系表活动结点内部流程审核信息和执行人：1对多Dqc_actnodeflow_Exerole执行角色 (Executive Role)关系表；活动结点内部流程审核信息和执行人角色：1对多Dqc_actnodeflow_auditrole审核角色(Audit Roles)关系表；活动结点内部流程审核信息和审核角色：1对多Dqc_Active_NODES数据活动结点管理结点Dqc_proc_dactinfo数据活动流程定义(Process definition data activity)(根底表)列清单代码名称数据类型长度默认值备注SJHDLC_id编码VARCHAR220主键name名称VARCHAR2200creater创立人VARCHAR220org所属单位VARCHAR220SJHDLC_type类别VARCHAR2101工程2操作3应用4维护5归档status状态VARCHAR2100、未发布1、发布Remarks备注VARCHAR23000DLC_id数据周期编号VARCHAR220XMZQ_id工程周期编号VARCHAR220开始时间逻辑：流程启动时间结束时间流程结束时间Dqc_actnodelinks_REL数据活动结点和工程环节映射(Data active node and project link)(关表)列清单代码名称数据类型长度默认值备注Dactiflow_ID数据活动流程idVARCHAR220数据活动流程Nodes_id数据活动结点idVARCHAR220links_id工程环节idVARCHAR220proc_id工程周期流程idVARCHAR220Dqc_actnodeflow_audit活动结点内部流程审核信息-结点流程审核信息(Active node internal process audit information) (根底表)列清单代码名称数据类型长度默认值备注Audit_activity_id 审核活动idVARCHAR220Dactiflow_ID数据活动流程idVARCHAR220start_time开始时间date时间格式Yyyy-mm-dd 24h:mi:ssEnd_time结束时间date时间格式Yyyy-mm-dd 24h:mi:ssIs_audit是否审核VARCHAR2101、审核2、不审核Remarks备注VARCHAR2 3000Node_audit_id结点流程审核idVARCHAR220Dqc_actnodeflow_Exetor执行人(Executor)(关系表)列清单代码名称数据类型长度默认值备注Node_audit_id结点流程审核idVARCHAR220Executor执行人VARCHAR250Dqc_actnodeflow_Exerole执行角色 (Executive Role) (关系表)列清单代码名称数据类型长度默认值备注Node_audit_id结点流程审核idVARCHAR220Executive_ role执行角色 VARCHAR220Dqc_actnodeflow_auditrole审核角色(Audit Roles)(关系表)列清单代码名称数据类型长度默认值备注Node_audit_id结点流程审核idVARCHAR220Audit_role审核角色(Audit Roles)VARCHAR220Active_NODES数据活动结点(根底表)列清单代码名称数据类型长度默认值备注id编号VARCHAR220主键name名称VARCHAR2200Nodes_url结点urlVARCHAR2200creater创立人VARCHAR220type类别VARCHAR210Create_time创立时间data时间格式Yyyy-mm-dd 24h:mi:ssstatus状态VARCHAR210Remarks备注VARCHAR230002.4 数据活动2.4.1 自定义活动表清单代码名称注释ZDYJK_JBXX自定义接口根本信息(根底表)ZDYJK_ORG_REL自定义接口根本信息和所属单位映射(关系表)1对多REQ_PARA请求参数关系表1对多RES_PARA返回参数关系表1对多ZDYJK_JBXX自定义接口根本信息列信息代码名称数据类型长度默认值备注Active_node_id活动结点idVARCHAR220Activity_name活动名称VARCHAR2200type_of所属类型VARCHAR210自定义url请求urlVARCHAR2200PARA_TYPE请求参数格式VARCHAR2101xml格式2json格式Req_para_meth请求参数方式VARCHAR2101、soap 2、 sActivity_desc活动描述VARCHAR23000ZDYJK_ORG_REL自定义接口根本信息和所属单位映射列信息代码名称数据类型长度默认值备注org所属单位VARCHAR2201对多Active_node_id活动结点idVARCHAR220外键REQ_PARA请求参数列信息代码名称数据类型长度默认值备注Number序号VARCHAR210PARA_TYPE参数类型VARCHAR210NAME参数名称VARCHAR2100PARA_val参数值VARCHAR2100NOTES注释VARCHAR23000Active_node_id活动结点idVARCHAR220外键RES_PARA返回参数列信息代码名称数据类型长度默认值备注Number序号VARCHAR210PARA_TYPE参数类型VARCHAR210NAME参数名称VARCHAR2100PARA_val参数值VARCHAR2100NOTES注释VARCHAR23000Active_node_id活动结点idVARCHAR220外键2.4.2 数据活动管理2.4.2.1 数据采集(操作类)表清单代码名称注释Dqc_da_Coll数据采集信息录入(collecting data)根底表Dqc_Task_assig任务指派(Task assignment)根底表Dqc_Prog_moni进度监控(Progress monitoring)根底表Dqc_Exec_results执行结果根底表(成功和失败结果)Dqc_upload_file上传文件映射表关系表Dqc_Taskobj_REL任务指派和操作对象映射关系任务指派和操作对象映射1对多Dqc_Coll_data数据采集信息录入列清单代码名称数据类型长度默认值备注Classified_dir分类目录VARCHAR2200Date_table数据表VARCHAR2200Targ_dir目标目录VARCHAR2200Targ_table目标表VARCHAR2200Upload_id文件上传idVARCHAR21000Temp_pateid文件下载模板路径VARCHAR2200Coll_type数据采集对象类型VARCHAR2101结构数据2文件格式Dactiflow_ID数据活动流程idVARCHAR220TaskBook_id任务书报告idVARCHAR220CollNode_id采集活动结点idVARCHAR220Collinfo_id采集信息idVARCHAR220唯一，不为空主键Dqc_Task_assig任务指派列清单代码名称数据类型长度默认值备注Number序号VARCHAR220Executive执行人VARCHAR220Operation_object操作对象有映射表，1对多Task_description任务描述3000映射表Start_time开始时间date时间格式Yyyy-mm-dd 24h:mi:ssEnd_time结束时间date同上Actual_start_time实际开始时间date同上Actual_end_time实际结束时间date同上status状态VARCHAR210Operation_object_id操作对象idVARCHAR220不为空外键，采集信息idTask_assignment_id任务指派idVARCHAR220唯一，不为空Dqc_Taskobj_REL指派任务和操作对象映射关系列清单代码名称数据类型长度默认值备注Operation_object_id操作对象idVARCHAR220有映射表，1对多Assignment_task_id指派任务idVARCHAR220Dqc_upload_file附件上传关系表列清单代码名称数据类型长度默认值备注Upload_id上传文件idVARCHAR220文件名称VARCHAR2100Logic_name逻辑文件名称VARCHAR2200文件保存路径VARCHAR2200entity_id文件归属VARCHAR210上传文件所属模块id文件类型VARCHAR210Dqc_Prog_moni进度监控列清单代码名称数据类型长度默认值备注Progress_monitoring_id进度监控idVARCHAR220Total_task任务总量VARCHAR210Finished_quantity已完成数量VARCHAR210Complete_status完成状态VARCHAR210CollNode_id采集活动结点idVARCHAR220Operation_object_id操作对象idVARCHAR220不为空外键，采集信息idDqc_Exec_results执行结果列清单代码名称数据类型长度默认值备注ExResult_id执行结果idVARCHAR220Classified_dir分类目录VARCHAR2200number序号VARCHAR220Date_table表名称VARCHAR2200Create_time创立时间dateyyyy-mm-dd 24h:mi:ss格式Remarks备注VARCHAR23000Operation_object_id操作对象idVARCHAR220采集根本信息id2.4.2.2 数据清洗表清单代码名称注释Dqc_da_Clean数据清洗信息录入根底表*动态建立清洗列根底表Dqc_Clean_Data数据清洗信息录入列清单代码名称数据类型长度默认值备注Classified_dir分类目录VARCHAR2200Date_table数据表VARCHAR2200Cleaning_ Rule清洗规那么VARCHAR2201空格2空值3重复记录cleaning_Columns清洗列VARCHAR220动态建立清洗结果数据表结构Cleaning_id清洗idVARCHAR220唯一，不为空主键Dactiflow_ID数据活动流程idVARCHAR220TaskBook_id任务书报告idVARCHAR2202.4.2.3 数据建模表清单代码名称注释Dqc_da_model数据建模信息录入根底表Dqc_model_data数据建模信息录入列清单代码名称数据类型长度默认值备注Classified_dir分类目录VARCHAR2200Upload_id文档上传idVARCHAR2200Temp_pateid文件下载模板idVARCHAR2200model_type建模类型VARCHAR2101逻辑2物理3建模说明Dactiflow_ID数据活动流程idVARCHAR220TaskBook_id任务书报告idVARCHAR220Modenode_id建模活动结点idVARCHAR220modeling_id数据建模信息录入idVARCHAR220唯一，不为空主键2.4.2.4 数据稽核根据稽核规那么接口传输相应参数表清单代码名称注释Dqc_check_Data数据稽核信息录入根底表ETL_JHGZ稽核规那么根底表ETL_JHGZCS稽核规那么参数Dqc_check_Data数据稽核信息录入列清单代码名称数据类型长度默认值备注Classified_dir分类目录VARCHAR2200Date_table数据表VARCHAR2200Targ_dir目标分类VARCHAR2200Targ_table数据表VARCHAR2200Dactiflow_ID数据活动流程idVARCHAR220TaskBook_id任务书报告idVARCHAR220Audit_activity_node_id稽核活动结点idVARCHAR220Audit_Data_entry_id数据稽核信息录入idVARCHAR220唯一，不为空主键ETL_JHGZ稽核规那么列清单代码名称数据类型长度默认值备注ZX执行VARCHAR2200GZMC规