最新石油行业大数据分析平台方案.docx

《最新石油行业大数据分析平台方案.docx》由会员分享，可在线阅读，更多相关《最新石油行业大数据分析平台方案.docx（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、最新石油行业大数据分析平台方案 石油行业大数据分析 平 台 方 案 目录 一数据管理的现状 (1) 二石油行业大数据分析的概述 (2) （一）石油行业大数据分析概念 (2) （二）石油行业大数据分析目标 (3) 三石油行业大数据分析体系 (3) 四石油行业大数据分析核心领域 (4) （一）数据模型 (4) （二）数据生命周期 (5) （三）数据标准 (6) （四）主数据 (8) （五）数据质量 (9) （六）数据服务. 1 1 （七）数据安全. 1 2 五石油行业大数据分析保障机制 (13) （一）制度章程. 1 3 (1) 规章制度. 1 3 (2) 管控办法. 1 3 (3) 考核机制.

2、1 3 （二）石油行业大数据分析组织. 1 5 (1) 组织架构. 1 5 (2) 组织层次. 1 6 (3) 组织职责. 1 7 （三）流程管理. 1 9 （四）IT 技术应用. . 2 0 (1) 支撑平台. 2 0 (2) 附件 A 技术规范. 数据管理规范 (23) 2 2 附件B 数据质量评估办法 (41) 附件C 数据质量管理流程 (45) 关于石油行业大数据分析的理解数据管理的现状 根据行业信息化发展的现状，结合当今行业石油行业大数据分 析的要求，大型集团或政务管理部门现阶段数据管理方面存在以下 的不足： （1）数据多头管理，缺少专门对数据管理进行监督和控制的组织。信息系统的建设

3、和管理职能分散在各部门，致使数据管理的职责分散，权责不明确。组织机构各部门关注数据的角度不一样，缺少一个组织从全局的视角对数据进行管理，导致无法建立统一的数据管理规程、标准等，相应的数据管理监督措施无法得到落实。组织机构的数据考核体系也尚未建立，无法保障数据管理标准和规程的有效执行。 （2）多系统分散建设，没有规范统一的省级数据标准和数据模型。组织机构为应对迅速变化的市场和社会需求，逐步建立了各自的信息系统，各部门站在各自的立场生产、使用和管理数据，使得数据分散在不同的部门和信息系统中，缺乏统一的数据规划、可信的数据来源和数据标准，导致数据不规范、不一致、冗余、无法共享等问题出现，组织机构各部

4、门对数据的理解难以应用一致的语言来描述，导致理解不一致。 （3）缺少统一的主数据，组织机构核心系统间的人员等 主要信息并不是存储在一个独立的系统中，或者不是通过统一的业 务管理流程在系统间维护。缺乏对集团公司或政务单位主数据的管理，就无法保障主数据在整个业务范围内保持一致、完整和可控， 导致业务数据正确性无法得到保障。 （4）缺乏统一的集团型数据质量管理流程体系。当前现 状中数据质量管理主要由各组织部门分头进行；跨局跨部门的数据 质量沟通机制不完善；缺乏清晰的跨局跨部门的数据质量管控规范 与标 准，数据分析随机性强，存在业务需求不清的现象，影响数据质量；数据的自动采集尚未全面实现，处理过程存在

5、人为干预问题，很多 部门存在数据质量管理人员不足、知识与经验不够、监管方式不全 面等问题；缺乏完善的数据质量管控流程和系统支撑能力。 （5）数据全生命周期管理不完整。目前，大型集团或政 务单位，数据的产生、使用、维护、备份到过时被销毁的数据生命 周期管理规范和流程还不完善，不能确定过期和无效数据的识别条件，且非结构化数据未纳入数据生命周期的管理范畴；无信息化工 具支撑数据生命周期状态的查询，未有效利用元数据管理。 石油行业大数据分析的概述 2.1 石油行业大数据分析概念 石油行业大数据分析是指将数据作为组织资产而展开的一系列 的具体化工作, 是对数据的全生命周期管理。 石油行业大数据分析体系是

6、指从组织架构、管理制度、操作规范、IT 应用技术、绩效考核支持等多个维度对组织的数据模型、数 据架构、数据质量、数据安全、数据生命周期等各方面进行全面的 梳理、建设以及持续改进的体系。 2.2 石油行业大数据分析目标 石油行业大数据分析的目标是提高数据的质量（准确性和完整性），保证数据的安全性（保密性、完整性及可用性），实现数据资源在各组织机构部门的共享；推进信息资源的整合、对接和共享， 从而提升集团公司或政务单位信息化水平，充分发挥信息化作用。 石油行业大数据分析体系 石油行业大数据分析体系包含两个方面，一是数据质量核心领域，二是数据质量保障机制。 具体两者内容及相互关系可以参见下图： 石油

7、行业大数据分析核心领域 为了有效管理信息资源，必须构集团级石油行业大数据分析体系。石油行业大数据分析体系包含石油行业大数据分析组织、数据构架管理、主数据管理、数据质量管理、数据服务管理及数据安全管理内容，这些内容既有机结合，又相互支撑。 4.1 数据模型 数据模型是数据构架中重要一部分，包括概念数据模型和逻辑数据模型，是石油行业大数据分析的关键、重点。理想的数据模型应该具有非冗余、稳定、一致、易用等特征。逻辑数据模型能涵盖整个集团的业务范围，以一种清晰的表达方式记录跟踪集团单位的 重要数据元素及其变动，并利用它们之间各种可能的限制条件和关系来表达重要的业务规则。数据模型必须在设计过程中保持统一

8、的业务定义。为了满足将来不同的应用分析需要，逻辑数据模型的设计应该能够支持最小粒度的详细数据的存储，以支持各种可能的分析查询。同时保障逻辑数据模型能够最大程度上减少冗余，并保障结构具有足够的灵活性和扩展性 4.2 数据生命周期 一般包括数据生成及传输、数据存储、数据处理及应用、数据销毁四个方面。 （1）数据生成及传输 数据应该能够按照数据质量标准和发展需要产生，应采取措施保证数据的准确性和完整性，业务系统上线前应该进行必要的安全测试，以保证上述措施的有效性。对于手工流程中产生的数据在相关制度中明确要求，并通过事中复核、事后检查等手段保证其准确性和完整性。数据传输过程中需要考虑保密性和完整性的问

9、题，对不同种类的数据分别采取不同的措施防止数据泄漏或数据被篡改。 （2）数据存储 这个阶段除了关注保密性、完整性之外，更要关心数据的可用性，对于大部分数据应采取分级存储的方式，不仅存储在本地磁盘上，还应该在磁带上，甚至远程复制到磁盘阵列中，或者采用光盘 库进行存储。对于存储备份的数据要定期进行测试，确保其可访问其数据完整。数据的备份恢复策略应该由数据的责任部门或责任人负责制定，信息化管理部门可以给予相应的支持。同时还需要注意因为部门需要或故障处理的需要，可能对数据进行修改，必须在数据管理办法中明确数据修改的申请审批流程，审慎对待后台数据修改。 （3）数据处理和应用 信息化相关部门需要对数据进行

10、分析处理，以挖掘出对于管理及业务开展有价值的信息，为保证过程中数据的安全性，一般应采用联机处理，系统只输出分析处理的结果。但是实际中，因为相关数据分析系统建设不到位，需要从数据库中提取数据后再对数据进行必要的分析处理，在这个过程中就需要关注数据提取操作是否可能对数据库造成破坏、提取出的数据在交付给分析处理人员的过程中其安全性是否会降低、数据分析处理的环境安全性等等。 （4）数据销毁 这个阶段主要涉及数据的保密性。应明确数据销毁的流程，采用必要的工具，数据的销毁应该有完整的记录。尤其是对于需要送出外部修理的存储设备，送修之前应该对数据进行可靠的销毁。 4.3 数据标准 数据标准是集团单位建立的一

11、套符合自身实际，涵盖定义、操 作、应用多层次数据的标准化体系。 数据标准的建立是集团单位信息化、数字化建设的一项重要工作，行业的各类数据必须遵循一个统一的标准进行组织，才能构成一个可流通、可共享的信息平台。 石油行业大数据分析对标准的需求可以划分为两类，即基础性标准和应用性标准。前者主要用于在不同系统间，形成信息的一致理解和统一的坐标参照系统，是信息汇集、交换以及应用的基础，包括数据分类与编码、数据字典、数字地图标准；后者是为平台功能发挥所涉及的各个环节，提供一定的标准规范，以保证信息的高效汇集和交换，包括元数据标准、数据交换技术规范、数据传输协议、数据质量标准等。 （1）数据分类与编码 数据分类与编码标准是信息化建设中标准化的一项基础工作，该类标准规定平台汇集、交换相关信息统一的分类系统和排列顺序以及编码规则，目的是在不同系统和用户之间建立交通数据的一致参照，对提高数据采集、处理和数据交换效率具有重要作用。数据分类与编码标准的制定将有力推进平台标准化及交通信息化建设标准化的进程。 （2）数据字典 针对实际需求，定义数据集，建立各个领域的数据字典，规范