民族证券的数据中心建设情况交流.ppt

《民族证券的数据中心建设情况交流.ppt》由会员分享，可在线阅读，更多相关《民族证券的数据中心建设情况交流.ppt（26页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、企业级数据中心建设研讨信息技术部 颜阳2010年4月建设具有民族民族特色的数据中心主要内容一、项目概述二、系统介绍三、建设过程四、实现效果前言什么是数据中心：数据中心是企业的业务系统与数据资源进行集中、集成、共享、分析的场地、工具、流程等的有机组合。1、从应用层面看，包括业务系统、基于数据仓库的分析系统；2、从数据层面看，包括操作型数据和分析型数据以及数据与数据的集成/整合流程；3、从基础设施层面看，包括服务器、网络、存储和整体IT 运行维护服务。感官上出现的几个关键字：系统投入海量一、项目概述2009年度行业科技奖获奖统计的思考“数据中心裂变”一、项目概述三大要素，八项原则三大要素，八项原则

2、架构、开发模式、项目管理、团队建设企业+高校的模式一、项目概述：why？1.1.1.1.简化信息系统架构。简化信息系统架构。简化信息系统架构。简化信息系统架构。数据中心建设后可以大大简化各系统之间的关系，生产系统是数据的生产者，业务系统既是数据的生产者又是数据的消费者，而数据中心是物流中心和配送中心。2.2.2.2.减轻生产系统压力。减轻生产系统压力。减轻生产系统压力。减轻生产系统压力。数据中心的数据不仅权威而且全面。利用先进的实现方法，使得统计和分析更便捷，这样会大大减轻生产系统的压力，同时也为建设新一代订单系统打下了坚实的基础。3.3.3.3.保证业务数据统一。保证业务数据统一。保证业务数

3、据统一。保证业务数据统一。许多业务系统需要同类型的数据，由于不同系统处理方式和统计口径不尽统一，往往同类数据在各个系统中都不统一。数据中心建设后可以解决数据统一问题。4.4.4.4.提高业务创新能力。提高业务创新能力。提高业务创新能力。提高业务创新能力。数据中心是数据加工厂，同时也是价值发现者，这样为我们后续业务系统的建设和完善提供了强有力的数据支持。5.5.5.5.提升决策分析水平。提升决策分析水平。提升决策分析水平。提升决策分析水平。数据中心的数据全面性和包容性强，为数据深度挖掘提供了先决条件，也为决策分析提供了强有力的支持。案例：数据中心作为恢复之用一、项目概述：how？1.1.1.1.

4、走自主开发建设道路。走自主开发建设道路。走自主开发建设道路。走自主开发建设道路。能够贯彻落实属于我们的设计理念，快速响应业务部门的需求，节约运行维护成本，推动业务创新。企业+高校合作模式；1.1.1.1.构建稳定高效的平台。构建稳定高效的平台。构建稳定高效的平台。构建稳定高效的平台。面向海量数据，构建一个稳定高效的数据处理平台和服务平台是数据中心建设的核心。2.2.2.2.采用成熟的开发工具。采用成熟的开发工具。采用成熟的开发工具。采用成熟的开发工具。利用成熟的ETL工具，能够保证数据整合的完整性、高效性和可维护性；利用成熟的BI工具，能够快速、灵活、多视角、丰富地展示各类数据。3.3.3.3

5、.建立科学的数据模型。建立科学的数据模型。建立科学的数据模型。建立科学的数据模型。根据证券行业业务的特点，结合科学的数据组织方式搭建企业数据仓库，为今后数据统计、数据分析和数据挖掘打好基础。4.4.4.4.分步骤建设数据中心。分步骤建设数据中心。分步骤建设数据中心。分步骤建设数据中心。数据中心是一个持续建设的项目，我们将根据我们的现实需求和未来需求分步骤来建设我们的数据中心。（国家发改委项目）一、项目概述：What？1.1.1.1.数据加工厂。数据加工厂。数据加工厂。数据加工厂。在保持业务数据原始性和完整性的基础上，按一定的业务规则、指标、粒度对数据进行加工处理。2.2.2.2.数据服务者。数

6、据服务者。数据服务者。数据服务者。建设统一的数据服务平台，为各个业务系统以一定服务形式提供所需数据。3.3.3.3.数据发布者。数据发布者。数据发布者。数据发布者。数据中心体现了数据的权威性，向外报送的数据可以以统一的口径对外服务。4.4.4.4.业务发动机。业务发动机。业务发动机。业务发动机。数据中心的建设为创新业务的开拓奠定了坚实的基础，有了数据中心的基础，我们可以很方便很快速开发和实施一些增值服务系统。5.5.5.5.价值发现者。价值发现者。价值发现者。价值发现者。通过数据中心数据长期的积累，我们可以从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、事先不知道的但又是潜

7、在有用的信息和知识。案例：商场与网售一、项目概述：八项基本原则1.1.1.1.原则之一：原则之一：原则之一：原则之一：逐步投入、分步建设逐步投入、分步建设2.2.2.2.原则之二：原则之二：原则之二：原则之二：先易后难、逐步深入先易后难、逐步深入3.3.3.3.原则之三：原则之三：原则之三：原则之三：标准统一、服务多样标准统一、服务多样4.4.4.4.原则之四：原则之四：原则之四：原则之四：架构稳定、灵活扩展架构稳定、灵活扩展5.5.5.5.原则之五：原则之五：原则之五：原则之五：包容业务、有别业务包容业务、有别业务6.6.6.6.原则之六：原则之六：原则之六：原则之六：来自应用、服务应用来自

8、应用、服务应用7.7.7.7.原则之七：原则之七：原则之七：原则之七：数据积累、知识发现数据积累、知识发现8.8.8.8.原则之八：原则之八：原则之八：原则之八：树立权威、体现创新树立权威、体现创新二、系统介绍：技术框架原始数据操作数据数据仓库数据整合数据展示数据管理数据服务事务型DB：Oracle事务型DB：Oracle分析型DB：GreenPlumIBM DataStageIBM CognosDataStage、WebService快速开发平台RISC、AIXRISC、AIXX86、LinuxX86、LinuxX86、LinuxX86、LinuxX86、Linux二、系统介绍：数据关系OD

9、SODSEDWEDW交易交易营销营销资管资管财务财务清算清算客服客服内控内控资讯资讯D DA AT TA AS ST TA AGGE EE ET TL LD DA AT TA AS ST TA AGGE EE ET TL LEDWEDW交易数据清算数据营销数据财务数据其它数据非结构化数据交易数据清算数据营销数据财务数据其它数据规整数据ODSODSE ET TL L呼叫中心营销平台财务系统门户网站管理平台商业智能工具元数据管理和质量管理其它系统数据服务平台二、系统介绍：处理流程三、建设过程：系统选型之数据仓库选型1.1.高性能。高性能。基于X86架构的多节点并行处理，MPP结构决定性能。2.2.

10、低成本。低成本。包括硬件、软件、开发、扩展和维护成本。3.3.开放性。开放性。主流操作系统和数据库，支持主流的ETL、BI及开发工具。4.4.维护性。维护性。系统维护简单易学。GreenPlumGreenPlum满足了我们的需求！满足了我们的需求！满足了我们的需求！满足了我们的需求！海量并行处理结构(MPP：Massive Parallel Processing)由多个SMP服务器通过一定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度来看是一个服务器系统。其基本特征是由多个SMP服务器(每个SMP服务器称节点)通过节点互联网络连接而成，每个节点只访问自己的本地资源(内存、存储等

11、)，是一种完全无共享(Share Nothing)结构，因而扩展能力最好，理论上其扩展无限制，目前的技术可实现512个节点互联，数千个CPU。三、建设过程：系统选型之BI工具选型1.1.兼容性。兼容性。2.2.操作性。操作性。3.3.功能性。功能性。4.4.展现力展现力5.5.维护性维护性IBM CognosIBM Cognos满足了我们的需求！满足了我们的需求！满足了我们的需求！满足了我们的需求！三、建设过程：系统集成1.1.ODSODS数据库部署。数据库部署。IBM P570、Oracle 10g、HDS AMS1000(10T)2.2.EDWEDW数据仓库部署。数据仓库部署。Dell R

12、600、Dell MD1000、Suse Linux、GP3.3.DataStageDataStage系统部署。系统部署。Dell R300、RHL Linux、DataStage 8.14.4.CognosCognos系统部署。系统部署。Dell R300、RHL Linux、Cognos 85.5.展示和管理平台部署。展示和管理平台部署。Dell R300、RHL Linux、Resin、开发平台三、建设过程：开发过程调研调研分析分析业务需求调研和分析业务系统调研和分析后端后端设计设计数据结构（ODS、EDW、Platform）数据处理（抽取、清洗、转换、装载、推送、展示）前端前端设计设计

13、管理平台（权限、流程、监控、字典、元数据）系统集成（平台与Cognos的集成）软件软件开发开发后台开发（ODS、EDW、Platform、DataStage、Cognos）前端开发（快速开发平台）系统系统测试测试单元测试（抽取、清洗、转换、装载、推送、展示）集成测试（调度、管理平台）系统系统部署部署开发环境至生产环境的迁移数据初始化和数据装载三、建设过程：开发过程1.SVN：实现版本控制2.BugFree：实现任务调度和缺陷管理三、建设过程：开发过程Datastage作为ETL工具，在民族数据中心中的使用，有如下几个方面：1.数据的采集，通过Datastage将源业务系统的数据根据数据中心的需

14、要，进行采集。这部分主要是数据的简单复制2.数据的清洗，这部分包括两部分，一是从原始层到ODS层的清洗，另外一个是从ODS层到EDW层的清洗，前者主要通过调用存储过程来实现，后者则通过Datastage自带的数据处理组件来实现。3.数据的转换，这部分主要是ODS层到EDW层的转换。4.调度的管理，对于按照设计方案，需要进行周期性处理的任务，由Datastage负责进行调度。调度分两块，一是Datastage自身带的调度管理工具，另外一个是Datastage和操作系统的调度管理相结合的使用。5.数据服务，使用Datastage的数据快速复制功能，满足数据中心对周边业务系统的数据采集需要，进行数据

15、的主动推送，并发送推送状态报告给业务系统。三、建设过程：开发过程集成开发工具集成开发工具基于平台开发的系统基于平台开发的系统显示定制显示定制工具工具报表定制报表定制工具工具OAOA平台平台其它其它项目项目 报报表表财财务务软软件件其其它它软软件件ODSODSEDWEDWBIBI工具工具ETLETL工具工具ERPERP数据数据库库其他其他数据数据库库流程建模流程建模工具工具业务功能业务功能建模建模业务对象业务对象建模建模数据对象数据对象建模建模非平台系统非平台系统安全保障安全保障安安全全保保障障体体系系民族管理平台民族管理平台客户客户关系关系CRMCRM人力人力资源资源HRHR民族平台民族平台民

16、族平台民族平台营销营销数据数据库库1.业务建模2.快速开发3.质量控制四、实现效果：技术效果1.开放式技术架构：便于集成、开发和扩展2.清晰的数据层次：数据流清晰明了，有利于数据的扩展3.先进的整合工具：实现统一调度，处理大数据量性能高4.强大的展示工具：实现快速报表和多位分析5.卓越的数据仓库：具有高速海量数据处理能力6.灵活的业务模型：数据仓库以七大主题进行数据规划和组织7.快速的开发平台：通过建立业务处理模型就可以快速开发应用，不需要太多的编程工作四、实现效果：技术优势1.建设成本低2.维护成本低3.扩展成本低4.性能优势大：行业首用MPP架构5.业务支持好6.应用开发快：开发平台201

17、0年3月3日通过专家鉴定会鉴定四、实现效果：创新效果1.包容业务、有别业务。包容业务、有别业务。数据中心基础数据都来自各个业务系统，但并不是简单的数据整合，而是按一定的标准、规则、处理方式和数据模型进行重新组织，以便能够进行深度挖掘，为业务发展提供价值发现和决策分析。2.来自应用、服务应用。来自应用、服务应用。数据中心基础数据都来自各个业务系统，同时又要为各个业务系统服务。如，数据中心可以从柜台系统、CRM系统采集所需要的客户信息、交易信息、经纪人信息，通过数据中心进行数据处理后为CRM中经纪人推送相关的客户行为分析数据、资金周转率数据、佣金贡献率数据、监控指标数据等。3.支持动态分析过程。支

18、持动态分析过程。利用数据模型中的业务数据，结合业务模型，并通过商业智能工具进行动态分析。如，利用数据中心平台，针对公司净资本变化情况进行相应的敏感性分析和压力分析，帮助决策机构进行投资分析。4.支持快速开发业务系统。支持快速开发业务系统。数据中心提供标准的WebService接口，能够为各业务系统快速开发业务功能提供快捷的方式。四、实现效果：快速查询效果演示四、实现效果：多维分析图四、实现效果：获奖2009年10月24日，数据中心建设项目，由于其信息化项目的实施效果和影响，经峰会专家组评定，一举夺得“2009年中美CIO峰会”大会 2009信息化最佳IT项目实施奖。结束语就应用而言数据中心是一种资源不是成品；其建设就如烹调，火候很重要：烧焦与夹生，不完全具有复制性掌握火候，做一道适合自身口味的美味佳肴建设具有自身特点的数据中心行业知识共享，加强沟通与探索 谢谢！