（大数据资料）H3C DataEngine DI数据集成介绍.pptx

《（大数据资料）H3C DataEngine DI数据集成介绍.pptx》由会员分享，可在线阅读，更多相关《（大数据资料）H3C DataEngine DI数据集成介绍.pptx（42页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、H3C DataEngine DI 数据集成 介绍大纲H3C数据集成应用场景010203数据集成概述H3C数据集成介绍数据集成的定义数据集成就是把不同来源、格式、特性的数据在逻辑上和物理上有机地集中，从而为企业应用系统，数据仓库提供全面的数据共享。OracleMySQLDB2SybaseXML文件TXT共享库Excel主题库主题库主题库源数据目前市场面临的数据挑战 不规范数据复杂多数据源多系统的应用业务迅猛发展自主开发繁琐工具参差不齐6我的价值70%体现在了能够拿到数据，只有30%体现在数据分析上对数据集成软件提出的要求分散的数据数据消费者关键支持因素图形化、脚本化的数据处理模型实现异构数据源

2、的数据处理数据集成平台易学易用二次扩展开发能力 快速构建数据处理模型业务变化与调整导致数据结构不断变化传统的手工编码或存储过程已经无法满足快速变化的需求敏捷响应数据结构优化调整对海量数据处理能力的需求不断增加每天要执行上千个job，每个job要处理上千万条数据如何应对未知的数据异常企业级性能稳定性模型监控管理模型调度管理自定义作业管理作业自动化处理系统管理数据处理模型的管控OracleMPPERP业务分析人员开发人员大纲H3C数据集成应用场景010203数据集成概述H3C数据集成介绍应用数据库大数据平台文本文件XML影音图像CSV日志数据数据源数据集成平台目标数据数据仓库大数据平台资源目录应用

3、分布式抽取海量数据源适配分布式加载丰富的数据处理组件WEB设计器 H3C数据集成流程示意轻松整合海量异构数据、节约你项目的交付时间NodeExecutorExecutorExecutorNode ExecutorExecutorExecutorNodeExecutorExecutorExecutorManagerSchedulerRepositoryMonitorServerWeb DesignerJob submissionHeart beat模块说明DesignerWeb化的设计器Executor任务的执行者，负责维护任务运行实例的整个生命周期。Scheduler负责控制单一任务或任务链的

4、调度Monitor监控模块分为两部分，监控管理部分嵌入Manager中，监控数据采集部分嵌入Executor。ManagerWeb化的集中管理平台，包含但不限于任务管理、任务链管理、资源库管理、监控管理、警告报警、历史回顾、数据流量统计、系统管理等。Repository资源仓库，存储ETL元数据信息。数据集成引擎技术架构数据集成引擎部署结构 DI可视化设计界面（Designer）可视化设计界面（Designer）提供了数据模型设计、任务调度设计、运行监控管理等一体化的集成开发环境 DI功能组件库组件库是组件库是 DI DI产品的功能组件仓库，产品预制了几十种数据抽取、转换、装载产品的功能组件仓

5、库，产品预制了几十种数据抽取、转换、装载的常用组件以及任务调度组件，提供了企业数据整合中的常用功能的常用组件以及任务调度组件，提供了企业数据整合中的常用功能业务模型组件集：对数据本身进行操作的组件集合任务调度组件集：对设计好的数据流程进行管理调度的组件集数据抽取组件数据转换组件数据装载组件登录首页修改密码和注销执行机管理数据库连接管理任务管理设计面板作业自动化：生成DI作业任务链管理监控报表历史回顾H3C 数据集成特性 DI功能特性云化ETL云化分布式ETL引擎，充分发挥集群资源，实现负载均衡，大幅提高ETL效率，尤其适用于大数据平台的并行处理，且性能随着数据平台的扩展而提升 DI功能特性任务

6、调度用户可在数据集成引擎对作业进行实时调度、定时调度、时间间隔循环调度，实现处理作业自动化。DI功能特性监控告警对正在执行的任务甚至历史任务进行监控管理，能在任务出错时通过预定义方式告知用户任务失败。从而完善任务管理与监控体系，提升数据集成的可靠性。功能特性-基于数据流的并行处理模型基于分布式数据流的数据处理模型，最大程度的发挥各步骤的处理能力；同时支持多实例并行执行 DI ServerInstanceInstanceStreamStreamStreamStreamStreamStreamStreamStreamRunningRunningRunningRunningRunningRunnin

7、gRunningRunningRunning功能特性-基于元数据驱动技术元数据数据源信息、连接池信息、表结构、字段属性等业务元数据转换规则、映射规则、合并规则、业务处理脚本等技术元数据与业务元数据的统一存储保证了ETL流程的可配置、可管理、可优化，同时便于明确业务数据的具体来源元数据存储流程实例功能特性-多种异构数据源支持关系数据库关系数据库Oracle、MS SQL、MySQL、MPP半结构化数据半结构化数据XML、Excel、CSV非结构化数据非结构化数据TXT、DOC、PDF、Hbas、HdFS、Hive功能特性：基于DI实现两种ETL架构同步ETL架构异步ETL架构SourceTarg

8、et DI ServerSourceTarget DI Server DI Server网络传输（P2P、FTP、Socket、JMS）功能特性-ETL模型设计与运行提供图形化设计界面，简单易用丰富的组建库，可应对复杂的数据整合要求提供可视化监控工具，可实时监控到数据变换的情况跨平台和丰富的数据源支持底层采用数据流的方式进行数据交换，多引擎并行处理，在大负荷的数据 提供了JAVA、JS、XML等多种扩展机制，可自定义实现复杂数据转换模型 功能特性-ETL调度与管理开放的调度引擎，丰富的作业类型调度引擎与作业引擎分离，扩展非常灵活。支持作业集中调度或者作业分组调度，调度引擎支持FailOver。

9、支持负载均衡、作业优先级分配及VIP通道支持作业参数及参数传递灵活的调度配置计划任务：日历+频度+时间窗+作业+消息设置触发方式：计划、事件、作业依赖、前后置处理、手工触发良好的运维体验Web界面，图形+表格更直观强大实用的特色功能内置数据质量检核组件，形成事前、事中、事后的质量管理体系提供资源监控、自定义内容监控和作业运行性能分析灵活的权限管理和资源安全机制支持作业自动化，根据源、目标的Mapping关系，自动生成作业功能特性-调度与监控 对系统内的服务器和逻辑资源进行资源监控 对系统内的相关服务器和逻辑资源，包括管理服务器、调度服务器、代理服务器，包括物理服务器的CPU、内存、硬盘空间使用

10、情况进行监控；对上述逻辑服务器的连接性情况进行监控可视化的监控界面直观清晰，易于运维人员及时发现故障服务器，并及时排除错误，保证系统的正常运行阀值设置 对运行中的相关指标值进行阀值设置：如高位警戒值、低位警戒值、监控数据采集频度（时间间隔）、代理状态采集频度、HTTP连接超时时间、监控历史保存时间通过这些设置可使监控界面色彩丰富，在某些数值到达临界值时，起到提醒运维管理员关注的作用负载加权算法 可以自定义加权算法区别作业对CPU优先和内存优先系统依据加权负载值对作业进行均衡负载，在代理服务器上分担作业的运行，从而最大限度的保障系统的可靠运行大纲H3C数据集成应用场景010203数据集成概述H3

11、C数据集成介绍应用场景 适用范围广泛，既可以作为数据仓库与源数据库之间的数据桥梁，也可以作为业务数据流转的通道，还能作为流程引擎的主要部分。简单来说，一般有以下应用场景：01020403数据整合实现同异构数据源之间的数据采集、传输、处理、整合，打破数据孤岛。系统间迁移新旧系统替换时，常需要将旧系统的数据集成至新系统。数据同步为数据仓库业务增量数据提供多维度的定时同步功能。数据分析在不影响业务的同时，将业务数据实时同步至分析系统中，快速满足业务决策及BI系统。ETL处理使用DI构建数据仓库应用OracleMySQLDB2SybaseXML文件TXTExcelData Source DI数据中心（ODS）主题库主题库主题库数据仓库的监控与维护ETL元数据管理ETL处理ETL处理模型监控与配置主题库主题库DataWarehouseReport/OLAP/DSSOLAP引擎报表工具前端应用数据中心概念数据模型ETL调度数据集成类项目中复杂且需要内部循环的模型THANKS