H3C大数据解决方案课件.pptx

《H3C大数据解决方案课件.pptx》由会员分享，可在线阅读，更多相关《H3C大数据解决方案课件.pptx（40页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、H3C大数据解决方案目录l大数据建设思路lH3CH3C大数据解决方案lH3C大数据产品特点l成功案例展示为什么需要大数据技术？3大表查询慢数据间关系模糊计算节点扩展瓶颈数据结构多样 数据来源广泛 计算性能瓶颈存储容量瓶颈服务级别要求越来越高Old SQL瓶颈半、非结构化数据难以处理数据采集困难数据几何增长存储节点扩展瓶颈数据清洗复杂系统响应慢数据吞吐能力低单表数据量激增分析方式单一分析结果展现不友好无即席查询大数据建设思路4数据运营数据整合技术升级第一阶段第二阶段第三阶段第一阶段 技术升级大数据建设步骤技术升级6决策支持和流程自动化数据分析、展现和挖掘数据组织和管理计算、存储、网络基础设施分布

2、式存储分布式文件系统分布式卷管理器分布式数据库分布式计算集群技术升级解决传统计算、存储、数据库在处理海量大数据的瓶颈分布式架构的优势7第二阶段 数据整合大数据建设步骤数据整合9数据仓库全文库关联库专题库数据管理基础数据应用数据配置数据数据标准管理数据质量检测数据资源监控数据资源目录数据价值评价政务内网政务外网数据源互联网数据结构化库全文库音视频库元数据库数据字典制定标准化、规范化的数据处理流程；采集内部和外部数据、结构化和非结构化数据；清洗脏数据和无效数据；打通不同来源的数据；对非结构化的数据进行结构化加工第三阶段 数据运营大数据建设步骤建议数据运营11数据即服务平台即服务软件即服务数据运营第

3、一种：DaaS，数据即服务，举例来说，某个单位它需要数据，作为数据管理员，按用户的需求把不同数据整合成宽表给用户，这就是DaaS的服务；第二种：PaaS，对外部单位数据服务的时候，有些数据没有办法离开数据平台，通过提供各种各样数据分析挖掘的工具，让用户在平台上挖掘出需要的结果；第三种：SaaS，各个专业的平台应用。目录l大数据建设思路lH3C大数据解决方案lH3C大数据产品特点l成功案例展示H3C大数据平台系统架构平台物理拓扑14Hadoop集集群群MPP集集群群其他组件（其他组件（BI、ETL等）等）Interconnection Network基于X86的分布式架构，可从3台横向扩展至数千

4、节点H3C DataEngine平台组件Linux操作系统X86服务器集群资源管理YARN任务调度安全管理文件系统HDFS消息队列BI可视化可编程接口离线计算MapReduceMPP分布式数据库HBase数据库全文检索SQL即席查询数据仓库同步系统ZooKeeper内存计算Spark流计算Storm数据采集数据交换数据挖掘大数据大数据应用用H3C DataEngine兼容性好：基于开源Hadoop分布式计算框架，提供开放、兼容的大数据计算能力；硬件无关：支持物理机布署、虚拟机布署；支持独立布署、云平台布署；安装便捷：支持一键式快速布署，几分钟即可完成集群创建；扩展性强：集群数量从几台到上千台，

5、并支持在线横向扩展；方便运维：支持图形化管理工具，运维管理简单易用；兼容SQL：兼容标准SQL，包括Hadoop和MPP大数据平台整体建设步骤建立数据标准规范建立数据填报系统业务系统数据抽取连接共享交换系统数据比对垃圾过滤数据去重数据转换数据采集数据仓库建设根据分析型应用需求确定专题数据特征分析根据对需求和数据的分析，按照不同的主题建立数据仓库模型各业务部门根据各自的数据分析需求，建立数据集市模型通过ETL工具实现数据加载和同步数据分析应用专题图表设计领导辅助决策职能部门数据共享公众数据查询其他大数据应用系统1231.数据采集-数据共享交换平台1.在每个被采集的数据单位，部署数据采集网关，实现

6、对结构化、半结构化、非结构化数据的采集和相互交换2.支持对Oracle、SQLSever、MYSQL、达梦、金仓等数据的抽取3.支持对xml、html、pdf、txt等文件的抽取房产部门税务部门财政部门相关相关资源源提供机构提供机构其他职能部门RESTservices异构异构桥数据交数据交换总控控云服务网关数据交数据交换网关网关Rest数据集市数据交数据交换总控控数据交数据交换网关网关多多维立方体立方体数据数据仓库工商部门1.数据采集数据ETL清洗脏数据、重复数据、无效数据，打通不同来源的数据；对非结构化的数据进行结构化加工AA系统系统源数据BB系统系统CC系统系统数据抽取数据清洗数据转换数据

7、加载配置库配置库按规则抽取读取配置临时文件数据仓库（Hadoop+MPP）目标数据采用全可视化ETL系统，动态监控整个任务的执行情况拖拽式规则编辑，支持多种数据转换、清洗方式。1.数据采集配套ETL工具界面支撑数据库元数据GIS信息LDAP库DW数据仓库分析主题数据集市中心基础库人员企业环境工商统计ODS 操作数据库粗粒度数据细粒度数据2.数据仓库建设平台数据仓库架构 数据平台仓库是大数据平台的“大脑”，它存储的是“经过梳理的”各种业务系统数据。使原来分散在各业务系统中，无法关联的数据，真正成为全面的，有分析加值的综合性大数据。2.数据仓库建设并行加载、并行查询21disksdisksmemo

8、ryCPUCPUdisksmemoryCPUCPUdisksmemoryCPUCPUInterconnection Network数据MPP架构横向扩展数百节点2.数据仓库建设MPP数据库3.数据分析应用数据建模分析分布式存储、计算平台Distributed Execution Engine 分布式执行引擎R Runtime LibraryR语言动态运行库大数据平台算法R Language InterfaceR语言接口Java Language InterfaceJava语言接口R StudioWeb IDE开发环境公安大数据应用SQL on Hadoop、MPP交通大数据应用医疗大数据气象大

9、数据电力大数据3.数据分析应用数据可视化设计基础组件扩展组件KPI组件180仪表盘45仪表盘360仪表盘齿轮图温度计KPI子弹图扩展柱图条形图线图面积图散点图气泡图漏斗图热区图表格MAP扩展饼图GIS视频人口金字塔关系图扩展雷达图K线图图片标签文本音频7647266232组件：633.数据分析应用可视化组件支持范围 选择 数据模型 选择 维度 选择 度量 设置函数为“总和”设置 筛选条件 设置 排序 新建 自定义度量 设置 预警 执行，查看结果123456783.数据分析应用即席查询模块3.数据分析应用交通大数据目录l大数据建设思路lH3CH3C大数据解决方案lH3C产品特点l案例展示安装部署

10、主节点一键下发指令，自动安装部署Hadoop集集群群MPP集集群群其他组件其他组件集群部署：多样化部署方式，定制部署、ZERO部署；集群扩容：横向扩展、纵向扩展；集群规模：无限制，支持三台至上千台节点；集群交付：上千台节点集群分钟级交付；运维管理平台u安装部署u集群管理u主机管理u服务管理u用户管理u告警监控机架展示p节点p服务pCPUp内存p硬盘DataEngine MPP Cluster 可处理PB级别以上的结构化数据实际扩展能力达到64个Safegroup（最多64x3=192）个节点数据加载速度大于2TB/小时数据通过2个副本提供冗余保护每个节点并发能力大于300个用户数据支持hash

11、分布，range分布，random分布支持标准SQL提供标准的APIs:C API,JDBC,ODBC,ADO.NetDataEngine MPP大数据的安全建设p外围：华三具有全系列安全产品线产品用于支撑大数据集群和云计算周边安全。p租户：针对不同的租户分配不同的大数据集群资源区从而实现租户间数据隔离。p用户：用户访问集群首先要通过安全认证；使用集群中计算资源和存储资源需要对用户进行授权；用户对集群的操作通过审计功能进行记录。p数据：数据加密，数据脱敏。交换机防火墙VLAN Network交换机租户1租户2租户3大数据集群大数据集群大数据集群大数据物理机集群大数据物理机集群VMVMVMVM大

12、数据虚机集群大数据虚机集群华三云平台华三云平台VMVMVMVMVMVM云资源池云资源池云与大数据平台融合华三大数据平台既可单独部署，也可与云计算平台融合。融合架构适用于大数据计算资源按需分配场景，以及多租户隔离场景。目录l大数据建设思路lH3CH3C大数据解决方案lH3C产品特点l案例展示太阳能板光电互补绿色环保滚动广告牌播放广告或活动信息应急电源装置给手机等电子设备充电或加装充电桩给电动车辆充电无线网络接收器自动明暗系统节能控制可调节亮度影像传感器可换装影像监控器监控道路和行人AI控制系统具有感测和传输控制功能紧急互动系统路人按下按钮即可与管理员通话环境传感器可及时获取当地的地质、气象、车流变化数据H3C智慧云灯解决方案H3C智慧云灯大数据的价值-环保华中农业科技大学学生画像税务企业综合信用分析