大数据云平台建设技术规划课件.pptx
《大数据云平台建设技术规划课件.pptx》由会员分享,可在线阅读,更多相关《大数据云平台建设技术规划课件.pptx(28页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、20212021年年8 8月月某公司大数据云平台(cloud-T)建设技术规划目录页第一篇 X公司产品现状第二篇 云平台总体架构第三篇 大数据基础构建第四篇 关键技术分析 3 第一篇 产品现状人防园区消防供水桥梁添加标题燃气产品现状业务聚焦人防、消防,提供行业业务聚焦人防、消防,提供行业解决方案解决方案产品线划分明确,产品初具规模产品线划分明确,产品初具规模以桥梁、燃气、供水为基础,构以桥梁、燃气、供水为基础,构建城市生命线工程建城市生命线工程研究院产、学、研结合,衍生二研究院产、学、研结合,衍生二次产品次产品 4 第一篇 产品现状存在问题行业解决方案,依然是系统集成,行业解决方案,依然是系统
2、集成,难以体现核心竞争力难以体现核心竞争力产品自成孤岛,难成体系产品自成孤岛,难成体系平台分散、缺少复用,建设周期平台分散、缺少复用,建设周期长、开发难度大长、开发难度大基础设施和业务层耦合度过高,基础设施和业务层耦合度过高,单个产品建设成本较大单个产品建设成本较大人防建设消防建设桥梁建设供水建设燃气建设园区建设其他建设企业级大数据应用、云平台建设企业级大数据应用、云平台建设缺失缺失 5 第一篇 产品现状建设目标消防供水人防?园区燃气桥梁大数据云平台业务剥离、资源共享、分合自如业务剥离、资源共享、分合自如大数据支撑、挖掘,衍生新产品大数据支撑、挖掘,衍生新产品 6 第一篇 产品现状建设目标应用
3、服务层应用软件/服务数据挖掘软件/服务其他功能软件/服务。云平台IaaSPaaSSaaSAOC/DevOps基础设施层网络环境传感器物理机/虚拟机。平台支撑层数据仓库/存储数据服务/计算接口服务/标准。面向切面构建忽略基础设施剥离一般业务关注核心痛点。第一篇 产品现状建设目标企业级大数据云平台建设终极目标企业级大数据云平台建设终极目标 8 第二篇 云平台总体架构平台总述IaaS:提供基本的计算、网络和存储资源。PaaS:中间层,提供对行业业务应用的支持。SaaS:向用户交付最终业务应用和数据分析。PaaS环境层:为业务应用提供支撑的软件组件、包括各种中间件和数据库等。以Hadoop为代表的大数
4、据处理。PaaS业务层:包含了应用的后台程序,数据处理算法以及业务数据等实现业务能力的元素。PaaS服务层:将业务层的业务、算法和数据以接口的形式提供给上层的前端应用直接访问。平台核心:统一资源平台核心:统一资源+大数据大数据+开放服务开放服务 9 第二篇 云平台总体架构云管理整合整合传统传统IaaS的管理能力与传统的管理能力与传统PaaS的能力的能力资源接入、服务管理、应用系统环境支撑和统一监控资源接入、服务管理、应用系统环境支撑和统一监控体系四体系四位一体位一体 10 第二篇 云平台总体架构云管理特点面向一般数据中心典型的应用场景,提供对混合IT资源的统一接入,以构筑云模式下基础资源调度的
5、最佳实践。以PaaS能力为核心,将应用系统的典型软件组件以服务形态提供,为业务系统提供统一环境支持,并进行统一管理和监控。将大数据平台作为典型服务组件整合到云平台中进行统一管理,以适应未来应用对大数据能力的普遍使用。为用户提供面向DevOps的统一云服务业务流程,以统一平台提供传统的IaaS和PaaS能力,并贯穿开发、测试和生产的全过程。11 第二篇 云平台总体架构服务资源构建 12 第二篇 云平台总体架构服务资源构建混合混合IT基基础环础环境境:数据中心的最佳实践通常需要由物理机和不同价位和能力的虚拟化技术共同构成。一个最佳性价比的方案可以是使用物理机支持核心数据库和大规模计算、使用高效稳定
6、但成本高的虚拟化系统如VMWare等支持核心业务、使用普通虚拟化系统如HyperV等支持普通业务系统、最后使用低成本虚拟化系统如KVM等支持开发测试等环境。多资源区统一管理:多资源区统一管理:同一类虚拟化资源或者物理资源可以构成一个或若干个基本资源区。每个资源区一般包含一定数量的物理机。资源区的划分方式取决于业务的区隔。13 第二篇 云平台总体架构服务资源构建服服务务域域:承载支撑应用系统的软件组件以服务形式进行交付的区域。在这个区域中,每一套软件组件有一个自己独立的服务域。一个服务域中,软件组件典型的部署模式包含以下三种:a)按需模式:在一个服务域初始化时不创建具体的服务实例,当有用户请求时
7、再根据用户需求创建该软件组件的实例。b)预置模式:在服务域创建时构建相应软件组件的多个实例。当用户请求该软件的实例时,系统直接从已经创建的实例中进行分配。同时,该模式可以按照一定的策略保证空闲实例的数量。c)多实例模式:对一些特定类型的服务组件,一次部署以后可以产生多个服务实例。在这种情况下,该服务域在创建时可直接部署该组件,然后通过特定的服务接口在用户申请实例时,由这个部署的组件不断的创建服务实例。14 第三篇 大数据基础构建大数据基础管理架构采用分层整合,灵活配置,横向扩展,纵向贯穿的大平台服务能力,其计算框架、存储框架都以容器的方式可轻松灵活的在线进行装卸,以平滑扩充大数据平台的集成能力
8、。以Hadoop平台为基础,可在此基础上集成适应Hadoop体系的二级计算框架、通用的数据处理算法库和数据集市仓库。15 第三篇 大数据基础构建大数据基础管理架构大数据基础平台组成大数据基础平台组成:1.分布式存储框架分布式存储框架:主要负责针对海量数据的存储,以分布式存储技术,支持快速、海量、多种类型的数据存取。主要支持从数据源抽取数据大数据基础平台存储,集成多种存储方式,有针对结构化数据、非结构化数据和半结构化数据的存储。2.计算框架计算框架:主要提供批处理计算、内存计算、流式计算框架,由数据处理管理驱动来分配和调度计算框架,加载数据处理算法,完成数据处理。3.二级计算框架二级计算框架:主
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 平台 建设 技术 规划 课件
限制150内