“1 X”(高级)02阿里云大数据体系架构.pptx

《“1 X”(高级)02阿里云大数据体系架构.pptx》由会员分享，可在线阅读，更多相关《“1 X”(高级)02阿里云大数据体系架构.pptx（85页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、“1 X”(高级)02-阿里云大数据体系架构阿里云大数据体系架构2学习完本课程后，你将能够：1. 了解阿里云大数据产品体系2. 了解阿里云数据存储与计算工具3. 了解阿里云数据挖掘与机器学习工具4. 了解阿里云数据可视化工具课程目标3课程目录1. 阿里云大数据产品体系2. 数据存储计算工具3. 数据挖掘与机器学习工具4. 数据可视化工具4阿里云大数据平台一站式数据平台提供多层服务行业解决方案阿里云大数据平台定位5阿里云大数据平台产品架构 交互式分析引擎 Hologres 图计算引擎GraphCompute大数据计算服务MaxCompute开源大数据计算服务 E-MapReduce 实时计算Re

2、altimeComputeIOTDBHDFSOSS异构数据源管理元数据采集与构建元数据仓库元数据服务跨引擎混合调度跨云混合调度跨地域混合调度流批混合调度调度流程逻辑控制离线开发实时开发机器学习图计算分析交互式查询数据服务应用开发智能云上开发X-Studio(IDE插件对接各种引擎）数据资产数据质量数据安全数据分析数据监控数据分享批量同步实时同步增量同步数据转换IOT采集计算存储引擎全域数据集成统一元数据中心统一任务调度智能数据开发数据综合治理DataWorks 全域智能大数据平台阿里云大数据平台优势平台优势应用广泛的最佳实践极致的性能与成本易用齐全的产品体系AI加持的双生系统67阿里云大数据平

3、台VS Hadoop大数据平台数据采集与预处理：阿里云日志服务、数据集成、阿里云消息服务、DTS等数据同步工具数据存储：MaxCompute（盘古）、TS、OSS （HBASE、Redis ）同样支持数据挖掘分析：MaxCompute SQL、MaxCompute MR、 PAI、ADB等数据应用：QuickBI、DataV，同样支持Tableau、Qlikview、PowrerBI等DataWorks（飞天系统）8课程目录1. 阿里云大数据产品体系2. 数据存储计算工具 2.1 阿里云大数据计算服务MaxCompute 2.2 一站式大数据开发平台DataWorks 2.3 阿里云分析型数据

4、库AnalyticDB3. 数据挖掘与机器学习工具4. 数据可视化工具大数据计算服务-MaxCompute 大数据计算服务MaxCompute，由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域。阿里巴巴的数据业务都运行在MaxCompute。MaxComputeMaxCompute 是一种快速、完全托管的EB级数据仓库解决方案。9MaxCompute系统架构MaxCompute以数据为中心，内建多种计算模型和服务接口，满足广泛的数据分析需求。一切服务“开通”即用，更好地赋能数据业务。 以数据为中心 统一的元数据及安全体系 多计算模

5、型，多种开发接口扩展更丰富的应用场景 拥抱生态工具，降低用户迁移风险与成本 开箱即用的产品解决方案10MaxCompute 产品特点易用标准API的方式提供服务高并发高吞吐量数据上传下载全面支持基于SQL的数据处理管理与授权支持多用户管理协同分析数据支持多种方式对用户权限管理配置灵活的数据访问控制策略分布式采用分布式集群架构跨集群技术突破机群规模可以根据需要灵活扩展安全自动存储容错机制所有计算在沙箱中运行保障数据高安全性、高可靠性11MaxCompute 的主要功能及作用数据通道计算分析开发SDK安全服务MaxCompute致力于批量结构化数据的存储和计算，提供海量数据仓库的解决方案及分析建模

6、服务。通常和DataWorks一起构建大数据分析平台。12MaxCompute常见使用方式客户端方式使用场景及优势API/SDK：以RESTful API或Java SDK、python SDK的方式提供离线数据处理服务。定制开发，满足个性化需求，与外部系统对接。CLT （Command Line Tool）：运行在Window/Linux下的客户端工具，通过CLT可以提交命令完成Project管理、DDL、DML等操作。本地上传下载数据、项目空间管理；灵活、易用。DataWorks：提供了上层可视化ETL/BI工具，用户可以基于DataWorks完成数据同步、任务调度、报表生成等常见操作。团

7、队分工协作数据开发全流程，高效、安全。IDE插件：eclipse插件、IDEA插件、RStudio插件，扩展IDE对MaxCompute的支持。使用第三方IDE对接MaxCompute，提升本地开发、调试效率。MaxCompute的使用有以下几种方式：13MaxCompute的客户端MaxCompute客户端是一个java程序，需要JRE环境才能运行，请下载并安装JRE 1.6+版本（JRE 1.7或以上版本，建议优先使用JRE 1.7/1.8，其中JRE 1.9已经支持，JRE 1.10暂时还不支持）。 1.官网下载客户端压缩文件 2.解压文件，可以看到如下4个文件夹： bin/ conf/

8、 lib/ plugins/客户端工具CLT修改/conf/odps_conf.ini project_name=project_name access_id=* access_key=* https_check= 14Java+eclipse的应用Java eclipseStep 01 官网导航中找到并下载 MaxCompute for eclipse 插件；Step 02 将插件解压并复制到问 eclipse 安装目录下的 plug-in 子目录下；Step 03 启动 eclipse；Step 04 检查Wizard选项，确认配置成功。15使用MaxComput StudioIntell

9、iJ IDEAMaxCompute Studio，是面向MaxCompute计算引擎开发的数据处理开发工具，是一套基于流行的集成开发平台IntelliJ IDEA的开发插件。安装步骤：1. 安装 JDK 1.82. 安装IntelliJ IDEA,需要 IntelliJ IDEA 14.1.4 以上3. 在 IntelliJ IDEA 中打开 File | Settings | Plugins， 点击 Browse repositories. 按钮4. 搜索 “MaxCompute Studio, 安装 MaxCompute Studio 插件5. 完成安装，重新启动 IntelliJ IDE

10、A6. 创建MaxCompute项目链接16数据上传/下载综述DataHub实时数据通道 OGG 插件 Flume 插件 LogStash 插件 Fluentd 插件Tunnel批量数据通道 DataWorks DTS Sqoop Kettle 插件 MaxCompute 客户端MaxCompute系统上传/下载数据包括两种方式:17MaxCompute SQLMaxCompute SQL 是个数据仓库工具，Query 解析后，计算和存储交由底层的飞天实现。MaxCompute SQL 支持常用的 SQL 语法，包括窗口函数MaxCompute SQL 可以看做对标准 SQL 的支持，但是不能

11、简单等同于数据库MaxCompute SQL 不支持事务、主外键约束、索引等MaxCompute SQL 长度有限制，目前是不能超过 2 MMaxCompute SQL 适用于海量数据(TB/PB级别)的数据运算MaxCompute SQL 的每个作业的准备，提交等阶段要花费较长时间，实时性不高18MaxCompute SQL的函数内置函数自定义函数MaxCompute中的函数1920分布式离线计算框架-MapReduceMR的开发应用流程1 12 23 34 412341）安装配置环境2）开发 MR 程序；3）本地模式测试脚本4）导出 Jar 包55）上传至 MaxCompute 项目空间6

12、6）在 MaxCompute 中使用MR21MaxCompute Graph 编程模型Graph是MaxCompute提供的面向迭代的图计算处理框架，为用户提供类似Pregel的编程接口，用户可以基于Graph框架提供的接口Java SDK开发高效的机器学习或数据挖掘算法。 图计算编程模型（类似 Google Pregel） 数据装载到内存，在迭代次数较多时优势明显 可用于开发机器学习算法 可以支持 100 亿顶点和 1500 亿边的规模 典型应用：PagerankK-Means 聚类一度、二度关系，最短路径等 Graph 作业处理数据是一个图 原始数据存储在 Table 中，用户自定义的 G

13、raphLoader 将 Table 中的数据加载为点和边 迭代计算22Graph的处理流程0101加载图0202迭代计算0303迭代终止图加载：调用GraphLoader将表 解析为点和边分布化：调用Partitioner对点进 行分片，分配到相应的 worker (如2个worker则0,2一组)执行用户实现的Compute：处理上一个超步发给当前点的消息 根据需要对图进行编辑 通过Aggregator汇总信息至全局 设置当前点的状态：结束或者非结束 框架将消息异步方式发给下一个超步满足以下三条之一： 所有点均处于已结束状态 达到最大迭代次数 某个Aggregator的terminate返

14、回True23使用场景基于SQL构建大规模数据仓库系统和BI系统基于DAG/Graph构建大型分布式应用系统基于统计和机器学习的大数据统计和数据挖掘2425课程目录1. 阿里云大数据产品体系2. 数据存储计算工具 2.1 阿里云大数据计算服务MaxCompute 2.2 一站式大数据开发平台DataWorks 2.3 阿里云分析型数据库AnalyticDB3. 数据挖掘与机器学习工具4. 数据可视化工具大数据开发平台-DataWorksDataWorks（数据工场，原大数据开发套件）是阿里云数加重要的PaaS平台产品，它提供全面托管的工作流服务，一站式开发管理的界面，帮助企业专注于数据价值的挖

15、掘和探索。 它是一套基于MaxCompute（原ODPS）的DW解决方案，它集成了阿里多年的DW实施经验，提供数据集成、处理、分析和管理功能，并为代码开发、调试、发布、运维、监控和管理提供了一个高效、安全的离线数据开发环境。26DataWorks产品架构DataWorks提供九个核心功能模块：以数据为基础，以全链路加工为核心，提供数据汇聚、研发、治理、服务等多种功能。27DataWorks 产品特点易用零成本构建数据服务轻松构建数据应用一站式数据解决方案管理与授权支持多用户管理协同处理数据支持多种方式对用户权限管理配置灵活的数据访问控制策略强大数据支撑复杂网络数据源环境千万级别的复杂任务调度多

16、种数据类型同步处理安全多角色灵活控制开发、生产环境隔离智能监控28DataWorks 的主要功能及作用全面托管的调度数据转化与同步可视化开发监控告警使用DataWorks，可以对数据进行传输、转换和集成等操作，从不同的数据存储引入数据，并进行转化和开发，最后将处理好的数据同步至其它数据系统。DataWorks提供全链路智能大数据及AI开发和治理服务。通常情况下DataWorks和其他产品结合在一起尤其是MaxCompute搭建数据分析系统。29DataWorks 的使用流程DataWorks 的使用从主账号（组织管理员）创建项目和子账号开始并赋权开始。不同角色的账号操作模块不同。开通MaxCo

17、mpute资源 新建项目空间 新建项目空间 创建子账号分配项目管理员 添加项目成员 数据开发 生产运维组织管理员（主账号）项目管理员（子账号）开发（子账号）部署+运维（子账号）1 12 23 34 4开通MaxCompute资源DataWorks30数据平台开发流程 数据产生数据产生 数据提取数据提取数据收集与存储数据收集与存储数据分析与处理数据分析与处理数据展现与分享数据展现与分享大数据开发平台 数据产生：业务系统产生的结构化的数据，通常存储的数据库中，如MySQL、Oracle、RDS等类型。 数据收集与存储：利用MaxCompute的海量数据存储与处理能力来分析这些已有的数据，首先需要将

18、不同业务系统的数据同步至MaxCompute中。DataWorks提供数据集成服务，可将多种数据源类型数据按照预设的调度周期同步到MaxCompute中。 数据分析与处理：对MaxCompute上的数据进行加工（MaxCompute SQL、MaxCompute MR）、分析与挖掘（数据分析、数据挖掘）等处理，从而发现其价值。 数据提取：分析与处理后的结果数据，需同步导出至其他（业务）系统，供业务人员使用其分析的价值。 数据展现和分享：最后可通过报表、地理信息系统等多种展现方式来展示与分享大数据分析、处理后的成果。31数据处理数据输入数据加工代码发布生产运维数据输出生产调度开发角色部署/运维运

19、维角色涉及模块：数据开发模块发布管理模块运维中心模块数据管理模块注：在数据开发过程中，需由项目管理员在【项目管理数据源配置】来新增数据源供开发使用。32本地数据导入DataWorks支持以下两种操作：将保存在本地的文本文件中的数据上传到工作空间的表中。通过数据集成模块将业务数据从多个不同的数据源导入到工作空间。本地文本文件上传的限制如下：文件类型：仅支持 .txt 和 .csv 格式。文件大小：不超过 10 M。操作对象：导入分区表时，分区不允许为中文。33数据节点开发选择或新建业务流程新建或选择已有的ODPS SQL节点编写符合语法的SQL代码当前界面测试运行、检查语法逻辑错误、输出结果配置

20、节点调度信息、依赖关系（非手工流程）保存、提交节点任务发布到生产、测试（非单一项目）DataWorks中，ODPS SQL节点、Shell节点、PyODPS节点等各类节点的开发过程大同小异，根本区别在于个不同类型节点的数据处理实现。ODPS SQL节点开发过程示例如下:34任务调度配置任务的时间属性目前支持月、周、天、小时和分钟 5 种配置方式，目前能支持的最短时间为 分钟。说明：周期运行的任务依赖关系的优先级 大于 时间属性，即在时间属性决定的某个时间点到达时，任务实例运行的前提是上游依赖是否全部运行成功。上游依赖的实例没有全部运行成功 并且 定时运行时间已到，则实例仍为 未运行状态。上游依

21、赖的实例全部运行成功 并且 定时运行时间还未到，则实例进入 等待时间 状态。上游依赖的实例全部运行成功 并且 定时运行时间已到，则实例进入 等待资源 状态准备运行。35DataWorks中的参数设置参数类型设置方式适用类型参数编辑框示例系统参数 bdp.system.bizdate 和bdp.system.cyctime在调度系统中运行时，无须在编辑框设置，可直接在代码中引用 $bdp.system.bizdate和$bdp.system.cyctime， 系统将自动替换这两个参数的取值全部节点类型无自定义参数在代码中引用$key1,$key2， 然后在“参数”编辑框以如下方式设置 “key1

22、=value1 key2=value2”，除Shell外的其他节点类型常量参数：param1=”abc” param2=1234； 变量参数：param1=$yyyymmdd, 结果将基于bdp.system.cyctime的取值计算在代码中引用$1 $2 $3， 然后在“参数”编辑框以如下方式设置： “value1 value2 value3”Shell类型常量参数：”abc” 1234； 变量参数：$yyyymmdd, 结果将基于bdp.system.cyctime的取值计算36数据管理数据管理为用户提供组织内全局数据视图、用户可以对组织内数据进行分权管理、元数据信息详情、数据生命周期管理

23、、数据表/资源/函数权限管理审批等操作。具体功能以及管理模块权限如图：1. 数据搜索2. 数据权限申请3. 新建表4. 收藏表5. 修改生命周期6. 修改表结构7. 隐藏表8. 修改表负责人9. 删除表10.查看表详情11.类目导航配置功能模块权限点组织管理员项目管理员开发权限管理权限审批与收回管理配置类目导航配置数据管理自己创建的表删除数据管理自己创建的表类目设置数据管理自己收藏的表查看数据管理新建表数据管理自己创建的表取消隐藏数据管理自己创建的表结构变更数据管理自己创建的表查看数据管理自己申请的权限内容查看数据管理自己创建的表隐藏数据管理自己创建的表生命周期设置数据管理非自己创建的表数据权

24、限申请37运维操作运维中心仅对开发、运维、项目管理员角色的人员开放：开发：进行单个工作流/节点测试、补数据、暂停、重跑任务，查看任务运行日志等操作，还可配置监控报警 ；运维：经常处理任务异常，运维任务包括：单个工作流/节点测试、补数据、暂停、重跑任务等操作。同时，还可进行批量修改工作流/节点属性、批量杀任务及批量重跑、配置监控报警等干预性操作。项目管理员:在运维中心模块中拥有与运维人员同等的操作权限。38智能监控智能监控模块是DataWorks（数据工场）任务运行的监控及分析系统。根据监控规则和任务运行情况，智能监控决策是否报警、何时报警、如何报警以及给谁报警。智能监控会自动选择最合理的报警时

25、间，报警方式以及报警对象。基线预警和事件告警 通过设定基线监控任务，即监控范围 设定报警策略 智能判定报警时机和对象、自动升级报警自定义提醒 轻量级监控功能 自行设定报警对象、条件、方式以及频次 触发条件包括完成、出错、未完成、超时其他 值班表功能，即可以设置某个值班表某个人在某个时间段内接收报警 值班表支持循环规则配置3940课程目录1. 阿里云大数据产品体系2. 数据存储计算工具 2.1 阿里云大数据计算服务MaxCompute 2.2 一站式大数据平台DataWorks 2.3 阿里云分析型数据库AnalyticDB3. 数据挖掘与机器学习工具4. 数据可视化工具41AnalyticDB

26、是什么？ 分析型数据库（AnalyticDB，原ADS）： 是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算服务，使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。分析型数据库对海量数据的自由计算和极速响应能力，能让用户在瞬息之间进行灵活的数据探索，快速发现数据价值，并可直接嵌入业务系统为终端客户提供分析服务。AnalyticDB产品架构42AnalyticDB 产品特点高度的计算自由无需预先进行数据建模海量数据灵活分析极速的响应时间毫秒级千亿数据多维透视毫秒级多个大表关联计算使用简单支持标准SQL支持标准MySQL协议内置数据接入和输出丰富的

27、特色功能高性能的自动索引海量数据的极速导出内置空间、分段等函数43AnalyticDB 的主要功能及作用实时分析急速查询超大规模易用兼容ADB MySQL版是云端托管的大规模并行处理（MPP）的PB级数据仓库，通常作为实时分析数据库应用，实时数据分析处理、在线数据运营。44AnalyticDB 的使用流程AnalyticDB云原生数据仓库MySQL版完全兼容MySQL协议，创建好数据后，就可以像使用MySQL一样使用数据库了。开通服务创建集群设置白名单创建数据库账号创建数据库连接集群、登录数据库数据操作AnalyticDB45数据库连接MySQL 连接命令：mysql h -P3306 u -

28、p示例：mysql -ham-bp* -P3306 -utest -pTest123参数说明: adb_url：AnalyticDB for MySQL集群的连接地址，通过控制台集群信息页面中的网络信息区域获取连接地址。 3306：端口为3306。 adb_user：AnalyticDB for MySQL集群中的高权限账号或者拥有相关权限的普通账号。 adb_password：账号对应的密码。通过支持MySQL 协议的客户端连接数据：46Java开发应用首先下载并安装接着在Eclipse中，选择 项目-属性-Java构建路径，在“库”选项卡中，选择“添加外部JAR”，找到下载的 mysql-

29、connector-java-5.x.x-bin.jar 文件，将其添加进项目Connection connection = null;Statement statement = null;ResultSet rs = null;try Class.forName(); String url = jdbc:mysql:/adb_url:3306/db_name?useUnicode=true&characterEncoding=UTF-8; Properties connectionProps = new Properties(); connectionProps.put(user, acco

30、unt_name); connectionProps.put(password, account_password); connection = DriverManager.getConnection(url, connectionProps); statement = connection.createStatement(); String query = select count(*) from information_schema.tables; rs = statement.executeQuery(query); while (rs.next() System.out.println

31、(rs.getObject(1); catch (ClassNotFoundException e) 47数据导入导出数据管理DMS自带功能DMLDataWorks数据同步支持CSV、ZIP、SQL文件上传，普通版上传文件大小限制为100M,高级版为1GB。分为两类：其一通过外部表方式，此方式限于常见数据库如RDS、DRDS之间、MaxCompute、OSS之间；其二使用客户端通过Load 命令方式。数 据 源 类 型 支 持DataWorks中定义的的数据源类型，包括：RDS、自建数据库MySQL/SQLServer/postGreSQL、DRDS、OSS、Oracle、ftp等。实时数据传

32、输工具其一支持通过DTS实时 同 步 R D S f o r MySQL、DRDS数据；其二通过Logstash实时采集日志数据或消息类数据到ADB。4849课程目录1. 阿里云大数据产品体系2. 数据存储计算工具3. 数据挖掘与机器学习工具 3.1机器学习PAI4. 数据可视化工具什么是机器学习PAI阿里云机器学习平台PAI（ Platform of Artificial Intelligence ）：是构建在阿里云MaxCompute计算平台之上，集数据处理、建模、离线预测、在线预测为一体的机器学习平台。为算法开发者提供了丰富的MPI、PS、BSP等编程框架和数据存储接口，同时提供了基于W

33、EB的可视化控制台，降低了使用门槛。PAI上手简单、算法丰富、一站式体验并支持深度学习。机器学习PAI50PAI 产品架构51PAI 产品特点易用通过对底层分布式算法的封装，提供拖、拉、拽的可视化操作环境。使机器学习的创建过程像堆积木一样简单。算法丰富提供特征过程、数据预处理、统计分析、机器学习、深度学习框架、预测评估等300多种算法组件一站式提供模型训练功能，还提供在线预测功能以及离线调度功能，让机器学习训练结果和业务可以无缝衔接。深度学习支持目前Tensorflow、Caffe、MXNet、PyTorch主流的机器学习框架，底层提供GPU卡进行训练。52PAI 的功能及应用可视化建模和分布

34、式训练交互式AI研发自动化建模在线预测服务PAI跟DataWorks是无缝打通的，实现SQL、UDF、UDAF、MR等多种数据处理，基于PAI平台上训练模型，生成的模型可以通过EAS部署到线上环境，并支持周期性调度，也可以发布到DataWorks与其它上下游任务节点打通依赖关系。另外调度任务区分生产环境以及开发环境，可以做到数据安全隔离。即数据在MaxCompute或OSS上，PAI完成数据建模。53PAI 的使用流程PAI 的可视化建模可以基于模板也可以新建。开通服务选择所属项目空间创建模板或选择模板配置数据源数据建模部署应用PAI 54PAI的数据建模数据预处理数据特征工程机器学习模型训练

35、模型评估离线/在线服务学习 在明确任务、目标、并且掌握数据实际情况前提下，即完成商业理解任务、数据理解任务前提下，开始机器学习的数据建模过程： 1）数据预处理 2）选择特征 3）选择模型进行数据训练 4）模型评估 5）应用部署及再学习、再训练55PAI建模支持的组件PAI提供最丰富的组件：包括特征工程、数据预处理组件、统计分析、常用机器学习算法、深度学习、垂直应用相关的文本分析、探索推荐、图像处理、网格分析等多种算法。数据预处理组件特征工程组件统计分析组件机器学习组件文本分析组件网络分析组件深度学习组件PAI支持的组件56PAI三种建模方式 PAI-AutoLearning PAI-AutoL

36、earning 支持在线标注、自动模型训练、超参优化以及模型评估。只需少量标注数据为输入，无需人工智能基础、无需写代码、无需调参，模型训练完整过程交给PAI AutoLearning，即可得到高可用的模型。数据标注模型训练及评估模型试用57PAI三种建模方式 PAI-StudioPAI-Studio提供可视化的机器学习实验开发环境，帮助用户实现无代码开发人工智能相关服务。内置数百个成熟的机器学习算法，覆盖商品推荐、金融风控、广告预测等场景，满足用户不同程度的需求，即开即用。58PAI三种建模方式 PAI-Studio机器学习控制台点击进入PAI-Studio点击创建项目点击进入PAI算法平台5

37、9PAI三种建模方式 PAI-Studio点击新建实验点击查看实验列表点击查看数据源点击查看组件点击查看模型点击进入设置60PAI三种建模方式 PAI-Studio当前进入的实验点击查看组件右击组件，弹出菜单可进行修改、运行、查看数据和日志操作组件列表中，展开各类组件中的具体组件，选择具体组件拖入实验画布构建实验61PAI三种建模方式 PAI-DSWPAI-DSW通过DSW平台完成数据预处理、算法开发、模型训练以及模型部署，无需多平台切换。DSW内置了PAI团队深度优化过的Tensorflow框架，同时也支持通过打开Terminal自行安装第三方库。62PAI的在线预测、离线调度PAI 除了提

38、供模型训练功能，还提供了在线预测以及离线调度功能，让机器学习训练结果和业务可以无缝衔接。6364课程目录1. 阿里云大数据产品体系2. 数据存储计算工具3. 数据挖掘与机器学习工具4. 数据可视化工具 4.1 BI分析平台Quick BI 4.2 数据大屏DataVQuick BI 介绍Quick BI 是一个基于云计算的灵活的轻量级的自助BI工具服务平台。它提供海量数据实时在线分析，拖拽式操作、丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查。它不止是业务人员看数据的工具，更是数据化运营的助推器，解决大数据应用“最后一公里”的问题，实现人人都是数据分析师。Quick BI65Qu

39、ick BI 产品架构数据源Quick BIDesign Portal可视化组件库智能洞察工作表模型设计器仪表板数据门户安全管控组织管理智能引擎Super EngineIn-MemoryIndexMPPCube智能路由算法库语音识别机器学习文本挖掘66QuickBI 产品特点多支持多种类型数据源支持多种可视化组件快海量数据的实时分析提供智能的一键加速好灵活的报表集成方案严密的安全权限管理省门槛低易上手省时间云计算费用低省成本67Quick BI 的功能及作用数据分析极速建模数据可视化多维数据分析数据报表集成多用户协作Quick BI是在大数据构建与管理之上，直接解决业务场景问题，支持全局数据监

40、控和数据化运营,QuickBI通常在大数据分析平台实现数据分析、数据展现。常见应用场景如：数据及时分析与决策、报表与自有系统集成、交易数据权限管控等。68Quick BI 核心流程Quick BI 是一个基于云计算的灵活的轻量级的自助BI工具服务平台。新建数据源创建数据集制作工作表、电子表格和仪表板搭建数据门户Quick BI 6970课程目录1. 阿里云大数据产品体系2. 数据存储计算工具3. 数据挖掘与机器学习工具4. 数据可视化工具 4.1 BI分析平台Quick BI 4.2 数据大屏DataV什么是DataVDataV数据可视化: 是阿里云研发的，使用可视化大屏的方式来分析并展示庞杂

41、数据的产品。DataV旨让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用，满足会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。DataV71DataV的特点高性能的三维渲染引擎，游戏级渲染能力大量的炫酷图表组件专业级地理信息可视化，地理数据多层叠加数十种行业数据模板多种数据源接入图形化编辑页面，拖拽方式轻松搭建大屏灵活部署和发布可视化大屏DataV的特点：DataV72DataV 的功能及作用丰富场景模板多数据类型分析图形化搭建工具多分辨率适配发布DataV通过拖、拉、拽形式实现数据可视化，完成工业级的数据可视化项目的开发。基于高性

42、能的三维渲染引擎，实现对海量数据分析；丰富的炫酷图表组件可以帮助客户搭建专业级地理信息可视化应用。73DataV 的使用流程DataV 的应用可以直接采用系统提供模板也可以新建模板。开通服务1u 实名认证账号u 登录控制台u 开通DataV组件开发布局规划2u 构建大屏项目u 新建数据源u 测试、上传数据3u 模板选取u 组件选取u 布局设计4u 组件样式设计u 组件数据设计u 预览测试5u 大屏发布u 安全管控发布应用导入数据DataV74DataV 场景模板DataV提供了指挥中心、地理分析、实时监控、汇报展示等多种场景模板，简单修改即可快速投入使用。即使没有专业的设计师，可视化作品也可以

43、具备高设计水准。WEB大屏模板示例APP移动端模板示例75DataV 丰富开放的图表库可视化图表组件示例DataV提供了多种图表组件，支撑多种数据类型的分析展示；还接入ECharts、AntV-G2等第三方开源图表库。76DataV 多样的地理信息组件DataV能够绘制包括海量数据的地理轨迹、地理飞线、热力分布、地域区块、3D地图、3D地球，实现地理数据的多层叠加。地理组件示例网站流量模板示例77DataV 多种数据源支持DataV能够接入阿里云的分析型数据库和关系型数据库，支持本地CSV上传、静态JSON文件，在线API接入及动态请求。企业版还支持Oracle和SQLServer。满足各类大

44、数据实时计算、监控的需求，充分发挥大数据计算的能力。78DataV 图形化编辑界面DataV提供多种业务模块级别而非图表组件的工具，所见即所得的配置方式，无需编程能力，只需要通过拖拽，即可创造出专业的可视化应用。添加、移动组件示例样式配置示例数据配置示例79DataV 数据交互分析DataV支持图形化的配置图表之间的交互联动，通过图表之间的参数传递实现数据的交互分析。组件A: 设置回调ID（x,y）组件B: 使用回调ID（x,y）80DataV 多种适配与发布DataV 特别针对拼接大屏端的展示做了分辨率优化，能够适配非常规拼接分辨率做适配优化。提供三种发布方式：公开分享、密码访问、Token

45、验证。公开分享企业版密码访问和Token验证81本章小结阿里云大数据平台优势阿里云大数据产品体系阿里云大数据产品概览数据挖掘与机器学习工具机器学习平台PAI一站式大数据平台DataWorks大数据计算服务MaxCompute数据存储计算工具阿里云分析型数据库AnalyticDB阿里云大数据产品架构数据大屏DataV数据可视化工具 BI分析平台Quick BI82思考题1. 回顾阿里云大数据产品体系的优势、大数据产品架构以及谈谈主要大数据产品都有哪些？2. 阿里大数据存储与计算产品MaxCompute、DataWorks、AnalyticDB都有哪些特点，其主要功能应用是什么？3. 阿里云大数据可视化工具QuickBI 与DataV分别适合哪些场景，说明其区别？4. 说明QuickBI的核心使用流程包括哪些步骤？5. 阿里云机器学习产品PAI的应用场景，主要功能组成是哪些？83