BI商业智能计划方案介绍.doc
《BI商业智能计划方案介绍.doc》由会员分享,可在线阅读,更多相关《BI商业智能计划方案介绍.doc(29页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、商业智能(商业智能(BIBI)方案)方案目 录1. 企业异构数据源.4 2. ETL 数据抽取转化和加载.5 2.1 数据抽取、转换和加载.6 2.2 统一调度.7 2.3 监控.8 2.4 ETL 工具 OWB.8 3. 数据仓库.9 3.1 操作型数据.10 3.2 数据集市.10 3.3 联机在线分析 OLAP.11 3.4 数据挖掘.11 4. 前端展现.12 4.1 多维分析工具 Powerplay .13 4.1.3 PowerPlay 应用开发过程.17 4.2 企业报表 ReportNet.18 4.3 KPI 企业关键指标.27 4.4 报表预警与分发.28 4.5 即席查询
2、.28商业智能(BI, Business Intelligence)是对商业信息的搜集、管理和分析的过程,目的是使企业的各级决策者获得知识或洞察能力,促使他们做出对企业更有利的决策。商业智能一般由数据仓库、数据分析、数据挖掘、在线分析、数据备份和恢复等部分组成。其基本体系结构包括数据仓库、多维分析和数据挖掘等三个部分。其中数据仓库用于抽取、整合、分布、存储有用信息;多维数据分析可全方位了解现状;数据挖掘则是发现问题、找出规律、预测将来,达到真正的智能效果。商业智能的过程:从不同的数据源收集的数据中提取出有用的数据,对数据进行清理以保证数据的准确性,将数据经过转换、重构后存入数据仓库或数据集市,
3、然后寻找合适的查询和分析工具,数据挖掘工具,OLAP 工具对信息处理,最后将知识呈现于用户面前,转变为管理、决策。商业智能是从传统的业务过程扩展到对业务数据的联机分析、并从中得到各种面向主题的统计信息和经过计算的结论的应用系统,其处理模式称之为联机分析处理 (OLAP),它的核心是数据仓库技术。其常见的体系结构如下图所示:数据源抽取转化过滤加载中央数据仓库信息展示InformixOracleO Or ra ac cl le e 9 9i i/ /1 10 0g g操作型数据Transformation企业级报表即席查询KPI展示报表预警分发数据获取数据管理数据展现数据转换OracleWareh
4、ouseBuilder(OWB)其他应用系统OracleDBOLAP Server数据挖掘数据集市多维分析保险业务财务系统BI 系统架构系统架构商业智能已经成为今天商业环境中一个必要因素,企业需要权衡今天商业智能技术提供的能力来保持和提高竞争性和可赢利性。先进的 BI(商业智能)系统解决方案通过开放、易扩展的平台为企业提供管理信息和运营信息的快速获取、集成和智能化分析手段,可以广泛地应用于金融、电信、税务、保险等行业。1. 企业异构数据源企业异构数据源BI 系统的数据源一般为企业的面向事务处理(OLTP)的系统(包括日常业务系统、资金财务系统等其他系统,以及其他外部数据),这里对于数据源不做任
5、何限定,数据可以来源于任何操作系统平台;数据也可以来源于任何数据存储方式(如 Informix 数据库、Oracle 数据库、文本文件等)。这些数据库通常与某些特定的应用相关,数据库之间相互独立,并且往往是异构的。这样一个由传统系统、不兼容数据源、数据库与应用所共同构成的复杂数据集合,各个部分之间不能彼此交流。从技术层面考虑,OLTP 系统的应用特点是大量用户产生大量数据的事务,每一个事务占用的资源和运行时间都很少。而数据仓库系统经常需要对庞大的历史信息进行查询和分析,每个事务都涉及大量的数据,事务的数量相对 OLTP 业务要小得多。另外数据库中的数据通常实时更新,数据根据需要及时发生变化,但
6、数据仓库中的数据相对稳定,一般只有定期的加载和更新。数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。比如永安保险的保险业务系统和财务系统,保险业务系统是基于 IBM AIX操作系统上的 informix 数据库, 而财务系统得数据库则是 windows 操作系统的 Oracle 数据库。两个系统都有凭证信息,在我们系统实施之前,只有业务系统面向财务系统流转的单证信息,而对于财务系统单证流转状况在业务信息里是没有反映的。两者信息沟通不畅,对于相关数据的查询和检索就比较困难
7、。2. ETL 数据抽取转化和加载数据抽取转化和加载 企业目前运行的应用系统是企业花费了很大精力和财力构建的、不可替代的系统,特别是系统的数据。而新建的商务智能系统目的就是要通过数据分析来辅助自己决策,恰恰这些数据的来源、格式不一样,导致了系统实施、数据整合的难度。面向企业的异构数据源,解决数据一致性与集成化问题,使您能够从您所有传统环境与平台中采集数据,并利用一个单一解决方案对其进行高效的转换。这个解决方案就是 ETL。通常,企业的数据源分布在各个子系统和节点中,利用 ETL 将各业务系统上的数据,通过自动化或手动控制传到服务器上,进行抽取、清洗和转化处理,然后加载到数据仓库。因为现有业务数
8、据源多,保证数据的一致性,真正理解数据的业务含义,跨越多平台、多系统整合数据,最大可能提高数据的质量,迎合业务需求不断变化的特性,是 ETL 技术处理的关键。 简单的讲,ETL 就是抽取、转换和装载,同时提供数据质量的管理,并且贯穿整个商务智能解决方案的全过程,完成整个系统的数据处理与调度。在这里,我主要从实际的角度上阐述,如何使用 ETL,包括数据抽取、数据传输、数据转换与清洗、数据加载、调度监控以及元数据管理。具体应用如下所述。2.1 数据抽取、转换和加载数据抽取、转换和加载 抽取主要是针对各个业务系统及不同网点的分散数据,充分理解数据定义后,规划 需要的数据源及数据定义,制定可操作的数据
9、源,制定增量抽取的定义。 确定如何抽取或查询源数据并非易事,因为它往往存储在多个地方可能是一个 RDMS 或其他类型文件,连接时可以通过标准的连接工具比如 ODBC 等。从设计的角度讲最好忽视一些连接问题,把主要精力集中在源数据如何映射目标数据上。这里提醒一点在数据抽取分析时需要对业务深刻理解,不能简单的了解。比如我想取一个数据,在源系统中多个表都有,而你选择了一个。在当时不会有什么问题,但随着后续工作的开展和分析就会出现意想不到的结果。在永安系统中,数据抽取的数据源是财产险保险业务系统、财务系统等。在实施中,它的步骤如下: a. 建立系统的连接; b. 读取数据提取规则参数表,确定提取的源表
10、; c. 根据源表、提取规则、最后一次提取的时间戳或流水号生成提取动态 SQL 语句; d. 查询出的数据根据业务规则生成相应的数据; 转换主要是针对数据仓库建立的模型,通过一系列的转换来实现将数据从业务模型到分析模型,通过内建的库函数、自定义脚本或其他的扩展方式,实现了各种复杂的转换,并且支持调试环境,清楚的监控数据转换的状态。数据转换是真正将源数据变为目标数据的关键环节,它包括数据格式转,换数据类型转换、数据汇总计算、数据拼接等等。但这些工作可以在不同的过程中处理视具体情况而定,比如可以在数据抽取时转换,可以在数据加载时转换。 清洗主要是针对系统的各个环节可能出现的数据二义性、重复、不完整
11、、违反业务规则等问题,允许通过试抽取,将有问题的纪录先剔除出来,根据实际情况调整相应的清洗操作。 异常数据是在清洗过程中发现不合乎规则的记录。在实施中,它的步骤如下: a. 根据对应数据的清洗规则对数据文件进行行扫描,异常数据未知参数、无尾汇总记录生成异常数据记录,合法数据生成合法数据记录; b. 在进行数据的行扫描时,同时调用转换、汇总模块,生成汇总数据;直连数据库的方式来进行数据装载,可以充分体现高效性。数据加载有两个部分,一个是把合法数据文件装入回滚表中,该装入过程没有汇总部分;另一个是把初次汇总表加载到临时汇总表,根据不同类型的数据,可能会有二次汇总。当到临时汇总表的数据完毕以后,再把
12、临时中间表的数据装入到中间表中。在实施中,它的步骤如下: a. 读取汇总数据、无需进行汇总的源数据,加载到相应数据表中; b. 读取需进行实时汇总的数据,对数据库进行更新操作; 2.2 统一调度统一调度 统一调度是 ETL 中较为重要的功能。它不但可以将源数据加载到数据仓库中,而且还可以更新数据集市,更重要的是还可以更新 OLAP Server 和挖掘模型数据。它在整个商务智能方案中扮演着总指挥、总调度的角色。过程如下: 在永安保险项目中,利用 Oracle 的 JOB 功能以自动方式对 ETL 进行调度。由 ORACLE 每天定时或准实时启动后台程序,自动完成数据仓库 ETL 处理流程。 分
13、成二层实现整个 ETL 处理流程的: 首先通过 ORACLE 的 JOB 队列方式实现任务分配、并行处理、得到任务清单等工作,实现定时处理和准实时处理的过程; 在 JOB 队列中执行数据处理的 JOB 工作时,通过向后台的 WORKFLOW 服务器提交相应目标的数据处理流程; 在 WORKFLOW 服务器运行数据处理过程中目标清洗、转换、汇总过程是通过调用 OWB 生成的 PACKAGE 实现的。2.3 监控监控 主要是监控 ETL 的整个过程,通过扫描 ETL 各模块的日志中的关键值,如记录时间等信息与当前的状态作比较,如果超过某一个值,则认为该模块运行可能出现问提,应告警。 在实施中,它的
14、步骤如下: a. 初始化每一个模块的正常规则或异常规则 b. 周期性扫描每一个模块的日志文件,提取最后记录日志的关键信息跟初始化规则对比,如果异常,则告警;否则继续监控。 在永安保险系统中我们采用 ETL 监控表记录日志信息,并通过 ReportNet 报表进行展示。2.4 ETL 工具工具 OWBOracle Warehouse Builder(以下简称 OWB)是 Oracle 公司的一个用于帮助企业构建数据仓库的集成工具。OWB 将从前各自分离的产品提供的功能集成到一个公共的环境。这些功能包括:数据模型构造和设计、数据提取、移动和装载(ETT)、元数据管理、分析工具的整合以及数据仓库的管
15、理。OWB 提供了一个框架将数据仓库的各个部分包括关系数据库服务器、多维数据库服务器和前端分析工具相结合,从而产生了一个紧密集成、全面的数据仓库和商业智能(BIS)解决方案。OWB 减少了企业建设数据仓库的时间、成本和工作量。开发项目小组成员现在可以在一个单一的环境来实施和管理复杂的数据仓库系统。OWB 具有如下特点:全面的数据仓库功能与其它工具不同,OWB 更适合具有智能的数据仓库的特殊要求。从它的设计和生成功能到从多个来源提取数据和向目标数据仓库装载数据,OWB 的每一个方面都降低了企业数据仓库项目的复杂性。强调数据仓库的管理目前市场上的很多数据仓库工具产品往往只强调数据仓库的生成过程,而
16、忽略了对数据仓库进行管理的需要。OWB 在提供强大的数据仓库生成功能的同时,更强调对企业数据仓库的管理。需要指出的是,OWB 的管理功能可以被集成到 Oracle Enterprise Manager(OEM)中,从而为提供一个无缝的企业管理工具。支持复杂的提取、转换和传输(ETT) 过程OWB 通过 Oracle 提供的透明网关技术,支持从 Oracle 数据库、ODBC 数据源和大型主机系统中快速提取和有效装载数据。OWB 还支持多种类型的数据转换方法,并能对转换过程进行记录(log),从而不断强化定义的商业规则,保证被转换和装载数据的完整性。利用数据库服务器提高性能Oracle 一直不断
17、地改进和提高其业界领先的数据库产品。Oracle 在与数据仓库相关的一些主要方面提供了新的功能。OWB 充分利用了 Oracle 的新功能:汇总管理、数据分区和索引能力。在永安保险项目中,利用了 OWB 提供了基本构造设计和抽取转换功能,在此基础上针对永安的特定的业务规则我们用 PL/SQL 开发了对应的程序包,使用OWB 提供的基本管理监控抽取过程并通过前端展示工具 ReportNet 来展现抽取日志信息,为管理员提供方便的管理信息,采用 OWB 工作流来合理安排抽取顺序。3. 数据仓库数据仓库数据仓库是一个支持管理决策的数据集合。数据是面向主题的、集成的、不易丢失的,并且时间作为变量。数据
18、仓库是所有操作环境和外部数据源的快照集合。它并不需要非常精确,因为它必须在特定的时间基础上从操作环境中提取出来。与其他数据库应用不同的是,数据仓库更像一种过程,对分布在企业内部各处的业务数据的整合、加工和分析的过程。而不是一种可以购买的产品。作为整个 BI 系统的核心部分,我们采用数据仓库自下而上和自上而下相结合的设计思路,设置数据仓库和数据集市两个层次:数据仓库作为面向整个企业的企业级数据存储,通过采用数据仓库技术的星型结构,按照不同主题对整个企业来源于不同业务系统的数据进行存储, 保证了整个系统的一致和完整性,避免了数据的冲突和冗余;数据集市作为部门级的数据存储,根据不同部门的统计分析需要
19、,建立相应的数据分析模型(多维立方体),提高了整个系统的灵活性,同时为整个统计系统的快速实施带来了可行性,使得数据仓库整体设计、分步实施的设计和实施思想得以实现。因此数据存储管理服务器可以采取逐步升级的实施策略,在对其规模和增长性进行充分估计的前提下,在开始阶段采用可以满足现阶段规模的服务器平台和数据库。数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期的加载、刷新。3.1 操作型数据操作型数据 面向分析主题的数据组织和存储,是企业报表和分析的基础
20、。一般是对业务数据的基本加工后形成的细节数据,直接来源于业务系统。以此为基础数据源可以形成面向主体的数据集市,多维数据集。3.2 数据集市数据集市数据仓库只限于单个主题的区域,例如顾客、部门、地点等。数据集市在从数据仓库获取数据时可以依赖于数据仓库,或者当它们从操作系统中获取数据时就不依赖于数据仓库。说数据仓库是建立在企业级的数据模型之上的话。那么数据集市就是企业级数据仓库的一个子集,他主要面向部门级业务,并且只是面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。比如永安项目中有承保分析,收付分析和理赔分析的数据模型。3.3 联机在线分析联机在线分析 OLAP 商业智能系统最
21、为吸引人的特点是它的多维展现特性,能对一个业务主题进行多视角(时间、机构、地域、项目)的分析,并能完成钻取、切片、挖掘等功能。而想完成这些功能,必须对数据采用十分复杂的关键字存储方式,传统的关系型数据库有些力不从心,多维数据库则是完成这一功能的利器。中央数据仓库以逻辑数据模型为蓝本构建,存储基础业务数据; 而数据集市则面向业务应用,它存储的是宏观的汇总数据。数据集市与数据仓库之间也有一个数据转换的过程,我们称之为数据集市 ETL,数据集市 ETL 的模式要比数据仓库ETL 简单,但数据变换的复杂度却高得多。一般 OLAP 服务器都提供相应的抽取工具。PowerPlay Transformer
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- BI 商业 智能 计划 方案 介绍
限制150内