商业智能(BI)解决方案.doc
《商业智能(BI)解决方案.doc》由会员分享,可在线阅读,更多相关《商业智能(BI)解决方案.doc(45页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、IBM公司数据仓库/商业智能解决方案目 录第一章 概述1第二章 商业智能综述22。1 商业智能基本结构22。1。1 IBM数据仓库架构32。1.2 数据仓库:用于抽取、整合、分布、存储有用的信息42。1。3 多维分析:全方位了解现状42.1。4 前台分析工具52.1。5 数据挖掘52.2 商业智能方案实施原则52。2.1 分阶段、循序渐进的原则52。2。2 实用原则62。2。3 知识原则6第三章 XXX公司BI系统方案73.1 XXX公司BI系统的需求分析73.2 IBM的解决方案73.3 建议架构9第四章 所选IBM产品简介114。1 DB2 UDB114.1。1 概述:DB2家族(Fami
2、ly)与DB2通用数据库(UDB) V7。2114.1.2 DB2通用数据库(UDB) V7。2的特色124.1。3 DB2通用数据库(UDB)的其他先进功能224.2 DB2 Warehouse Manager (数据仓库管理器)264。2.1 DB2 Warehouse Manager的主要部件264.2。2 数据抽取、转换和加载(ETL)功能274。2.3 元数据(Meta Data)管理314.2。4 DB2 Warehouse Manager的其它技术特点314。3 IBM OLAP Server(多维数据库服务器)334。3。1 DB2 OLAP Server引擎334。3。2 D
3、B2 OLAP Server各个附件344.3。3 DB2 OLAP Server与DB2 Warehouse Manager集成364.3。4 DB2 OLAP Server支持的前端工具364。4 DB2 OLAP Analyzer374。5 数据挖掘工具(IBM Intelligent Miner)374。5。1 数据挖掘的实现方法384。5。2 数据挖掘基本方法394。5。3 数据挖掘与多维分析相结合40第五章 工程服务和售后服务415.1 工程服务415。2 售后服务415.2。1 IBM数据仓库的安装及配置服务415.2。2 IBM数据仓库的维护服务415。2.3 IBM数据仓库的
4、顾问服务425。2。4 IBM培训服务425.3 技术文档42第一章 概述随着市场竞争的日益激烈,各家公司纷纷把提高决策的科学性、合理性提高到一个新的认识高度.在此背景下,利用信息技术的最新手段,利用业务数据进行面向决策的分析这一方法纷纷被国内外许多公司所采用。通过有目的、有选择地采集业务数据,并将其转换为对决策有用的信息,用于智能化的分析、预测和模拟等目的,这样的应用被称为商业智能应用。从国内外各行各业的发展经验看,实施商业智能是提高企业进行高效的业务分析和科学决策的有效手段.作为一个具有八十多年历史,以开发信息技术和商业应用而闻名的“蓝色巨人,IBM 在这一领域进行了多年的研究,发展出完备
5、的商业智能技术,为商业数据自动转化为商业知识提供了现实的方案.商业智能的本质,是提取收集到的数据,进行智能化的分析,揭示企业运作和市场情况,帮助管理层做出正确明智的经营决定.一般现代化的业务操作,通常都会产生大量的数据,如话单、账单以及客户资料等,其中一部分是决策关键数据,但并不是所有的数据都对决策有决定意义。商业智能包括收集、清理、管理和分析这些数据,将数据转化为有用的信息,然后及时分发到企业各处,用于改善业务决策。企业可以利用它的信息和结论进行更加灵活的阶段性的决策:如采用什么产品、针对哪类客户、如何选择和有效地推出服务等等,也可以实现高效的财务分析、销售分析、风险管理、分销和后勤管理等等
6、。这一切都是为了降低成本、提高利润率和扩大市场分额.第二章 商业智能综述2.1 商业智能基本结构当今,许多企业认识到只有靠充分利用,发掘其现有数据,才能实现更大的商业效益。日常的商务应用生成了大量的数据,这些数据若用于决策支持则会带来显著的附加值。若再加上市场分析报告、独立的市场调查、质量评测结果和顾问评估等外来数据时,上述处理过程产生的效益可进一步增强.而数据仓库正是汇总这些商用信息后,进而支持数据发掘、多维数据分析等当今尖端技术和传统的查询及表报功能,这些对于在当今激烈的商业竞争中保持领先是至关重要的。那么怎样把这样大量的数据转换成可靠的、商用的信息以便于决策支持呢?建立数据仓库正被广泛地
7、公认为最好的转换手段.图 Error! Bookmark not defined.数据仓库建立过程根据IDC的调查,使用数据仓库的投资回报率平均超过400,尤其是从小型数据仓库开始实施的平均超过500%.2.1.1 IBM数据仓库架构IBM早在90年代初期,就投入大量优秀技术人员和资金开始了数据仓库的研究,并启动了StarBurst大型科研项目。该项目主要就是为了攻克数据仓库领域的一些技术难题,例如优化星型连接(Starjoin),实现多维分析。因此,IBM现在发布的数据仓库产品都是经过反复推敲和久经考验的,真正做到让用户买起来放心,用起来舒心。基于对数据仓库结构的深刻理解和多年积累的经验,I
8、BM设计了自己的数据仓库结构,见下图:数据仓库的组成。作为一个开发式结构,它方便了用户的产品选择、实施和今后的扩展。图 Error! Bookmark not defined.IBM数据仓库架构上图为IBM三层次数据仓库结构:从第一层OLTP业务系统到第二层数据仓库为建仓过程,从第二层到第三层数据集市为按主题分类建立应用的过程。第一步包括数据抽取、数据转换、数据分布等步骤,按照统一的数据格式标准进行统一的数据转换,建立可被企业各部门充分共享的数据仓库。其中,数据抽取阶段完成对各种数据源的访问,数据转换阶段完成对数据的清洗、汇总和整合等,数据分布阶段完成对结果数据存储的分配。这三个阶段通常紧密结
9、合在一起,由一个产品或几个产品配合实现。例如,DB2 Warehouse Manager既可独立完成,又可结合DataJoiner、DataPropagator实现对异构数据和数据复制的处理.DB2 Warehouse Manager可进行数据映射的定义,以定期地抽取、转换和分布数据;DataJoiner可访问的各种关系型数据库包括DB2数据库家族、ORACLE、SYBASE、INFORMIX和MS SQL Server等;DataPropagator主要用于数据复制,采用数据复制的方式可对业务数据仓库进行增量数据更新,避免对作业系统事物处理性能的影响和大量重复抽取数据。数据的存储由DB2家族
10、产品来完成,以保证数据仓库始终高性能地运转,提供完整、准确的数据,便于将来的升级和扩展。第二步,在按主题分类建立应用时,若既想拥有多维数据库的独特功能,又要把数据存放在关系型数据库中以便管理,则DB2 OLAP Server是用户的最佳选择.DB2 Warehouse Manager中提供的Information Catalog通过描述性数据帮助用户查找和理解数据仓库中的数据,Intelligent Miner用于数据挖掘以便帮助决策者预测或发现隐藏的关系.最后,我们以报表或图形的方式将结果数据呈现给用户,这通常由第三方产品来实现,它们包括:Hyperion Analyzer, Cognos,
11、Brio,Business Objects等。商业智能的实现方式多种多样,其规模和特点由用户的需求来决定.但万变不离其宗,其基本体系结构往往包括三个部分。2.1.2 数据仓库:用于抽取、整合、分布、存储有用的信息一个企业的信息往往分布在不同的部门和分支机构,管理者要综观全局、运筹帷幄,必须能迅速地找到能反映真实情况的数据,这些数据也许是当前的现实数据,也可能是过去的历史数据。因此,有必要把各个区域的数据集合起来,去其糟粕、取其精华,将真实的、对决策有用的数据保留下来,随时准备管理人员使用。因此,数据仓库不仅仅是个数据的储存仓库,更重要的是它提供了丰富的工具来清洗、转换和从各地提取数据,使得放在
12、仓库里的数据有条有理,易于使用.2.1.3 多维分析:全方位了解现状管理人员往往希望从不同的角度来审视业务数值,比如从时间、地域、产品来看同一类业务的总额。每一个分析的角度可以叫作一个维,因此,我们把多角度分析方式称为多维分析。以前,每一个分析的角度需要制作一张报表.由此产生了在线多维分析工具,它的主要功能,是根据用户常用的多种分析角度,事先计算好一些辅助结构,以便在查询时能尽快抽取到所要的记录,并快速地从一维转变到另一维,将不同角度的信息以数字、直方图、饼图、曲线等等方式展现在您面前。2.1.4 前台分析工具提供简单易用的图形化界面给管理人员,由他们自由选择要分析的数据、定义分析角度、显示分
13、析结果。往往与多维分析工具配合,作为多维分析服务器的前台界面。以上三部分是商业智能的基础。它完成的是对用户数据的整理和观察,可以说,它的工作是总结过去.在此基础结构之上,商业智能可以发挥更进一步的作用,利用数据挖掘技术,发现问题、找出规律,达到真正的智能效果:预测将来。2.1.5 数据挖掘正如在矿井中可以挖掘出珍贵的矿石,在数据仓库的数据里也常常可以挖掘出业务人员意想不到的信息。它比多维分析更进一步。例如,如果管理人员要求比较各个区域某类业务在过去一年的情况,可以从多维分析中找答案。但是,如果管理人员要问为何一种业务在某地区的情况突然变得特别好或是不好,或者问该业务在另一地区将会怎么样,这时数
14、据挖掘工具可以作出回答.简单的说,数据挖掘使用统计、分析等数学方法、以及电脑学习和神经网络等人工智能方式,从大量的数据中,找寻数据与数据之间的关系。这种关系,一般显示数据组之间相似或相反的行为或变化.一个细心的分析者,往往能从这些发掘出来的关系得到启示。而这种启示又很可能使得到它的业者,获得其他竞争者所没有的先机 。数据挖掘要求有数据仓库作基础,并要求数据仓库里已经存有丰富的数据。因此,在实施商业智能方案时,一般分两步走:第一步实现数据仓库和多维分析,构造商业智能的基础,实现分析应用;第二步实现数据挖掘,发挥商业智能的特色。2.2 商业智能方案实施原则实施商业智能方案项目工程,与实施传统的应用
15、系统有很大的不同。其中最重要的是,商业智能的实施是不断的交流过程,只有双方紧密的合作才能取得实施的成功. 我们建议,工程实施上采取以下原则:2.2.1 分阶段、循序渐进的原则任何一个项目的实施都是一个发现问题,解决问题,积累经验,又遇到新问题,再解决,再积累的循序渐进的过程.我们建议XXX公司 应根据现有的资源以及今后发展的方向,分阶段、循序渐进的实施商业智能方案。2.2.2 实用原则在第一步实现数据仓库时,尽量针对当前电信最关心的主题,并将该主题进行细致分析,尽可能用简单、统一、易于使用的方式来实现,避免追求片面的复杂和完美。2.2.3 知识原则普遍说来,由于商业智能技术相对而言比较新,企业
16、的信息技术人员对数据仓库、多维分析、数据挖掘等系统涉及的知识往往存在着不足或偏差,实际应用经验也很欠缺.因此,我们建议在实施过程中结合专家培训和服务,在商业智能系统的设计、开发、实施当中,逐步培养出企业自己的系统管理、维护和开发人员。当系统投入使用时,这些人员可以对系统进行维护和管理,并负责对最终用户进行培训。第三章 XXX公司BI系统方案 3.1 XXX公司BI系统的需求分析在XXX公司 的 BI系统中,可以实现如下一系列经营过程中的分析和决策支持:除了以上列出的一系列分析和预测外,利用 BI系统,还应该能够根据XXX公司 的需求很方便地扩展其功能。3.2 IBM的解决方案基于XXX公司BI
17、系统的需求,以及IBM公司在数据仓库领域的经验,我们提出以下解决方案:采用一个企业级的数据仓库,实现各分行业务数据的自动采集、清洗、汇总,并且通过多维分析工具,让用户能够有效的将数据转化为灵活的报表和决策支持信息,最终满足用户的信息需求.该方案的实现方式如下:首先,在数据主要来源于两个方面:综合业务系统和新录入的数据。综合业务系统中的数据通过数据仓库工具进行自动采集、清洗、整理,而需要新录入的数据则通过浏览器方式录入。在构造数据仓库的过程中,我们采取以点带面的做法,采用小步长、逐步地建立数据仓库的策略.以XXX公司 报表系统为开端,分阶段地实现商业智能应用。小的项目可以立即显示数据仓库的价值,
18、同时也提供了更快的投资回报.而且,先在只有少量的数据和用户的小系统上进行学习和实践,对技术人员来说会学得更快.我们希望首先在需求较为迫切的领域,选择一些比较有意义的主题;基于这些主题,我们将建立一个数据集市,待用户能够对数据仓库的概念和一些技术有了比较深刻的认识之后,再综观全局,构建起企业级的数据仓库。数据录入可以采用数据文件快速装入的方式,也可以采用专门应用的方式.如果采用后者,我们可以考虑使用IBM的WebSphere和VisualAge for Java进行开发,它们产品是IBM电子商务应用的重要部件。利用这两个工具,我们可以方便地建立Web页面,生成Java程序,包括Applet、Se
19、rvlet和Application等等.并且系统的维护工作也比较方便,当需要修改应用时,只需要修改服务器上的程序就可以了,不需要在客户端做工作.另外,这种结构对客户机的配置要求也不太高.在建造数据仓库的过程中,我们推荐使用IBM的Warehouse Manager,该产品是IBM用来建立数据仓库的工具,利用该工具,我们可以方便、快捷地构造起数据仓库来,因为我们应该认识到数据仓库必须建立在一个开放的、可更改的结构上,以便能够处理数据和需求的不断膨胀。Warehouse Manager正是这样的一个工具。提供一个开放的,从数据源到数据仓库的一致的解决方案.在XXX公司 的 BI系统中,通过Ware
20、house Manager管理器可以方便地建立数据加工的流程(process)和步骤(step),这些步骤反映了XXX公司 具体业务数据的流程、规则。在各步骤中可以定义代理(agent)来自动运行数据传递、清洗和汇总功能,这些步骤可以按时间、事件运行,或由其它步骤触发。代理可以运行在Warehouse Manager服务器上,也可以运行在远程的业务主机上,并且可以有多个代理运行以提高效率。可以以非常直观的图形化方式管理数据仓库,当报表系统的业务需求发生变化时,可以非常方便地修改步骤,满足变化多端的商业竞争环境.Warehouse Manager是专门为商业应用设计的,它可以自动在网络上进行数据
21、的传送,不需要人为干预,并且利用它的日志功能可以对系统运行很好地监控。在DB2 Warehouse Manager(DWM)中含有Warehouse Agent部件,它可以用来在位于数据仓库的目标数据库DB2 UDB中执行直接执行数据仓库的数据加工。另外,在数据仓库服务器于业务系统之间的文件数据FTP传输以及从表中抽取少量数据也可以通过Agent直接执行。建立数据仓库之后,选择一些有意义的主题,抽取相关的数据到DB2 OLAP Server中,利用DB2 OLAP Server的强大分析功能,给最终用户提供在线多维分析的功能,能够让最终用户充分挖掘出数据中包含的信息.DWM在执行完数据的提取任
22、务后,自动触发预先定义好的OLAP操作,将数据经过汇总计算后加载至DB2 OLAP Server中。最终用户工具我们选用DB2 OLAP Analyzer,这个产品是一个数据仓库的前端分析工具,利用这个工具用户可以很容易地访问OLAP Server中经过处理的数据,制作各种形式、风格的报表,报表内容可以包括数字、图像、曲线等,使得管理层可以直接、直观地查看企业的经营情况。3.3 建议架构图 Error! Bookmark not defined.XXX公司BI系统软硬件配置示意图在此方案中,采用RS/6000服务器作为运行数据仓库目标数据库的服务器,其上安装DB2 UDB EE、DB2 War
23、ehouse Manager,用来从生产系统抽取对决策有用的业务数据,经过加工后存放在数据仓库中.在海量数据仓库基础上针对每一类具体业务问题建立数据集市。由于XXX公司BI系统中的业务问题大多是多维分析问题,故利用另外一台RS/6000服务器运行IBM公司专门的多维分析服务器产品DB2 OLAP Server,以极大地加快多维分析的速度。在数据仓库服务器上同时安装DB2 Intelligent Miner for Data,从数据仓库服务器中抽取数据进行智能挖掘;此外,在数据仓库上安装DB2 Intelligent Miner Scoring,用来将数据挖掘的结果作用到数据仓库中,实现打分功能
24、.所有客户端以浏览器方式,通过查询和多维分析的WEB应用服务器访问数据仓库和多维分析服务器中的数据。整个系统需要在一台运行Windows 2000的PC服务器上安装DB2 OLAP Analyzer Analysis Server以及HTTP Server,作为为前端浏览器客户提供统一入口的应用服务器。为提高系统响应时间及提供负载均衡能力,可以配合WebSphere Application Server共同使用。另外,需要配置一台PC服务器运行Windows 2000作为整个系统的控制服务器,安装DB2 Warehouse Control Server、DB2 Control Center、O
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 商业 智能 BI 解决方案
限制150内