商业智能（BI）介绍课件.ppt

BI/DW IntroductionJames ChenPSO Sr.Consultant程序=算法+数据结构-Niklaus Wirth 数据结构 离散结构 线形结构-数组链表栈队列 树 图算法 空间复杂度 时间复杂度用户内存中数据结构物理数据结构E-R业务流程二者相辅相成，不同应用侧重不同经典业务系统模型Skill set数据库C+/J2EE/.netPowerDesignerER_WINOOUML面向过程OO Design WorkflowDevelop Business Type ModelIdentify Business InterfacesIdentify System Interfaces&OpsCreate Initial Comp Specs&ArchitectureDiscover Business OperationsRefine Interfaces&OpsRefine Component Specs&ArchitectureDefine Interface Information ModelsSpecify Operation Pre/PostconditionsSpecify Component Interface ConstraintsBusiness Concept ModelUse Case ModelBusiness InterfacesSystem InterfacesInterfacesInterfacesComponent Specs&ArchitectureComponent Specs&ArchitectureComponent Specs&ArchitectureBusiness Type ModelArchitecture PatternsExisting InterfacesExisting AssetsComponent Identification Component InteractionComponent Specification笑一笑笑一笑数据仓库初学者：数据仓库与数数据仓库初学者：数据仓库与数据库有什么区别？据库有什么区别？某专家：一个有仓一个没仓！某专家：一个有仓一个没仓！BI/DW的引出统计报表需求数字越来越重要报表越来越多效率越来越差数据仓库的定义u数据仓库(Data Warehouse)是一种专为联机分析应用和决策支持系统提供数据源的结构化的数据环境u数据仓库要解决的问题是从数据库中获取信息的问题。数据数据数据数据信息信息信息信息INFORMATIONINFORMATIONINFORMATIONINFORMATION影响数据仓库的几个人物Bill Inmon -数据仓库Ralph Kimball-数据仓库工具箱 Bernard Liautaud-商业智能OLTP与数据仓库系统RDBMS关系数据库关系数据库SAP/ERPVSAM主机系统主机系统EXCELWeb/XMLOLTP业务系统业务系统数据仓库系统数据仓库系统 数据是当前的数据是当前的数据是当前的数据是当前的数据总在实时变化中数据总在实时变化中数据总在实时变化中数据总在实时变化中存储明细数据存储明细数据存储明细数据存储明细数据优化是针对即时更新的事务处理优化是针对即时更新的事务处理优化是针对即时更新的事务处理优化是针对即时更新的事务处理支持日常的业务支持日常的业务支持日常的业务支持日常的业务支持办事人员或行政人员支持办事人员或行政人员支持办事人员或行政人员支持办事人员或行政人员 数据是历史的数据是历史的数据是历史的数据是历史的数据是静态的，除数据刷新外数据是静态的，除数据刷新外数据是静态的，除数据刷新外数据是静态的，除数据刷新外数据是汇总的数据是汇总的数据是汇总的数据是汇总的优化是针对大批量查询而不是更新优化是针对大批量查询而不是更新优化是针对大批量查询而不是更新优化是针对大批量查询而不是更新支持长远的业务战略决策支持长远的业务战略决策支持长远的业务战略决策支持长远的业务战略决策支持决策人员和管理人员支持决策人员和管理人员支持决策人员和管理人员支持决策人员和管理人员面向事务面向事务面向事务面向事务面向决策面向决策面向决策面向决策5-10 年年数据集市数据集市分析型分析型CRM业务指标分析业务指标分析数据仓库数据仓库数据仓库数据仓库BI系统建设方法（1）直接建立BI应用OLTP数据源数据源 各种前端应用KPI指标报表多维分析即席查询数据挖掘数据仓库环境数据仓库环境 业务智能层业务智能层中央数据仓库中央数据仓库数据仓库数据仓库数据集结数据集结数据源数据源 公司数据源外部数据源BIW数据集市数据集市数据仓库管理子系统数据仓库管理子系统 数据仓库元数据目录数据仓库元数据目录信息访问和信息访问和 引用部件引用部件 BI系统建设方法（2）企业数据仓库体系架构RelationalPackageLegacyExternalsourceDataCleanToolSource DataDataStagingWareHouseAdmin.ToolsEnterprise DataWarehouse Data Extraction,Transformationand loadDatamartDatamartEnterprise/Central DataWarehouseRDBMSROLAPRDBMSRDBMSArchitectedDatamartsCentralMetadata Data Modeling ToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocal MetadataLocal Metadata典型物理架构典型物理架构ETL_DM1ETL_DM2BAS_DW1BAS_DW2BAS_OP1BAS_OP2Bas_sw01Bas_sw02Dx_sp01Dx_sp02Dx_sp03元数据管理服务器元数据管理服务器BAS_SM1BAS_SM270T!企业数据仓库的目的数据整合-建立一个企业统一的信息平台建立统一的业务数据定义建立唯一的统计分析数据源快速访问采用适合企业BI应用的数据组织方式新需求的开发快数据获取的效率快业务管理层业务操作层战略层底层数据低粒度汇总高粒度汇总建设数据仓库的主要任务数据仓库建模数据仓库建模ETL前端展现组数据挖掘元数据数据仓库引擎NCR TeredataORACLE 9以上DB2 EEESybase IQMS SQL Server维模型的设计每个维可以由一个或多个维层次或聚合路径组成Dimension 1事实Dimension 2Dimension 4measure 1measure 2.supportive attributes.Dimension 3aggregation path or dimension hierarchydimension key 1dimension key 2.aggregation levelsIWS模型的特点模型的特点简单视图实例仓库底层设计考量（一）仓库底层设计考量（一）慢速变化维问题慢速变化维问题快速变化和慢速变化仓库底层设计考量（二）仓库底层设计考量（二）粒度问题粒度问题一天变化多次入库时间仓库中间层设计考量仓库中间层设计考量基于用户标识基于用户标识多个粒度汇总多个粒度汇总综合各个数据集市综合各个数据集市效率考虑效率考虑仓库集市层设计考量仓库集市层设计考量面向应用面向应用报表集市报表集市挖掘集市挖掘集市主题集市主题集市KPIKPI集市集市维模型维模型以最细粒度数据为主以最细粒度数据为主表加物化视图表加物化视图数据仓库与数据集市数据仓库与数据集市数据源CUBE报表事实表维表维表维表维表数据仓库事实视图维视图维视图维视图维视图业务驱动数据驱动数据集市设计技巧星型还是雪花？组合代理键慢速变化维维度的不同层次处理聚合表的设计.ETL过程源表结构 -目标结构工具？自己编码？-业务逻辑的任务已经很大实时任务和批量任务CDC的处理ODS的处理？BO Date IntegratorInformatica PowerCenterDatastageSagent数据源数据源大数据量大数据量变化数据变化数据关联数据关联数据手工数据手工数据抽取时机和最迟到达时间！抽取时机和最迟到达时间！数据源考量数据源考量-大数据量大数据量二十余种清单二十余种清单上万个文件，大小不一上万个文件，大小不一一天几十一天几十GBGB的数据的数据数据源考量数据源考量-变化数据变化数据实时变化实时变化未存历史未存历史数据源考量数据源考量-关联数据关联数据没有没有transactiontransaction几个文件不一致怎么办？几个文件不一致怎么办？数据源考量数据源考量-手工数据手工数据外部录入？外部录入？OLTPOLTP系统？系统？天气天气社会指标社会指标集团客户信息集团客户信息操作型操作型CRMCRM数据源考量数据源考量-历史数据更新历史数据更新修改昨日数据修改昨日数据批错价批错价/延迟话单等延迟话单等ETLETL抽取抽取/转换转换/加载加载源数据的理解源数据的理解加载时间加载时间4 4小时小时ETLETL实现实现工具工具LoaderLoader汇总（数据库汇总还是文件汇总）汇总（数据库汇总还是文件汇总）调度调度ETL-ETL-调度调度一天几十一天几十GBGB的数据的数据并行度并行度/任务大小任务大小/资源资源/优先级优先级调度调度清单类（大数据量）清单类（大数据量）-文件的拆分和合并文件的拆分和合并/实时实时处理处理业务类（实体之间的关系复杂）业务类（实体之间的关系复杂）-稽合稽合帐务类（数据准确）帐务类（数据准确）-验证验证参数类（变化影响其他实体）参数类（变化影响其他实体）-告警告警/事先处理事先处理其他任务其他任务月末处理月末处理前端展现固定报表多维分析即席查询仪表盘数据挖据BO(CR)Hyperion(Brio)CognosMicrostrategy仪表盘OLAP分析报表，即席查询固定报表格式灵活多变Crystal ReportMSTRBrioReportNet多维分析MOLAP -Cognos PowerPlay,Hyperion EssbaseROLAP -BOE,MSTRHOLAP -BO-MS OLAP切片旋转切块钻取OLAP分析多角度、多层次对同一主题进行分析通过旋转、钻取、切片等技术探察数据旋转：按不同顺序组织各个维，对结果进行考察钻取：在一个维内部沿着从高到低或从低到高的方向考察数据(有上钻和下钻两种)切片：在确定某些维数据的情况下对其他维进行观察有MOLAP、ROLAP、HOLAP三种实现方式OLAPOLAP设计设计-指标还是维度指标还是维度性别年龄长途类型通话时段客户数通话时长性别年龄客户数通话时长 长途类型通话时长 通话时段通话时长 1-2点通话时长即席查询语义层效率很关键BO语义层仪表盘仪表盘、KPI-EPM整合了企业的整个绩效、把告警、报表、分析穿在了一起BO EPMHyperion BPM数据挖掘机器学习数理统计数据库预测、特征分析、客户分类SASSPSS数据挖掘实施的体系结构数据挖掘实施的体系结构数据仓库数据挖掘引擎算法数据选择知识库评价修改知识建模分析员领域知识元数据元数据管理元数据管理什么是元数据？什么是元数据？元数据和开发文档有何区别？元数据和开发文档有何区别？为什么单单在数据仓库中如此重视为什么单单在数据仓库中如此重视元数据？元数据？文档语音计费GPRS计费文档帐务文档结算营业文档文档客服文档MIS网管HR文档文档文档元数据管理元数据管理(续续)业务元数据业务元数据业务元数据用业务名称、定义、描述和别名业务元数据用业务名称、定义、描述和别名来表示数据仓库和业务系统中的各种属性，来表示数据仓库和业务系统中的各种属性，直接供业务分析人员使用。直接供业务分析人员使用。技术元数据技术元数据技术元数据描述了数据源、数据转换、抽取技术元数据描述了数据源、数据转换、抽取过程、加载策略以及目标数据库的定义等。过程、加载策略以及目标数据库的定义等。元数据管理元数据管理(续续)CWM 1.0CWM 1.0数据源数据源ETLETL数据仓库数据仓库数据集市数据集市OLAP CUBEOLAP CUBE元数据管理元数据管理(续续)能分析什么？能分析什么？Where UsedDepends On事先还是事后？事先还是事后？自动化修改？自动化修改？典型的项目组织架构典型的项目组织架构 项目经理 首席业务分析师ETL组组长；设计师、软件工程师项目管理组开发组首席架构设计师 项目经理助理 项目管理数据仓库组组长；设计师、软件工程师数据展现组组长；设计师、软件工程师数据挖掘库组组长；设计师、软件工程师项目领导小组客户代表 公司领导 质量经理 支持组系统组培训组客户代表 测试组组长；测试工程师项项目目组组织织架架构构配置管理组5、世上最美好的事是：我已经长大，父母还未老;我有能力报答，父母仍然健康。6、没什么可怕的，大家都一样，在试探中不断前行。7、时间就像一张网，你撒在哪里，你的收获就在哪里。纽扣第一颗就扣错了，可你扣到最后一颗才发现。有些事一开始就是错的，可只有到最后才不得不承认。8、世上的事，只要肯用心去学，没有一件是太晚的。要始终保持敬畏之心，对阳光，对美，对痛楚。9、别再去抱怨身边人善变，多懂一些道理，明白一些事理，毕竟每个人都是越活越现实。10、山有封顶，还有彼岸，慢慢长途，终有回转，余味苦涩，终有回甘。11、人生就像是一个马尔可夫链，你的未来取决于你当下正在做的事，而无关于过去做完的事。12、女人，要么有美貌，要么有智慧，如果两者你都不占绝对优势，那你就选择善良。13、时间，抓住了就是黄金，虚度了就是流水。理想，努力了才叫梦想，放弃了那只是妄想。努力，虽然未必会收获，但放弃，就一定一无所获。14、一个人的知识，通过学习可以得到;一个人的成长，就必须通过磨练。若是自己没有尽力，就没有资格批评别人不用心。开口抱怨很容易，但是闭嘴努力的人更加值得尊敬。15、如果没有人为你遮风挡雨，那就学会自己披荆斩棘，面对一切，用倔强的骄傲，活出无人能及的精彩。5、人生每天都要笑，生活的下一秒发生什么，我们谁也不知道。所以，放下心里的纠结，放下脑中的烦恼，放下生活的不愉快，活在当下。人生喜怒哀乐，百般形态，不如在心里全部淡然处之，轻轻一笑，让心更自在，生命更恒久。积极者相信只有推动自己才能推动世界，只要推动自己就能推动世界。6、人性本善，纯如清溪流水凝露莹烁。欲望与情绪如风沙袭扰，把原本如天空旷蔚蓝的心蒙蔽。但我知道，每个人的心灵深处，不管乌云密布还是阴淤苍茫，但依然有一道彩虹，亮丽于心中某处。7、每个人的心里，都藏着一个了不起的自己，只要你不颓废，不消极，一直悄悄酝酿着乐观，培养着豁达，坚持着善良，只要在路上，就没有到达不了的远方！8、不要活在别人眼中，更不要活在别人嘴中。世界不会因为你的抱怨不满而为你改变，你能做到的只有改变你自己！9、欲戴王冠，必承其重。哪有什么好命天赐，不都是一路披荆斩棘才换来的。10、放手如拔牙。牙被拔掉的那一刻，你会觉得解脱。但舌头总会不由自主地往那个空空的牙洞里舔，一天数次。不痛了不代表你能完全无视，留下的那个空缺永远都在，偶尔甚至会异常挂念。适应是需要时间的，但牙总是要拔，因为太痛，所以终归还是要放手，随它去。11、这个世界其实很公平，你想要比别人强，你就必须去做别人不想做的事，你想要过更好的生活，你就必须去承受更多的困难，承受别人不能承受的压力。12、逆境给人宝贵的磨炼机会。只有经得起环境考验的人，才能算是真正的强者。自古以来的伟人，大多是抱着不屈不挠的精神，从逆境中挣扎奋斗过来的。13、不同的人生，有不同的幸福。去发现你所拥有幸运，少抱怨上苍的不公，把握属于自己的幸福。你，我，我们大家都可以经历幸福的人生。14、给自己一份坚强，擦干眼泪；给自己一份自信，不卑不亢；给自己一份洒脱，悠然前行。轻轻品，静静藏。为了看阳光，我来到这世上；为了与阳光同行，我笑对忧伤。15、总不能流血就喊痛，怕黑就开灯，想念就联系，疲惫就放空，被孤立就讨好，脆弱就想家，不要被现在而蒙蔽双眼，终究是要长大，最漆黑的那段路终要自己走完。5、从来不跌倒不算光彩，每次跌倒后能再站起来，才是最大的荣耀。6、这个世界到处充满着不公平，我们能做的不仅仅是接受，还要试着做一些反抗。7、一个最困苦、最卑贱、最为命运所屈辱的人，只要还抱有希望，便无所怨惧。8、有些人，因为陪你走的时间长了，你便淡然了，其实是他们给你撑起了生命的天空；有些人，分开了，就忘了吧，残缺是一种大美。9、照自己的意思去理解自己，不要小看自己，被别人的意见引入歧途。10、没人能让我输，除非我不想赢！11、花开不是为了花落，而是为了开的更加灿烂。12、随随便便浪费的时间，再也不能赢回来。13、不管从什么时候开始，重要的是开始以后不要停止；不管在什么时候结束，重要的是结束以后不要后悔。14、当你决定坚持一件事情，全世界都会为你让路。15、只有在开水里，茶叶才能展开生命浓郁的香气。