数据仓库与数据挖掘技术概述.pptx
《数据仓库与数据挖掘技术概述.pptx》由会员分享,可在线阅读,更多相关《数据仓库与数据挖掘技术概述.pptx(32页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、参考教材数据仓库与数据挖掘原理及应用技术 王丽珍等,科学出版社,2004年 其它参考书Building the data warehouse,W.H Inmon,机械工业出版社 2004The Data Warehouse Toolkit(2ndEdition)R.Kimball 电子工业出版社 2002Data Mining:Concepts and Techniques.JiaweiHan and MichelineKamber.机械工业出版社,2001.史忠植,知识发现,清华大学出版社,2002第1页/共32页课程主要内容概述数据仓库联机分析处理数据仓库的设计数据预处理 维度建模数据挖掘
2、聚类关联规则 分类第2页/共32页概述-数据仓库基本概念数据仓库技术产生的背景什么是数据仓库技术第3页/共32页信息技术发展的几个阶段1960s:数据采集、数据库创建阶段集中于原始文件的处理层次数据库和网状数据库1970s:关系数据库管理系统关系数据模型和关系数据库管理系统E-R模型、SQL语言、查询处理和优化、OLTP(恢复和并发技术)1980s:高级数据库管理系统面向对象数据库、对象关系数据库、主动数据库、演绎数据库、模糊数据库、空间数据库、时空数据库、统计数据库数据挖掘技术1990s:数据仓库、联机分析处理和数据挖掘数据仓库、联机分析处理和数据挖掘,多媒体数据库,Web数据库、Data
3、Stream第4页/共32页企业信息化建设现状在数据库技术的支持下,一大批成熟的业务信息系统投入运行,为企业发展作出了巨大贡献各类信息系统大多属于面向事务处理的OLTP系统信息系统多年运行,积累了大量的数据数据是一种宝贵的资源,但没有充分发挥作用管理决策层对数据分析基础平台的需求日益强烈第5页/共32页企业信息化建设提出了更高的要求市场竞争日益激烈创造竞争优势需要及时、准确的做出科学决策科学决策必须以准确、有效的数据为基础充分利用现有数据,将它转化为信息第6页/共32页分析人员典型的信息需求覆盖企业内部信息、合作伙伴信息和市场信息覆盖综合信息和明细信息覆盖当前数据和历史数据高可用性高质量的数据
4、(一致性、完整性)支持各种不同的分析方法数据定义符合业务人员要求n组织内部n横向共享信息n数据的重构n个人授权n服务和质量管理n组织之间n合作伙伴n客户驱动的解决方案n战略联盟n价值链和供应链n市场n竞争对手n市场分割n实时的市场行情n全球化第7页/共32页操作型数据和分析型数据的区别原始数据/操作型数据导出数据/分析型数据面向应用面向主题详细的综合的,或提炼的在访问瞬间是准确的代表过去的数据,快照是为日常工作服务为管理者服务可更新不更新重复运行启发式运行处理需求预先可知处理需求事先不知道非冗余性总是存在冗余对性能要求高对性能要求宽松一次访问一个单元一次访问一个集合静态结构:可变的内容结构灵活
5、访问频繁访问很少或不多第8页/共32页现有数据库系统处理分析型应用存在的问题数据可信性数据没有同一时间基准例如:一个企业的两个部门向管理者呈送报表部门A,于星期天傍晚抽取了分析所需的数据,结论为业绩上升10%部门B,于星期三下午抽取了分析所需的数据,结论为业绩下降15%算法不同部门A使用的是旧帐号部门B使用的是大帐号多次抽取,扩大了上述两个问题用抽取程序从数据库/文件中抽取数据,并存放起来,然后又在此基础上再次进行抽取,从数据进入系统到提供分析往往经过8、9次的抽取。第9页/共32页在实际中经常存在这样第10页/共32页“蜘蛛网”问题没有统一规划和设计数据模型不一致数据定义不一致数据准确性差,
6、冗余度高业务流程发生变化历史数据不统一、不规范解决方案:深入、全面、客观的数据源分析建立数据仓库系统第11页/共32页数据可信性(续)外部数据问题一位分析员把华尔街日报的数据带进系统另一位将商业周刊的数据进入系统数据一旦进入系统,往往已失去“身份”,并且一位分析员也不知道另一位分析员所输入的数据开始时就不是同一个公共的数据源部门A最初来源于文件XYZ部门B最初来源于DB ABC第12页/共32页现有数据库系统处理分析型应用存在的问题从数据到信息例如:“今年的帐户情况与前五年比较”涉及大量应用:储蓄应用、贷款、即期汇票管理、信托,而这些应用并未集成。没有足够的历史数据:贷款部门,拥有二年的数据银
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据仓库 数据 挖掘 技术 概述
限制150内