数据挖掘概述 (2).ppt
《数据挖掘概述 (2).ppt》由会员分享,可在线阅读,更多相关《数据挖掘概述 (2).ppt(63页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、讲授:吴雄华讲授:吴雄华第一章第一章 数据挖掘概述数据挖掘概述电话:电话:13752460206Email:一、引例网站这种推荐并非漫无边际,而是有一定技术依据的,这种技术就是数据挖掘技术(DM)。网站怎么知道读者可能会对这些物品干兴趣?这是因为网站采用了新的技术来了解顾客的潜在需求,比如:网站从顾客的购买清单中发现你买的书与张三买过的书有几本是相同的,但是还有些书张三已经买了,而你却还没买,网站会据此认为你们的阅读偏好相近,从而你会对那些书也干兴趣。例1。如果你在当当的购书网站并购买过书籍或音像制品,以后再浏览该网站时经常看到类似的提示:“欢迎你,下面是我们给您推荐的新书和VCD。”然后就可
2、以在网页的某个位置看到几本新书或VCD的名字及其相关链接。从这个销售数据中可以得出什么结论?某超市Post机上记录如下的销售数据:例2。啤酒与尿布的故事顾客购买商品1面包,黄油,尿布,啤酒2咖啡,糖,小甜饼,鲑鱼,啤酒3面包,黄油,咖啡,尿布,啤酒,鸡蛋4面包,黄油,鲑鱼,鸡5鸡蛋,面包,黄油6鲑鱼,尿布,啤酒7面包,茶,糖鸡蛋8咖啡,糖,鸡,鸡蛋9面包,尿布,啤酒,盐10茶,鸡蛋,小甜饼,尿布,啤酒从数据挖掘的角度就是得到了如下的很强的关联规则:简单分析发现,有6个顾客买了啤酒,而其中5个人买了尿布,或说,5个买了尿布的顾客都买了啤酒。规则1:“买啤酒”“买尿布”。置信度为5/6规则2:“买
3、尿布”“买啤酒”。置信度为5/5结论:“买尿布的顾客很可能会买啤酒”。原因?对决策者的启示:商品的摆放设计和销售策略。二、数据挖掘的定义三、数据挖掘技术产生的动力 数据挖掘的定义有多种不同的定义方式,现在为大家广泛采用的是如下定义:数据挖掘是从大量的数据中挖掘出隐含的、未知的、用户可能感兴趣的和对决策有潜在价值的知识和规则。简单的说,数据挖掘就是从大量的数据中发现有用的信息。1.数据爆炸问题。例3、美国未来学家阿尔温托夫勒在1980年的著作在第三次浪潮中认为,未来的信息量将以指数级的速度增长。现在已成事实。例5.John Roth在联合国世界电信论坛上又提出了一个关于网络科技的一个观点:互联网
4、宽带每9个月会增加一倍的容量,但成本降低一半,比芯片的变革速度还快。-“光纤定律”。例4.1965年,Intel公司联合创始人Gordon Morore在准备一个演讲时发现了一个具有历史意义的现象:芯片的容量每1824个月增加一倍。他据此推断,按此趋势发展下去,在较短时间内计算能力将呈指数增长。-“摩尔定律”。还有很多案例都可以印证,现在的社会是一个信息爆炸的社会。是在信息的潮流中随波逐流还是“到中流击水,浪遏飞舟”?数据挖掘技术的另一个产生动力2.数据过量而知识贫乏现代人了解古代的主要方式主要是通过前人留下的记录,但是这些记录往往是零碎的、不完全的。例如?想象一下,如果后人希望了解现在人们的
5、生活状况,他们面临的已不再是信息缺失,而是需要从浩如烟海的资料中有选择性的收集他们认为有用的信息,若没有一定技术支持,其难度恐怕可以用“浪里淘金”或“大海捞针”来形容。四、数据挖掘的支撑技术数据挖掘融合了统计、人工智能及数据库等多种学科的理论、方法和技术如统计学:除了实验设计与数据挖掘的关系不大,其他几乎所有方法都可以用于数据挖掘,如估计、假设检验、回归分析、主成分分析、时间序列分析、马尔科夫链等。五、数据挖掘的主要任务1、预测:分类和回归2、关联分析:如研究顾客的行为模式3、聚类分析:例如 对于新闻可以根据他们的主题分组。4、异常检测:识别其特征显著不同于其他数据的观测值(异常点)。主要应用
6、包括检测欺诈、网络攻击、疾病的不寻常模式等。例 6。信用卡欺诈检测信用卡公司记录每个持卡人所做的交易,同时也记录信用限度、年龄、年薪和地址等个人信息。由于与合法交易相比,欺诈行为的数目相对较少,因此异常检测技术可以用来构造合法交易的轮廓。当一个新的交易到达时就与之比较。如果该交易的特性与所构造的轮廓很不相同,就把交易标记为可能是欺诈。第二章第二章 数据数据一、理解数据例 1。有人给你如下数据,每行包含一个病人的信息,用前4个字段预测后一个字段。01223233.5010.702012116.52210.7027165240427.6你做了相关的工作后再与数据提供者交流,字段1只是一个标号不代表
7、任何实际意义,而字段4中0表示缺失值,在录入数据时偏偏所有的10都变成了0.?!二、数据属性及其类型属性(Attitude)是对象的性质或特性。属性类型描述例子分类的(定性的)标称 属性值只是不同的名字,只提供足够的信息区分对象(=,!=)邮编、ID号、颜色、性别序数 属性值只是确定对象的序()矿石硬度等级、成绩(A、B、C)数值的(定量的)区间 属性值之间的差是有意义的(+或-)日期、温度比率 属性值之间的差或比都有意义。绝对温度、年龄、销售量等三、数据集的类型1、记录数据。如TidRufundMaritalStatusTaxableIncomeDefaulted Borrower1YesS
8、ingle125KNo2NoMarried100KNo3Yesdevorce189KYes三、数据集的类型2、事务数据(购物篮数据),如顾客购买商品1面包,黄油,尿布,啤酒2咖啡,糖,小甜饼,鲑鱼,啤酒3面包,黄油,咖啡,尿布,啤酒,鸡蛋4面包,黄油,鲑鱼,鸡5鸡蛋,面包,黄油6鲑鱼,尿布,啤酒7面包,茶,糖鸡蛋8咖啡,糖,鸡,鸡蛋9面包,尿布,啤酒,盐10茶,鸡蛋,小甜饼,尿布,啤酒三、数据集的类型3、矩阵数据。如距离矩阵,协方差矩阵,相关系数矩阵等。4、文档词数据。如teamcoachplayballscoregamewinlostfauldoc1305601804Doc207893015
9、6doc30100010405、时间序列数据6、其他四、数据对象之间的相异度和相似度1、简单属性的相似度和相异度假设数据对象只有一个属性,则通常其相似度和相异度可按如下定义。1.1 标称属性的相异度和相似度d=0,如果 x=y1,如果 x y相异度相似度:s=1-d例如,如果只考虑顾客的性别属性,如果都是“男”,则他们的相似度为1,相异度为0.1、简单属性的相似度和相异度1.2 序数属性的相异度和相似度d=|x-y|/(n-1),相异度相似度:s=1-d例如,考虑学生的成绩,共分为A、B、C、D四个等级,则n=4,相异度为2/3.其中n为属性取值的总个数。1、简单属性的相似度和相异度1.3 区
10、间或比率属性的相异度和相似度d=|x-y|相异度较常用的相似度有:s=1/(1+d),例如,考虑如下的身高数据S=1-(d-min_d)/(max_d-min_d)学生S1S2S3S4S5S6S7身高156178166170185168180可以计算学生身高的相异度矩阵如下:学生S1S2S3S4S5S6S7身高156 178166170185168180S1S2S3S4S5S6S7S10221014291224S201287102S30419214S4015210S50175S6012S70二元属性:属性的值只接受两个值:如真/假,男/女、是/否等,通常用0/1表示。则S2与S6之间的相异度为
11、10,而相似度为1/11,有min_d=2,max_d=29,因此,也可以定义相似度为1-(10-2)/(29-2)=19/27。2.数据对象之间的相似度相似性度量的例子2.1。二元数据的相似性度量两个仅包含二元属性的对象之间的相似性度量也称为相似系数。设x和y是两个对象,都由n个二元属性组成。定义如下四个量f00=x取0且y取0的属性个数f01=x取0且y取1的属性个数f10=x取1且y取0的属性个数f11=x取1且y取1的属性个数2.1.1一种常用的相似系数是简单匹配系数(Simple Matching Coeffient,SMC),定义如下SMC=f00+f11f00+f11+f10+f
12、01对于类似顾客是否购买某商品这样的非对称二元数据,这个相似系数则难以体现顾客相同的购买行为。Why?2.1.2 Jaccard 相似系数。Jaccard(Jaccard Coeffient,JC)相似系数定义如下J=f11f11+f10+f01例1.设二元数据对象x和y如下,计算其SMC和J。x=(1 0 0 0 1 0 1 0 0 1)y=(1 0 1 0 1 1 0 0 1 1)解:f00=3f01=3 f10=1 f11=3因此,SMC=6/10,J=3/7例2.设两个顾客x和y购买的商品如下,计算 它们的相似系数SMC和J。商品面包啤酒牛奶茶 糖 鸡蛋盐 大米洋葱大蒜派x101000
13、10010y10100010010商品纯净水可乐水饺口香糖牙膏毛巾洗面奶洗发水面粉味精派瓜子x10010100000y010100000002.1.3 余弦相似度通常类似于文档词这样的数据,度量其相似性不能依赖共享0的个数,如果统计0-0匹配,则大多数文档都非常相似,因此同样要忽略0-0匹配。这类数据最常用的相似度之一就是余弦相似度,定义如下Cos(x,y)=xy/(|x|y|)2.1.4 广义Jaccard系数广义Jaccard系数也可以用于文档数据,并在二元属性情况下归约为Jaccard系数,其定义如下:例3.两个文档向量x和y如下,分别计算其余弦相似度cos(x,y)和EJx=(3 2
14、0 5 0 0 0 2 0 0)EJ=xy/(|x|2+|y|2-xy)y=(1 0 0 3 1 0 6 0 0 1)2.1.4 相关性两个具有二元变量或连续的数据之间对象之间的相关性是对象之间线性联系的度量,一般可以用Pearson相关系数(Pearson,s correlation)来描述。其定义如下:其中第三章第三章 数据挖掘中的数据挖掘中的统计方法统计方法一、数据探索1.1 汇总统计1.1.1频率与众数给定一个在v1,v2,.,vk取值的分类属性x和m个对象的集合,值vi的频率定义为f(vi)=具有属性值vi的对象数/m众数:具有最高频率的分类属性例1.某所大学中各年级的学生人数如下表
15、:则年级属性的众数为“一年级”。对于连续属性,按照目前的定义,众数通常没有用(为什么?),但在某些情况下,众数可能提供关于值的性质或关于出现遗漏值的重要信息。年级人数频率一年级2000.33二年级1600.27三年级1300.22四年级1100.18例如,以毫米为单位,20个人的身高通常不会重复,但如果以分米为单位,则某些人很可能具有相同的身高。此外,如果使用一个唯一的值表示遗漏值,该值通常用众数。1.1.2 百分位数百分位数的定义:设有容量为n的样本观察值想x1,x2,x3,.,xn,样本的p分位数(0p1)是指满足如下性质的xp:A:至少有np个观察值小于或等于xp。B:至多有n(1-p)
16、个观察值大于或等于xp。样本的p分位数xp 可以按如下方法求得:将观察值按自小到大的顺序排列成:x(1)x(2).x(n);即:xp=1。:若np不是整数,则只有一个数据满足定义的两点要求,这一数据位于大于np的最小整数处,即np+1处;2。:若np是整数,则位于np和np+1位置的数据均符合要求,此时取这两个数的平均值作为xp;x(np+1)当np不是整数(x(np)+x(np+1))/2当np是整数与分位数有关常用术语一、极差:x(n)-x(1);median(x)=二、中位数:p=0.5,此时xp称为中位数,记为median(x)其计算如下:x(n/2+1)当n为奇数(x(n/2)+x(
17、n/2+1))/2当n整为偶数三、第一四分位数Q1:p=0.25;第三四分位数Q3:p=0.75;四分位数极差IQR=Q3-Q1;例1.下表是中国各省(市)国有单位的人均报酬,单位:元/年。分别计算p=0.25,0.5,0.75时的分位数及样本均值。地 区 上海 浙 江 浙江 北京 西 藏 人均年收入5031147587475874582344813地 区 广东 天津 江苏 青海 福建 人均年收入3605334509327382868127423地 区山 东 山东 宁夏 重庆 辽宁 人均年收入2698626986261572506024281地 区 四川 湖南 湖 南 内蒙古 广西 人均年收入
18、2404522956229562271122614地 区 云南 山西 河南 甘肃 安徽 人均年收入2227522107220442196821960地 区 贵州 湖北 吉林 陕西 新疆 人均年收入2160821591215022134521213地 区 河北 江西 海南 黑龙江 人均年收入20754192981872018392解:n=34,n*0.75=8.5,Q3=32738(江苏),同理,median=22956(湖北或湖南),Q1=21608(贵州),Q3-Q1=11130,样本均值为27501.59箱线图如下:Q318392黑龙江Q1MinMax21608贵州32738江苏50311
19、上海M箱线图的说明:若中位数位于箱子中间,则数据分布较为对称;若Min离M的距离较Max离M的距离大,在表示数据分布向左倾斜;反之向右。二、估计2.1 点估计2.1.1 矩估计与极大似然估计另外一种常用的估计方法为折叠刀估计,它通过从一组观测值中忽略一个值来实现对参数的估计。假设一个具有n个值的集合x=x1,x2,.,xn,对均值的单次估计为:2.1.2 折叠刀估计(i)=(x1+.+xi-1+xi+1+.xn)/(n-1)对这些单次估计求平均值=(1)+.(n)/n作为总统的均值估计。例:设总体的分布率如下:现有样本的10个观察值:3,3,2,2,1,2,1,2,3,3,分别用矩估计发、极大
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据挖掘概述 2 数据 挖掘 概述
限制150内