模式识别和机器学习数据挖掘的区别与联系.docx

《模式识别和机器学习数据挖掘的区别与联系.docx》由会员分享，可在线阅读，更多相关《模式识别和机器学习数据挖掘的区别与联系.docx（15页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、模式识别和机器学习、数据挖掘的区别与联系(一)模式识别的诞生与人工智能自动控制起始是从工 业革命之后，人们就希望设计出减少人工干预，能自己进行 调节(regulate)的机器，工程领域开始想出了根轨迹等等土招 儿。等到40年代，伴随二战的需要，计算机的产生，维纳 (Wiener) 信息论和控制论(Cybernetics)的祖师爷正式开 仓厅这两仑O控制论这个词是维纳根据古希腊词根创造出来的。用老爷子 自己的1是Cybernetics : or control and communication in the animal and the machine,/ o animal 先 不提，那是人家

2、天才小时候就对生物学有兴趣；在工程方面, 控制论的control主要是围着machine转的。因为祖师开山 的时候是二战中，初衷就是要让机器代替人进行防空武器的 随动瞄准。维纳是数学家，写出来的理论和公式，让当时的工程师们看 着实在头疼。但是维纳不仅仅献学家和搞理论的，实际 工程问题，人家二战中参与了，也想到了。最典型的就是对 噪声的处理。典型的负反响控制系统框图里，从传感器的到给定输入 之间，画一根线就连过来了。可是实际中，传感器有误差， 测量回路中有包含噪声，需要的测量值甚至根本就是淹没在 问题打交道，自然熟能生巧。这么看工科很easy，经3佥也没 什么神秘的。但是每个人的时间总是有限的，

3、如果专门在一 个领域花了比别人多的时间，那么他的经验就变得珍贵起来 了。止匕外接触实际四个字也不是人人都喜欢的。实际中没 有书本上的理想条件，只有各种层出不穷的想不到的问题。 挑战性一点不比在理论上探索低。工科的思维就是事前对可 能遇到的实际问题的复杂性的敏感和估计，事中遇到问题时 的能想法子解决。可以对性能妥协、将就；可以对参数近似、 也可以试验出来；可以把原本充满创新的玩意改得朴实无华 或者面目全非一切只为了这玩意最后能工作起来、能动 换（然后再慢慢往好看、好用上改）。嗯，跑题了，继续。现在图像清楚得已经堪比人脸库了，识 别效果还不错。找客户来验收吧！可是给客户演示完，人家 突然问系统能不

4、能集成到一起，做到DSP和嵌入式系统上; 还要这样，还要那样嗯？等等，你忽然想到好像程序是 在双核PC上跑的，好像用了好些个MATLAB导出的函数, 有个算法还是R里面的 你嘴上说是，脸上没反响，但心里浮现的却是潜伏里陆 桥山审马奎时从牙缝里挤出来的台词：我真想撕烂你的嘴!你当初不是说可老板下了死命令，大家只好大干快上干起来！作为开发算 法的你，责无旁贷啊! 软件彻底用C和C重写！不能用好使的MATLAB 了，API 真理，简单的矩阵运算要费劳资这么大劲。不知不觉1礼拜 过去了，终于写好了。赶紧到下载到那边已经是改到第N版刚拿回来，还热乎乎的 板卡：咦，没反响？软件还是硬件问题？那边查电路，这

5、边改程序 试？呼，有影了，可是噪声咋这么严重，鼻子不是鼻子脸不是脸 的？摄像头还是板子上有干扰？软件上能再改改参数？终 于运行起来了，怎么好像卡死了 ？哦，原来是太慢了。硬件 条件比PC机差了好几个档次了，怎么办啊，换个简单一点 的算法？那性能咋办？那之前那个算法好不容易得到实验 结果不是都白做了么？ 满头黑线了吧？这个人脸识别的例子有点夸张了，但不是完全虚构出来的。 通过这个例子想说的是，数据来源，软硬件的布置，性能的 取舍，参数的实验调整都是论文上看不到也写不出来的实际 工程问题。通常需要各种不同的传感器和硬件打交道，也需 要各行各业的专业背景知识。涉及图像的少不了摄像头、照 相机和图像处

6、理的知识；做水声信号和语音识别，少不了拾 音器阵列，频域方面的信号处理知识。这也就是为啥自动化, 电子，通信、甚至生物医学专业能掺和其中的原因。最后总结一下我对PR的认识：PR是因为各个领域有电脑 代替人脑的实际需求才产生的，所以是一定面向应用的。PR不是在标准数据集上验证分类算法的性能就完了，这个 是ML的事情。PR是要把ML算法在实际问题中用起来。是 理论加实际，科学和技术(虽然理论是核心)。前三节主要是围绕PR来说，就说到这吧。下面打算试着说 说我认识的机器学习算法概貌和一直没露面的数据挖掘。从这节开始，打算把M L算法的概貌描绘一下。M L领域发 展特别快，几乎所有的论文都声称自己弄出

7、一种新算法。看 论文多了之后我的体会是，如果心里没有几条线索，就分辨 不出这一堆算法的区别与联系，最后的结果是学会一堆支离 的算法，学习了苹果只知道这是苹果，给个鸭梨就不认识了， 给个苹果梨就更不明白是什么东西了。至于应用时，更不知 道哪种算法更适合自己的问题。一般都是把ML算法分成两 大类：有监督学习(Supervised Learning )和无监督学习 (Unsupervised Learning )o我觉得这其实是从输入数据的形式上分的，说这个离不了公式和图表了，不想先说这个。从ML的目的和用途来分，可以分成预测(Prediction )和数 据挖掘(Data Mining )o我觉得

8、对应用来说，这么分更有意 义些。这两大类算法的核心区别就是：预测问题更重视算法 的预测能力(Predictive Power),数据挖掘问题更重视算法 的可解释性(Interpretability)。预测之前说过了，针对的目 标变量如果是离散的类别标记，比方医学上的某种病的阴性 阳性,或者人的身份编号,就叫分类(Classification );如果 针对的连续的变量，比方股价，房价，就叫回归(Regression )o 预测能力很容易理解，我们只关心trainset上训练好的算法 在test set上面误差、误分类率要尽可能低。也就是说，模 型给出的预测要尽可能地接近实际结果。可解释性就要好

9、好说说了。简单说就是，我们更关心输入的 P维变量之间的联系，或者算法产生的预测是哪几个变量起 了主要作用，也就是说，算法给出预测结果的根据是什么。 比方商业智能(BI)上常见的购物篮分析(Market Basket Analysis )就是个典型的看中可解释性的数据挖掘问题。因 为直接有钱景，所以几乎每个讲统计的，讲数据挖掘、机 器学习的，甚至讲数据库应用的书，都要提到这个事，现在 各个购物购书网站也都在做这个事。零售商从积攒的海量顾客账单中可以挖掘出什么呢？首先, 分析哪几种商品容易同时出现在顾客的购物篮里，商场就可 以把这些看起来风马牛不相及的东西放在一起，方便顾客购 买；另一方面，分析客

10、户办会员卡时留下的个人信息，可以 分析出经常光顾本商场的是那些特征的人，这样对外投放使 广告便更加有的放矢，可望吸引更多这些类型的人来。流行的做法是每张账单作为1个p维向量，对应所有p种商 品。买了置1 ,没买置0o N张账单就组成了一张N*p的值 为0-1的表格。用流行的Apriori算法从甥居中搦屈购物模 式。比方一个 support = 0.03 , confidence = 0.87 的 Rule : 花生酱,黄油，果酱二面包这就说明，如果一个顾客同 时买了前三种东西，那么他同时买面包的可能性是87%O而 这种同时买4种东西的顾客，在总顾客中占3%o这个模式看起来平淡无奇，可是有时有很

11、奇怪的模式被挖掘 出来，忘了从哪里看到的一个例子：尿布，奶粉=啤酒，刮胡刀把这4个放一起确实提高了 销量，原因后面再说。而对客户身份信息的挖掘结果比方说是：support=0.13 , confidence = 0.8在家讲英语，有住房,职业是 professional 收入大于 $40000。那就赶紧针对这些人，在他们经常出没的地方做广告吧！注 醺这些殿“，前面的舌号里只有2 3个变量，远远小于 总共p个变量。也就是说，我们做出的预测，只依赖于所有 P个变量中特定几个变量。如果我说这就是可解释性。恐怕大家还是不明白。嗯，佛教 上阐释概t,有表诠和遮诠的说法。为了说明T概念, 表谶愎说它是什么

12、；遮I短坏说它曷十么，旗说它 不是什么，不是什么。嗯，下面再不具备可解释性的 算法比一下就知道了。比方还是N*p的矩阵，如果我想分析什么东西导致了买面包， 我把其他p-1种东西1个截距项一共N*p做为X ,面包N*1 作为Y，做个最小二乘：Beta = (X*y这个结果Beta意味着什么呢？有了这个Beta，给我任何一个的账单x ,都能给出买面包与 否的预测值y_est = x* Betao但是,看着这个回归出来的p维的Beta ,我不能像之前那样, 简单说出对买面包来说是哪几种别的商品起了更重要的作 用，也就没法想出提高销量的方法了。这就是预测能力和可解释性的区别。预测能力就是输出结果的准确

13、度，而可解释性是可以用来帮 助人们理解模式背后的原因。比方从前面那个尿布，奶 粉=啤酒，刮胡刀的购物模式，再配合顾客的年龄和性别， 就最后推断出，可能是妻子在坐月子时，年轻父亲们被打发 出来购物的。进而可以重新设计实验或者进行改进：不但把 这已发现的4种商品摆一起，而且把其他年轻父亲可能会买 的东西也摆过来试试。医学上也是这样。不是特别关注用已有的p项的因素(行为 习惯、实验条件、检查化验结果)去准确预测疾病，而更关 注如何从p个因素中发现是哪几种因素组合更容易导致疾病, 进而可以改进实验设计，改进检查，乃至改进预防和治疗的 方案。传统上统计学里作为因素分析(Factor Analysis)问

14、 题来研究，而数据挖掘使用的方法就更多，涉及的更广。而 且数据挖掘也不仅仅是用来进行变量选择和重要性分析，可 以用树、图、层次聚类之类直观的结构，描述变量之间的复 杂依赖关系。前一段有个书叫小趋势(microtrends)的，里面举了美国 社会统计学家统计出来的许多看起来奇妙的小众人群，用来 描述当今的美国社会。甚至进而有针对性地设计竞选宣传策 略，左右选举结果。这都属于看中可解释性的数据挖掘了。 总结一下预测和数据挖掘的区别：预测是偏重得到决策结果, 数据挖掘是偏重分析决策原因和过程。预测问题主要是在生物特征鉴别(人脸，语音，指纹，虹膜)、 机器视觉、目标跟踪这些领域，直接代替人进行决策。在

15、商 业数据，医学数据里，需要解决数据挖掘问题，给人提供参 考。之所以要费力区分预测和数据挖掘，因为天下没有免费的午 餐，一种算法预测精度高了通常很难具备太好的可解释性。 要针对具体的应用问题选择合适的算法，就要明白自己更需 要的哪种能力。很多算法同时具备一定的预测准确度和可解 释性，仅从算法形式上很难分清，还是应该从应用背景上来 分析。一片嘈杂的信号里面(水声信号)。这时候管识别真实值 的问题叫滤波，通过设计各种滤波器来解决。但是一学到现代信号处理这块就会发现和传统的信号处理 不一样了，不再是时域、频域、Z域的滤波器变来变去了。从维纳最正确滤波的算法和ARMA模型的原理就可以看出来, 既然是用

16、随机过程和概率统计来看待和描述信号和噪声，那 么已经可阂巴这个滤波问题用估计(Estimation)、预测 (Prediction)”的苗述了。此外，对系统的状态方程确定参数的 问题，好像是用的辨识(Identification)吧，都差不多。之所 以罗嗦这些词，是因为这些词在模式识别的分支里出现的词。 祖师爷提出、总结这些方法大概主要为了玩转控制问题里的 那些传感器。但是，其他不需要machine,不需要控制的领 域，但是也需要用传感器去测量、去噪声、估计、预测、辨 识啊！其实从需求角度，类似怎么让机器能像人一样分辨人 的语音的研究，也是从40年代就开始了，T始也是语谱 图之类的姆儿，好像是

17、贝尔实验室弄的吧。羽以的问题识 跚前白照片，识别手写文字都叫似的工作。这些工作也 都希望使用计算机代替人来做呢。花开两朵各表一枝，先放下各行各业的需求和土招儿暂且不 说，再来看看计算机。与此同时，计算机产生之后也需要找 到更多的应用领域。除了吸引人的计算速度之外，数学家开 始琢磨让计算机再干点别的。于是，50年代开始出现人工智能(artificial intelligence AI ) 这个词。注意是artificial不是simulationo也就是说，不是 用计算机模仿人脑硬件结构和人的思维过程，而是研究怎 么让半导体造计算机用二进制数据结构 算法去到达肉长的 人的智能效果。好比做题，只需

18、要你能得到结果，不看 步骤。数据结构和算法是计算机专业的核心之一，也是当年 在制造计算机之外，限怎么使用计算机白幼虫、工羯呈(咱 们中国大学里的计算机系大概是60年代从电子系、自动化 系里独立出来的。)所以会编程、搞软件的 IT民工里，科 班生匕伴路出家的蓝领强就强在,除了会if for这些语法之 外，就是人家数据结构、算法、离懿攵学这些方面正经学过。 月陛”走迷宫、8皇后问题“，就是数学家抽象出来，丢给计 算机去做的人的智力题。AI又叫狭义的人工智能，基本可以等同于计算机算法了。当 然也确实有研究人脑结构和思维过程，用计算机去 simulation人蛇勺广义人工智能,不过那更多是医学、生理

19、学的事情啦。也许有人说不对啊，神经网络(Neural Networks N N )可是就是模拟人的神经元呀的算法啊，算狭义还是广义? 这个，统计学家们发来抗议电，说NN压根就没那么玄乎， 不过就是类似投影寻踪回归(Projection Pursuit Regression)的算法。这个后面写到模式识别具体算法时候 会提到。但是除了做智力题之外，人的能力里属于智能的到底都有什 么呢？经过总结，其中之一是识别能力，然后是决策能力。 这下好了，一边是需求，一边是计算机的计算能力。估计、 预测、辨识、识别是时候把这些类似的工作统筹解决了! 这样在60年代，模式识别(Pattern Recognitio

20、n PR)产生了 (二)模式识别的流程与机器学习一个标准的模式识别流程是：客飒嫁-1一 数最? -2一幅去-3-帜别结果但是这个流程只是计算机工作时的流程。而在能这样工作之 前还要干很多事。比方人脸识别，一个计算机算法又不是天 生就认识很多人，算法要经过训练和学习好了，才能照上面 这个过程工作。那么到底在训练、学习些什么，又是在识别些呢？这个还是 要回到定义。模式识这个词不是太容易顾名思义的，我 直到研究生入学以后很长时间还是不明白是什么意思，就知 道是能分类。还是说人脸识别吧。对人来说，看见来自于1个人的人脸图 像，即使是不同表情和姿势的，我们也能认出这些图像来自 于同一个人。而你之所以能认

21、出来，可能是观察了脸型 发 型，也可能是五官形状的组合。可是到底是图像上的什么决 定了你的判断呢？你有的能说出来，可是有的却又说不清道不明的。于是，就用一个抽象的词模式来形容那些能够让你判断出哪些样本属于同一类别、能够和其他类别相区 别的特征或者属性。我们下面设计计算机算法为每1个人的图像建立唯一的1个模式或者说模型，不同的N个人对应于N个模型。很可能每个人的身份编号每个人的身份编号i对应一个参数模型Mio这个建立或者说训练(train)过程可能就是统计这些图像，确定每个模型的参 数。而开发者为了评价算法性能，也要先预备一些类别的图 像，分成train set和test set ,这样在训练集

22、上训练好的算 法，要测试集上测试一下。根据测试结果调整算法参数，或者实在太差的话要换一种算法了。不断的调整参数、不断改 程序，不断的train ,不断的test所以这方面的论文通常要附上算法在各种数据集，各种情况下的结果。一个图，一 张表的背后，要写好多程序，花好多时间在电脑上运行。这样训练好后，就可以按上面那个流程工作了。如果一张属 于第i人的图片来了，算法用保存的N个人的模型去分别计算相似度，判断这张图片来自于模型Mj的可能性最大，也就等于电脑可以通过看图片识别出了这人的身份是jo如果j等于真实身份i ,那就识别正确了，如果每次都识别对，那电脑就到达了人脑的能力了。注意算法在输出j的时候是

23、不知道真实身份i的，那么这种工 作,就可以看成是一种预测(Prediction)。如果需要输出是离 散变量，比方这里是类别，就称为分类(Classification),而 需要预测连续型变量的，比方股指，房价，就称为回归 (Regression)。这里的回归没有针对过去的值的意思，就是 说预测的目标输出的是连续性的值。好了，现在来说机器学习(Machine Learning ML)O回顾一下 你的模型从哪里来的？虽然有些模型假设，但主要从输入的 身份的期居中来的。而算法的训练-考试过程，又很像 人的学习过程，于是把这一类计算机算法叫做Machine Learningo 其实是 Machine

24、Learning from data 了。看起来 是Machine在不断自己Learning，其实是人写的算法让它 一直learningo如果算法是纯用统计学，也可以叫统计学习 (Statistical Learning)o所以在我看来，M L可能是最类似AI的范畴了，都是计算机 算法嘛。区别是AI是具备类人能力就行，不管算法怎么来的, 一个拍脑袋定义的出来的公式也算。而ML要窄一些，是特 撞至过Learning from data过程而获得的智能。用统计学 的里的概念来说，ML是一种数据驱动的，非参数(Nonparametric)或者半参数(Semiparametric)算法。再来 比拟PR

25、和MLO可以说，PR里面的算法局部基本上一定是 属于ML。区别在于，PR里的ML算法主要就是在做预测。 而整个ML就要广多了，如果你的算法输入是棋谱，那么训 练好的算法就可以下棋打牌。但是UCI上面供机器学习算法 之间进行能力比拟的标准数据集基本都是分类和回归问题。 这么看ML和PR实在是太相似了。说到了这里，PR里面的ML算法，主要都是在用统计学（少 局部有图论），问题也就出来了。提出算法的主要是人家数 学家、统计学家、或者计算机专业的干的，已经属于science 了。可是怎么模式识别的事净是自动化、电子信息、通信这 些专业的搞呢？虽然你们攒一起改叫Electronics Engineeri

26、ng 了，可那也是Engineering啊，本科顶多学点高 数，线代，复变，信号系统，古典概型和简单数理统计，再 学编码啥的，到硕士嘛顶多学点矩阵论，随机过程顶天了。 就这点数学底子，提不出啥牛X算法，凭啥模式识别专业还 是你们这些工科生霸着啊？丢给数学系、统计系，或者计算 机系得了，人家CS好歹也是S啊。嗯，我也疑惑了很久，明明都是在折腾数学，怎么还是赖在 工科里呢？（三）模式识别中的工程、技术为什么要说说PR没被数学、统计和计算机专业抢去的问题, 实际是想分析一下PR里的科学与技术，理论与工程的问题。 如果去学PR ,看任何一种这方面的经典教材来看，基本上 全是在讲各种理论、各种分类回归算

27、法、和算法的思路。（关 于这方面的经典教材，其实特别想单独来说的。如果是第一 本，挑一本对自己胃口的书很重要。原因是经典基本都是700 页起的，而且基本满眼望去都是公式。理科生不管，对于看 理论经常感觉力不从心，或者没什么耐心的工科生，如果找 了一本不对自己胃口的书可能就很难看下去，Amazon上的 书评里每本经典都有一堆5星，但是也颇有些1 2星的。） 虽然可以说学PR就等于学各种分类算法，但是不等于说 PR就等于分类算法。最起码炮制这方面的论文就不等于炮 制分类算法F ,想想也是，不然工科生还有的混吗！作为说 PR的最后一节，这次工科生要来吹吹牛，看看PR除了统 计理论和算法，有什么离不了

28、工程、技术的地方。还是先把 流程图再画一遍：客飒豫1 数（说一 tW旗法，一识 别结果上一篇主要哪勺是计算机算法 3 谣蜡果这块，确 实最重要，是核心。数值表示 -2- 计算机算法俄简 单：算法要求输入的数据通常都是个很规整的矩阵，比方N 个训练样本，每个样本p个特征（feature）,输入就是一 N*p 的矩阵。 此外，有的算法需要对列进行标准化，有的不接 受连续型变量和离散值变量的混合，有的干脆不接受连续型 变量，要量化变成哑变量。所以根据算法的不同，对数据的 形式也要稍微做点加工。这也没啥特别的。关麟在于前面，尊观对象 1 数（最示。还忌喔卖 以人脸识别为例吧。研究了一个算法，都要在网上

29、的几个标 准人脸库中的图像上实验自己的算法。通常库里每个人的照 片包括各种姿态（比方稍微左右侧一些，抬头低头），表情 变化，各种光照阴影，有的还有饰物比方眼睛，帽子，发型 变化。图像尺寸都是统一的，的比方256*256 ,灰度也是8bit 这样。好了，你的算法在几个人脸库上跑得不错，实验数据有了， 论文有谱了，你很开心。老板也很开心，于是老板接了个小 工程，让你参与做个人脸识别的门禁系统。这时候你就会发 现，想按照那个完整流程来工作，1这一步的问题一点也不 少。首先就是传感器的问题。传感器直接决定了图像有没有形变, 颜色和灰度有没有改变，是不是清楚，分辨率有多高。通常 的崛提有还寇殳有，碓有。怎匈 ?刷Z从硬f牛选 型到板卡布置这块首先少不了 专门经验，然后还有成像这 块和图像处理的知识。得到内外参数，怎么把畸变调整一下， 然后降降噪声，直方图均衡调整一下比照度，尺寸也调整一 下。这些图像处理课里的内容，虽然也都是简单的数学公式， 但是，场合不同，想要的图像效果不同，参数上也总要微调 的让我想起了 PID参数的整定。嗯，很工科。插一句，我所理解的工程学就是对实际问题的专门经验的积 累。公式理论简单，而经验的获得，只需要多花时间和实际