基于svm车型识别系统的设计与实现本科学位论文.doc

《基于svm车型识别系统的设计与实现本科学位论文.doc》由会员分享，可在线阅读，更多相关《基于svm车型识别系统的设计与实现本科学位论文.doc（23页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 基于SVM车型识别系统的设计与实现摘要车辆自动识别分类技术是智能运输系统的重要组成部分，它对特定地点和时间的车辆进行识别和分类，并以之作为交通管理、收费、调度、统计的依据。要实现我国公路收费自动化、管理规范科学化，车型自动识别方法的研究势在必行。本文研究基于车型图像代数特征的车型识别方法。该方法首先利用背景差分法从背景图像中提取出运动车辆，并对车型图像进行预处理，然后采用特征并行融合的方法用PCA方法，最后通过支持向量机分类器进行车型识别。关键词车型识别，特征融合，特征提取，决策支持向量机Vehicle Identification System Based On SVM Design An

2、d ImplementationAbstract: Automatic Vehicle Identification and Classification of Intelligent Transport System technology is an important part of its specific place and time the identification and classification of vehicles, and used as traffic management, fees, scheduling, statistical basis. Chinas

3、road toll to achieve automation, standardized and scientific management, Automatic Vehicle Identification Method imperative. This paper explores the characteristics of the vehicle model image algebra recognition. This method first uses background subtraction to extract from the background image movi

4、ng vehicles, and vehicle image is preprocessed, and then use the parallel feature fusion method using principal component analysis, and finally through the support vector machine classifier for vehicle identification.Keyword: Vehicle recognition, feature fusion, feature extraction, decision support

5、vector machine目录1 引言21.1车型识别的研究内容及其应用21.2车型识别的研究现状和前景31.3本文研究的主要内容及结构安排32 车辆图像预处理42.1图像平滑42.2图像标准化53 车型特征提取73.1 PCA方法概述73.2 PCA方法提取车型特征84 基于支持向量机的车型识别分类器94.1现有的几种分类方法94.2 支持向量机104.2.1线性支持向量机114.2.2非线性支持向量机134.2.3用于多类识别的支持向量机134.3决策支持向量机进行多分类144.4 支持向量机进行车型快速识别154.4.1概述154.4.2 多类(k类)问题的SVM算法174.5实验结果

6、及比较175 结论19致谢：19参考文献：20附录：21第 22 页 共 22 页1 引言1.1车型识别的研究内容及其应用电子技术、通信技术、计算机技术和自动控制技术的发展，为解决交通问题提供了新的思路，于是，智能运输系统(ITS，Intelligent ansportation system)就应运而生了1。实践证明，智能运输系统是解决当前交通拥堵、环境污染严重等问题的有效途径。目前ITS在美国、欧洲、日本等国家、地区己受到政府、产业机构、科学研究单位的重视。它的研究领域广阔，各国各地区的侧重点也有所不同。由于建设高速公路的投资较大，贷款筑路、以路养路收费还贷的政策早已深入人心。但是高速公路

7、上的收费站大大地降低了高速公路的通行能力。国外己有实行不停车收费的例子，在国内，不停车收费也是这种收费制式的发展方向。电子收费系统是智能运输系统在公路收费领域的具体表现，其应用可解除收费站的“瓶颈”制约作用，较好地缓解收费站的交通拥挤、排队等待以及环境污染等问题。电子收费系统具有的诸多优点，使其成为世界各国交通部门优先研究、发展、应用的技术之一，无论是在欧、美发达国家，还是在亚洲发展中地区，截至目前，电子收费系统己经拥有一套相对较成熟的技术体系，成功实现并投入实用的范例在各地纷纷出现2。我国的公路收费系统主要采用以下三种形式：1.均一制系统。收费站建在公路的所有入口，车辆在一个路口交费后，可在

8、该公路全线自由行驶，无需再次交费，收费标准仅因车型不同而不同，与行驶里程无关。2.开放式系统。收费站建在公路的主线上，间隔3050公里不等，各个出口不再设收费站，车辆可自由出入。收费标准除根据车型不同而不同外，还因各站控制的距离不同而不同。3.封闭式系统。收费站建在各互通立交匝道上，在入口处发通行卡，在出口处验卡，按车型和行驶距离收费，车辆进出公路均受到控制。无论哪种收费方式，都必须先对车辆进行分类，才能确定应当收取的通行费，这一点对传统收费系统和电子收费系统都是相同的。所不同的是，在传统收费方式中，车辆的类型通常由收费员通过目视人工划分。其突出的优点是误判少、可靠性高。但也存在弊端，主要如下

9、：1.人工收费速度慢，收费人员易同司机发生争执，造成交通拥挤，不但误工误时，而且阻碍了整个地区路桥交通网络作用的发挥。2.人工收费因有人工因素参与，“人情车”现象或其它帐务弊端十分严重。如：收费人员对熟悉的司机不予收费，或是某些个体司机少交费而不要票据；或是少数低素质收费人员相互勾结，多收少缴，私吞收费。据统计，在一些大型的收费站，每日因此损失的收费款额高达数万元，全年累计超过千万，造成国家和地方财政收入的流失，给国家和地方经济造成严重损害。3.人工收费人员长时间在比较恶劣的环境中做重复的工作，易产生疲劳感，从而影响收费的速度，不利于职工的身体健康，不利于车辆通行率的提高。电子技术和计算机技术

10、的发展，为解决这个问题提供了可靠的技术保障。路桥自动收费系统的应用，充分体现路桥交通现代化管理的先进水平，必将产生较大的社会效益和经济效益。实现车型自动识别，采用路桥自动收费系统主要有如下优势：1.可加快车辆通过收费站的速度，提高了有限的空间利用率和路桥收费站的通过能力，利于交通疏流，解决因堵车造成的工时损失、能源损耗、环境污染等问题。2，可杜绝人工收费造成的票款流失问题，确保路桥收费的可靠性和可控性，可较大比例地提高路桥费的回收率。3.整个网络成为交通信息采集网，可快速掌握路桥的车流信息，不仅有利于交通行政部门的综合整体管理，更便于交通行政管理部门的疏导和管理，也可为新建路桥提供科学依据。4

11、，减少了收费站的人员管理，可以节省大量的人力和财力，并使路桥收费实现现代化管理。在电子收费系统中，由于收费过程实现自动化，需要自动识别车型以便根据不同的车型收取相应的费用，车辆直接驶过收费站而不停车，因而对车型判定提出了更严格要求，需要真正统一标准，准确迅速识别、归类3。尽管近几年提出了交通“监控、自动收费、通信系统设计方案”，但均不能完成对车辆的自动识别和自动收费，因此，开发车型自动识别系统有很大的市场。车型识别技术可应用于停车场收费管理以及各类封闭式和开放式路桥卡口自动收费系统，根据联网的规模不同，适用于IC卡、金路卡、虚拟储值卡以及金融卡等各种自动扣费方式，可从路段扩展到区域、地区、跨地

12、区以至全国路网。1.2车型识别的研究现状和前景车辆自动识别分类技术是智能运输系统的重要组成部分，是一门集计算机图象处理技术、模式识别、工业测控技术、电子技术、系统工程技术于一体的综合技术。它对在特定地点和时间的车辆进行识别和分类，作为交通管理、收费、调度、统计的依据。国外由于公路建设起步早，对于车辆自动分类技术的研究开始得也早。国内在进入九十年代就开始这方面的研究。要实现自动车辆识别、分类，需要做的第一步是探测、摄取车辆的某些特征信息。在车辆的所有特征中，可以用来识别和区分车型的通常有车辆的外型(长、宽、高等)、车辆的轴重或轴距、车辆轴重及总重、车辆牌号、发动机排气量、车辆可以乘载的人员数或载

13、重量等特征。在这些特征中，只有部分可以用于自动车辆识别和分类，因为有的特征可以用仪器不停车探测、提取，有的则不然，如排气量、司乘人员数等。目前，车型识别技术主要有轮廓扫描方法、车轴计数方法、磁场变化方法、车牌识别方法、基于图像处理的方法、基于交通视频技术的方法等4。其中，国内外现在通过图像处理对车型进行识别的研究很多，例如，基于神经网络的汽车车型的识别，小波变换及非线形滤波用于车型识别，视频图像处理监控等，就每一种方法来说都有其适用的范围和优缺点，基于图像处理的方法具有应用范围广，获取信息丰富的优点，以上这些方法基本上均是基于车辆的几何特征进行识别，本文也是采用图像处理的方法，但本文中是通过提

14、取车辆的代数特征对车型进行自动识别。总的看来，多年来出现的各种各样的车型识别技术，其中绝大多数是通过检测车辆的某些几何参数或者物理参数来归纳分类的，某些技术也达到了比较高的检测精度、但由于以下几个关键因素，至使其未能在高速公路收费中取得成功应用。一是我国车型太多，国家还没有颁布明确的汽车外形检测标准;二是环境影响，存在干扰;三是车主为了经济利益，往往不顾国家交通部门的规定，在车上装载大量的货物，严重超载，导致车辆的外形变化比较大，难以识别。就我们所知车型识别在国内主要停留在研究状态(如中国科学院、西安公路所、上海交通大学、西安交通大学、北京理工大学等)，部分产品已投入正式运营。在各种车辆自动识

15、别、分类技术中，目前真正能够实际使用的还不多，而车辆分类、按车型收费是公路收费所必需的，因此必须尽快探索出一些新的车辆自动识别方法。1.3本文研究的主要内容及结构安排本文主要研究基于车型图像代数特征的车型识别技术。具体方法如下：通过摄像机采集运动中汽车的序列图像，并传入计算机，计算机取得的图像用中值滤波方法得到背景图像，用背景差分方法提取出车辆图像，经过一定的图像预处理得到车辆标准化图像，利用PCA方法提取车型图像特征;然后用决策支持向量机进行车型分类，对比用最近邻法及神经网络的方法对车型进行识别。整个过程用流程图简要描述如图1-1所示。摄像机采集运动车辆序列图像计算机车辆图像背景图像中值滤波

16、法标准化图像图像代数特征支持向量机分类模型分类结果训练样本特征PCA方法图像预处理背景差分法图1-1本文研究内容流程图本文的结构安排如下：第一章，首先介绍了车型识别的研究内容及其应用，车型识别技术现有的一些研究方法，然后介绍了本文研究的主要内容及结构安排。第二章，介绍了利用背景差分方法从运动图像中提取车辆，其中背景图像我们采用最简单的一种模型对时间序列图像进行中值滤波获得。然后，用基于形态学的方法进行噪声消除。最后将所得车辆图像标准化。第三章，利用PCA方法提取车型图像特征，采用PCA方法得到车辆图像的代数特征，该特征包含了车辆图像样本更丰富的特征信息。第四章，先简单地介绍了现有的几种分类方法

17、（神经网络和支持向量机），然后详细地描述了支持向量机算法，同时讨论了支持向量机多类分类方法，以及基于支持向量机进行车型的快速识别。最后一章，总结了本文所做的工作。2 车辆图像预处理本系统首先用摄像机从现场环境中摄取运动车辆的视频图像，然后利用摄取的连续图像从复杂背景中提取出运动车辆，最后对车辆图像进行必要的一些预处理成为标准化车辆图像，用于车型识别。本章首先介绍了利用目前运动分割中最常用的一种方法背景差分方法从运动图像中提取车辆，其中背景图像我们采用最简单的一种模型一对时间序列图像进行中值滤波获得。然后，用基于形态学的方法进行噪声消除。最后将所得车辆图像标准化。图像预处理主要包括两个步骤：图像

18、平滑及图像标准化。2.1图像平滑背景减除后的图像存在不少噪声污染，因此我们先对图像进行平滑处理。图像平滑主要是为了消除噪声。噪声并不限于人眼所能看的见的失真和变形，有些噪声只有在进行图像处理时才可以发现。图像的常见噪声主要有加性噪声、乘性噪声和量化噪声等。图像中的噪声往往和信号交织在一起，尤其是乘性噪声，如果平滑不当，就会使图像本身的细节如边界轮廓、线条等变的模糊不清，如何既平滑掉噪声有尽量保持图像细节，是图像平滑主要研究的任务。一般来说，图像的能量主要集中在其低频部分，噪声所在的频段主要在高频段，同时系统中所要提取的汽车边缘信息也主要集中在其高频部分，因此，如何去掉高频干扰又同时保持边缘信息

19、，是我们研究的内容。为了去除噪声，有必要对图像进行平滑，可以采用低通滤波的方法去除高频干扰。图像平滑包括空域法和频域法两大类，在空域法中，图像平滑的常用方法是采用均值滤波或中值滤波，对于均值滤波，它是用一个有奇数点的滑动窗口在图像上滑动，将窗口中心点对应的图像像素点的灰度值用窗口内的各个点的灰度值的平均值代替，如果滑动窗口规定了在取均值过程中窗口各个像素点所占的权重，也就是各个像素点的系数，这时候就称为加权均值滤波;对于中值滤波，对应的像素点的灰度值用窗口内的中间值代替。实现均值或中值滤波时，为了简便编程工作，可以定义一个n*n的模板数组。另外，需要注意一点，在用窗口扫描图像过程中，对于图像的

20、四个边缘的像素点，可以不处理;也可以用灰度值为“0”的像素点扩展图像的边缘。中值或均值平滑有时处理图像的效果并不是很好，它虽然去除了一定的噪声，但同时使图像中的边缘变的模糊，这主要和所选取的窗口大小有关，为此下面介绍了一种既能保持边缘清晰又能消除噪声的方法，其算法如图2-1所示:图2-1图像平滑模板上图的含义是在图像中取5*5的区域，包含点的五边形和六边形各四个，3*3的区域一个，计算这九个区域的标准差和灰度的平均值，取标准差最小区域的灰度平均值作为点的灰度。噪声消除后的图像如图2-2所示。图2-2噪声消除后的图像2.2图像标准化由于后面用到的K-L变换方法在本质上依赖于图像灰度在空间分布上的

21、相关性，因此需要先对车辆图像进行一系列的预处理，以达到位置校准和灰度归一的目的。为此，我们首先对图像进行缩小和放大变换，得到统一大小的校准图像(宽x高为：12864)。然后再对校准图像做灰度拉伸，以改善图像的对比度。最后采用直方图修正技术使图像具有统一的均值和方差。1、缩小和放大变换图像放大和缩小的方法最典型的有两种:几何变换及离散数字图像的连续表示。前一种方法的主要原理是将目标图像上的点(x，y)映射成源图像上的点(u，v)，然后将(x，y)处的颜色值取作(u，v)处的颜色值，而当(u，v)不是格点时，图像在(u，v)处的颜色值可用(u，v)邻近若干格点处的颜色值表示。后一种方法则对原始的(

22、离散表示的)数字图像用连续函数进行刻划，再根据图像缩放的倍数要求对该连续表示的图像进行重新采样，最后得到新的离散表示的数字图像【11】。本文采用前一种方法进行灰度图像放大和缩小变换。对灰度图像实行实数倍大小变换(x方向p倍，y方向p倍)，该操作产生的像素可能在原图中找不到相应的像素点，这样就必须进行近似处理。一般的方法是直接为和它最相近的像素值，也可以通过一些插值算法来计算。后者处理效果要好些，但是运算量也相应增加很多。本节中的灰度插值我们采用线性插值法。在线性插值法中，非网格点的灰度值，的用其周围四个网格点(x，y)，(x，y+l)，(x+l，y)，(x+1，y+l)的灰度值按下式近似计算:

23、 (2-2)其中， ，( 是高斯符号)该方法精度高，但速度慢。变换倍数p、q由用户给定。2、灰度拉伸由于图像的亮度范围不足或非线性会使图像的对比度不理想，可用像素幅值重新分配的方法来改善图像对比度。扩大图像的亮度范围可以用线性映射的方法。这里用以下映射进行: （2-3）其中Max为原图像中的最大灰度值，Min则为原图像中的最小灰度值。3、直方图修正灰度级的直方图就是反映一幅图像中的灰度级与出现这种灰度的概率之间的关系的图形。设变量r代表图像中像素灰度级。在图像中，像素的灰度级可作归一化处理，这样，r的值将限定在下述范围之内:0r1 (2-4)在灰度级中，r=0代表黑 r=1代表白。从图像灰度级

24、的分布可以看出一幅图像的灰度分布特性。对于一幅给定的图像来说，每一个像素取得0，1区间内的灰度级是随机的，也就是说r是一个随机变量。可以对0，1区间内的任一个r值进行如下灰度变换: (2-5)也就是说，通过上述变换，每个原始图像的像素灰度值r都对应产生一个s值。变换函数T(r)应满足下列条件:1)在0r1区间内，T(r)单值单调增加;2)对于0r1，有0T(r)1。这里的第一个条件保证了图像的灰度级从白到黑的次序不变。第二个条件则保证了映射变换后的像素灰度值在允许的范围内。直方图均衡化是灰度变换的一个重要应用，广泛应用在图像增强处理中，它是以累计分布函数变换为基础的直方图修正法，可以产生一幅灰

25、度级分布具有均匀概率密度的图像，扩展了像素的取值动态范围。若像素点的原灰度为r，变换后的灰度为s，需要注意的是r、s是归一化后的灰度值，其灰度变换函数T( )为： (2-6)式中，是第j级灰度值的概率，是图像中j级灰度的像素总数，是图像中灰度级的总数目，n是图象中像素的总数。对变换后的S值取最靠近的一个灰度级的值，建立灰度级变换表，将原图像变换为直方图均衡的图像。经过预处理，得到了所谓的“标准图像”(如图2-3所示)。图2-3标准化后图像3 车型特征提取目前多数车型识别技术的研究都是提取车辆的几何特征或者物理特征进行车型分类的，实验表明，图像的几何特征不能完全体现出图像的灰度信息，因而不能得到

26、理想的分类结果。PCA方法(主元分析方法)是特征提取的常用方法。PCA方法是以样本总体散布矩阵为产生矩阵的K-L变换把原始图像空间压缩为低维的特征空间，其优化目标具有总体性，而所包含的类别信息较少，因而在分类时，提取的主元有可能是盲目的。考虑到任何单个特征所包含的鉴别信息可能有限，而不同的特征往往具有互补性，将它们融合起来可以提供丰富的鉴别信息。3.1 PCA方法概述一般而言，PCA方法的目的是寻找任意统计分布的数据集合之主要分量的子集。相应的基向量组满足正交性且由它定义的子空间最优地考虑了数据的相关性。将原始数据集合变换到主分量空间使单一数据样本的互相关性(cross-correlation

27、)降低到最低点。设是N维向量的数据集合，m是其均值向量: （3-1）差别向量是： （3-2）协方差矩阵是： (3-3)求出其从大到小排列的特征值兄、及满足下列条件的特征向量： （3-4）有了特征向量集合，任何数据x可以投影到特征空间（以特征向量为基向量)中的表示：, (3-5)相反地，任何数据x可以表示成如下的线性组合形式： （3-6）如果用A代表以特征向量为列向量构成的矩阵，则定义了一个线性变： (3-7) (A是正交矩阵)变换后的协方差矩阵为: (3-8)上述去相关的主分量分析方法可以用于降低数据的维数。通过略去对应于若干较小特征值的特征向量来给y降维。例如，丢弃底下N-M行得到MN的矩阵

28、B，并为简单起见假定均值m=0，则有: （3-9）而仍可通过来近似。近似的均方差为: (3-10)它只是被舍弃的特征向量所对应的特征值的和。通常，特征值幅度差别很大，忽略一些较小的值不会引起很大的误差。上述方法是图象数据压缩的数学基础之一，通常被称为Principal Component Analysis(PCA)或Karhunen-Loeve(K-L)变换。PCA方法的核心过程是计算特征值和特征向量，有很多不同的数值计算方法。一种常采用的方法是根据如下的推导: (NN维) 其中考虑 (ss维)的特征向量 （3-11）上式两边左乘A得到 （3-12）可见就是的特征向量。由于通常SN，这种方法将

29、求高阶矩阵的特征向量转化为求较低阶矩阵的特征向量的过程在图象数据分析中是很实用的。3.2 PCA方法提取车型特征K-L变换是一种最优正交变换9，是图象分析与模式识别中的重要工具，人们将其应用于特征提取，降低特征数据的维数。形成了子空间法模式识别的基础，本文将它应用于车型识别。该方法以归一化的标准图像作为训练样本集，以该样本集的总体散布矩阵为产生矩阵，即: (3-13)或 (3-14)其中：为第i个训练样本的图像向量，训练样本集的平均图向量，M为训练样本的总数。将表示为 (3-15)其中构造矩阵：容易求出矩阵R的特征值及相应的正交归一特征向量从而易得的正交归一特征向量为 （3-17）这就是图像的

30、特征向量。我们总共得到了M个特征向量。虽然M比小很多，但通常情况下，M仍然会太大。而事实上，根据应用的要求，并非所有的都有很大的保留意义。考虑到使用K-L变换作为对车辆图像的压缩手段，可以选取最大的前k个特征向量，使得: （3-18）在上式中，我们选取a=98%。这说明样本集在前k个轴上的能量占整个能量的98%以上。这样每一幅车辆图像都可以投影到由张成的子空间中。因此每幅车辆图像对应于子空间中的一个点。同样，子空间中的任一点也对应于一幅图像一一特征车(图3-1显示的是所对应的图像)。图3-1“特征车”图像有了这样一个由“特征车”张成的降维子空间，任何一幅车辆图像都可以向其做投影并获得一组坐标系

31、数，这组系数表明了该图像在子空间中的位置，就是我们用PCA方法提取出来的车型特征。4 基于支持向量机的车型识别分类器4.1现有的几种分类方法训练方法和分类算法是分类系统的核心部分，目前存在多种基于向量空间模型的训练算法和分类算法，例如，最近K近邻方法、神经网络方法和支持向量机算法等等。1、KNN(K最近邻)算法该算法的基本思路是：在给定新样本后，考虑在训练样本集中与该新样本距离最近 (最相似)的K个样本，根据这K个样本所属的类别判定新样本所属的类别，具体的算法步骤如下：第一步：根据特征项集合重新描述训练样本向量第二步：在新样本到达后，确定新样本的向量表示第三步：在训练样本集中选出与新样本最相似

32、的K个样本第四步：在新样本的K个邻居中，依次计算每类的权重，计算公式如下：其中，为新样本的特征向量，为相似度计算公式，与上一步骤的计算公式相同，而为类别属性函数，即，如果属于类那么函数值为1，否则为0。第五步：比较类的权重，将样本分到权重最大的那个类别中。2、神经网络算法神经网络算法采用感知算法进行分类。在这种模型中，分类知识被隐式地存储在连接的权值上，使用迭代算法来确定权值向量。当网络输出判别正确时，权值向量保持不变，否则进行增加或降低的调整，因此也称为奖惩法。传统神经网络如BP算法存在以下缺点:存在局部极小问题，学习算法收敛速度慢。3、支持向量机支持向量机的基本思想是使用简单的线性分类器划

33、分样本空间。对于在当前特征空间中线性不可分的模式，则使用一个核函数把样本映射到一个高维空间中，使得样本能够线性可分。支持向量机(Support Vector Machine，SVM)起源于统计学习理论，它研究如何构造学习机，实现模式分类问题。由于支持向量机方法有几个主要优点：1.它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值;2.算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题;3.算法将实际问题通过非线性变换转换到高维的特征空间(Feature Space)，在高维空间中构造线

34、性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关;又由于统计学习理论为人们系统研究有限样本情况下机器学习问题提供了有力的理论基础，本文采用了支持向量机分类算法进行车型识别。4.2 支持向量机统计学在解决机器学习问题中起着基础性的作用。但是，传统的统计学所研究的主要是渐近理论，即当样本趋向于无穷多时的统计性质。在现实的问题中，我们所面对的样本数目通常是有限的，有时还十分有限。虽然人们实际上一直知道这一点，但传统上仍以样本数目无穷多为假设来推导各种算法，希望这样得到的算法在样本较少时也能有较好的(至少是可接受的)表

35、现。然而，相反的情况是很容易出现的。其中，近年来经常可以听到人们谈论的所谓神经网络过学习问题就是一个典型的代表:当样本数有限时，本来很不错的一个学习机器却可能表现出很差的推广能力。人们对于解决此类问题的努力实际上一直在进行。但是，其中多数工作集中在对己有(基于传统统计学原则的)方法的改进和修正，或者利用启发式方法设计某些巧妙的算法。在人类即将迈进一个新世纪的时候，人们开始逐渐频繁地接触到一个词，就是“统计学习理论”。这实际上是早在20世纪70年代就已经建立了其基本体系的一门理论，它系统地研究了机器学习的问题，尤其是有限样本情况下的统计学习问题。在90年代，这一理论框架下产生出了“支持向量机(S

36、VM)”这一新的通用机器学习方法。或许是由于统计学习理论为人们系统研究有限样本情况下机器学习问题提供了有力的理论基础，或许更是因为在这一基础上的支持向量机方法所表现出的令人向往的优良特性，人们开始迅速重视起这一早在20年前就该重视的学术方向。现在，越来越多的学者认为，关于统计学习理论和支持向量机的研究，将很快出现像在80年代后期人工神经网络研究那样的飞速发展阶段。然而，所不同的是，统计学习理论有完备的理论基础和严格的理论体系(相比之下神经网络有更多的启发式成分)，而且其出发点是更符合实际情况的有限样本假设。支持向量机使用结构风险最小化(Structural Risk Minimization，

37、SRM准则)原理构造决策超平面使每一类数据之间的分类间隔(Margin)最大。SRM准则认为:学习机对未知数据分类所产生的实际风险是由两部分组成的，以00是控制惩罚程度的常数。由拉格朗日乘数法，问题等价于在约束条件 (4-19) (4-20)之下对求解下列函数的最大值： (4-21)4.2.2非线性支持向量机至此，对支持向量机的讨论都仅限于线性分界面的情况。对于非线性划分问题，可以通过一个非线性变换中将它转化为某个高维空间H中的线性划分问题。一般来说，这种非线性变换的形式可能非常复杂，难于实现。但是注意到在上面的问题中，不论是优化的目标函数还是分类函数都只涉及到向量的点积运算，即的形式。如果存在一个“核函数”K，满足： (4-22)那么就能用原空间中的函数来实现变换空间中的点积，从而绕开映射的具体形式。根据泛函分析中的有关理论，只要核函数满足Mercer条件，它就对应于某一变换空间中的点积，也就是说，存在映射，使得 (4-23)成立。常见的满足Mercer条件的核函数有多项式核函数： (4-24)高斯径向基函数： (4-25)如果用内积代替最优分类面中的点积，就相当于把原特征空间变换到了某一新的特征空间，此时优化函数变为： (4-26)