有关一种基于编码的SVM多类分类方法毕业论文写作资料-论文写作网

简介:大学硕士与本科分类方法毕业论文开题报告范文和相关优秀学术职称论文参考文献资料下载，关于免费教你怎么写分类方法方面论文范文。

分类方法论文范文

摘要：通过对支持向量机基本原理及其多类分类方法的研究,提出了一种基于编码的SVM多类分类方法.通过对ORL人脸库样本的多类分类实验,证明此方法在保证高识别率的同时,可减少所需SVM二值分类器个数,从而大大减少了运算量和运算时间,具有较强的实际应用价值.

关键词：支持向量机多类分类编码

支持向量机(SVM)是建立在统计学习理论的VC维理论和结构风险最小化原理基础上的,根据有限的样本信息,在模型的复杂性和学习能力之间寻求最佳折中,以获得最好的推广能力.由于SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势,使其在许多应用领域都获得了良好的应用.基本的SVM仅能解决二值分类问题,但在实际应用中往往需要解决多类分类问题,因此,关于SVM的多类分类问题成了当前许多学者的研究热点.本文提出了一种基于编码的SVM多类分类方法,与其他方法比较在运算量和运算时间上具有较大优势.

1. SVM多类分类方法

为了实现对多类问题的分类识别,需要对SVM的二值分类进行改进.目前,要实现SVM的多类分类有二种改进的方法：一种方法是扩展SVM的基本算法．用一个二次优化问题描述整个多类别问题；另一种方法是构造多个二值分类器,用多个二值分类器组合来解决SVM的多类分类器问题.

扩展SVM方法因计算复杂度过高、训练速度慢、在分类精度上也不占优势.在实际应用中较少采用.利用二值分类器组合的方法主要有：l -a -1(one - against - one)方法,l-a -r(one - against - rest)方法,以及构造多层决策分类树方法等.

1.1 1-a -1（one - against - one）方法

算法1 -a-l将N类中的每两类构造一个二值分类器,N类共需要构造N(N-1)/2个二值分类器,组合这N（N -1）／2个二值分类器,利用论文范文法确定分类结果,得票最多的类别即为该新样本所属的类别.这种算法的缺点是分类器数目大,分类速度慢.

1.2 1-a -r（one - against - rest）方法

算法l -a-r方法是构造N个二值分类器,在训练某一类别时,将剩余N-l个类别的所有样本作为它的反例.这种方法在训练每个分类器时需要优化所有N个训练样本,并且由于每个二值分类器的反例太多导致识别精度不高.

分类算法:第五代虚拟网店装修视频教程之淘宝分类方法

1.3 多层决策分类树方法

多层决策分类树方法,首先将所有类别分成两个子类,再将子类进一步划分成两个次级子类,如此循环下去,直到得到一个单独的类别为止.该方法将原有的多类问题同样分解成了一系列的二值分类问题,其中两个子类间的分类函数采用SVM.该方法需要训练N-1个二值分类函数.主要有以下两种情况：

(1)从顶层开始,每一个包含多个类别节点上的分类器只将一个类别与其它类别分开,这样的结构称为“偏态树”；

(2)从顶层开始,每一个包含多个类别节点上的分类器都将其中类别均分成两类,这样的结构称为“正态树”.

图1展示了上述三种多类分类方法.

上述三种方法,为了能够正确的进行多类分类,都需要构造较多的二值分类器,特别是类别较多时,计算量非常大.表1是对含有16个类别的样本库,应用三种不同方法组合二值分类器时所需构造训练的二值分类器个数.

针对二值分类器数目过多致使构建SVM多类分类器结构复杂这一问题,本文提出了一种基于编码的SVM多类分类方法,以含有16个类别的样本库为例,只需构造训练4个二值分类器.

2. 基于编码的SVM多类分类方法

在基本的SVM分类中,最后的判定结果是以正负进行分类,考虑到基本SVM分类的特点并将之与二进制编码之间进行联系,提出了基于编码的SVM多类分类方法,具体过程如下：

(1)将样本的类别进行二进制编码；

(2)以码位来进行分类（包括样本训练、测试）；

(3)对分类结果按公式(1)进行修正；

(4)对修正后的结果进行译码；

其具体过程如图2所示.

同样以16个类别的样本库为例,16个样本类别编码需要4个码位,如果采用基于编码的SVM多类分类方法即根据码位来建立分类器,只需要4个分类器,如图3所示：

从图3可以看出经过对样本类别编码,将对样本类别的分类转换成对码位的分类,最后只需4个二值分类器就可以完成对16个分类的样本库分类,其优势体现在分类器数量的大量减少,与此相应运算量的减少也十分显著.基于编码的多类分类与1-a-r多类分类方法所需二值分类器的个数关系如公式(2):

其中M是1 -a-r多类分类方法所需二值分类器数,N是基于编码的SVM多类分类所需二值分类器数.

3. 实验过程及结果

人脸分类识别是模式识别中最典型的多类分类问题,其中剑桥大学AT&,T实验室的ORL人脸库经常作为人脸识别系统的实验对象‘引.ORL人脸库共有40人,每人10幅灰度图像,共计400个样本,每人的10张人脸图像在表情、尺度、旋转方向均存在细微变化.实验从ORL人脸库取前16人,每人10幅灰度图像,共160个样本,作为实验数据,如图4所示.其中每人取4幅图像作为训练样本,16人共计64个训练样本,剩余的96幅图像和64幅训练样本构成测试样本,共计160个测试样本.

实验的具体步骤如下：

(1)训练样本数据处理

其中在ORL人脸库中,每幅图的大小为112×92像素,为减少运算量,本实验将图像缩小至56 x46像

(3)应用核主成成份,对测试样本降维

按第1步和第2步的方法对160个测试样本进行降维处理,得到160×10测试矩阵.

(4)按图3所示方法将16种类别进行二进制编码,将码位结果与训练样本进行SVM训练.

(5)将测试样本进行SVM测试,然后将测试结果按公式1进行修正,并进行译码.

(6)将译码的结果与实际比较,计算分类准确率.

实验中采用的二值SVM分类器算法是在CK. Pelckmans和J．A．K．Suykens提供的LS - SVMlab工具箱的基础上修改实现的,实验平台为Intel⑩CoreTM2 Quad CPU Q6600 2,4GHz,1024MB RAM,Windows XP操作系统,所有算法均在maltlab8中实现.我们还采用了1-a-r多类分类方法进行了同样的实验,并将结果与本文提出的基于编码的SVM多类分类方法进行比较,结果如表2所示.

从表2中的结果可以得出,在运算时间方面基于编码的SVM多类分类方法具有相当明显的优势,在准确率方面稍显劣势.按本文的基于编码的SVM多类分类方法,需要四个码位分类器,只有在四个码位分类器都正确识别的情况下最后的分类才正确,显然每一类的正确识别率是码位分类器识别率的四次幂.实验结果表明,本文提出的基于编码的SVM多类分类方法在计算量和计算时间方面占有明显的优势,但其代价是准确率的降低.从最后的结果来看,采用基于编码的SVM多类分类方法最后的分类准确率能达到94. 375%,其结果在实际应用中是可以接受的.

4.结束语

本文通过对SVM分类方式的特点进行分析,结合二进制编解码的特点,提出了基于编码的SVM多类分类方法,并以ORL人脸库为实验样本对本文提出基于编码的SVM多类分类方法与1-a-r多类分类进行了运算时间和分类准确率的比较,实验结果表明,本文提出的基于编码的SVM多类分类方法在运算量和运算时间方面具有非常明显的优势,但其付出的代价是准确率的降低.因此,此方法可应用于单个二值分类器准确率高,但由多个二值分类器构建多类分类器时过于复杂且运算量大的情况,本文所提到SVM分类器正是属于此类情况,在本文的实验中单个SVM二值分类器准确率高达98. 56%.

参考文献

[1]V. Vapruk. The Nature of Statistical Leaming Theory [M]. New York: Spring Verlag, 1995.

[2lV. Vapruk. Statistical Learning Theory [M]. New York: Wiley,1998.

[3]张学工．关于统计学习理论与支持向量机[J].自动化学报,2000 ,26 (1)：32 - 42

[4] Weston J,Watkins C.Multi - class Support Vector Maclunes[R]. Technical Report CSD - TR -98 - 04, Royal Holloway,U— niversity of London, Department of Computer Science, 1998.

[5] CRAMMER K, SINCER Y.On the algorithmic implementation of multi - class kemel - based vector machines[J].Joumal of Machine Leaming Research, 2001,2(3):265 -292.

[6]陈增照,杨扬,何秀玲等．基于核聚类的SVM多类分类方法[J].计算机应用,2007 ,27 (1)：47 - 49

[7] HSU C - W,L IN C -J.A Comparison of Methods for Multi - class Support Vector Machines [J]. IEEE Transactions on Neural Networks, 2002,13(2):415 -425.

[8] Yuen P C,Lai J H.Face representation using independent component analysis[J]:Pattem Recognition,2002 ,35(6):1247 - 1257.

者简介

罗坚,男,（1975. 5-）,硕士,讲师,研究方向：数字图像处理,色彩管理.

总结：本论文主要论述了分类方法论文范文相关的参考文献,对您的论文写作有参考作用。

分类算法引用文献: