联系我们
- 地 址:北京市海淀区北四环西路9号 ,主 营:人脸识别,活体检测,身份证识别,银行卡识别,名片识别,车牌识别,OCR识别等及智能识别技术。
- 电 话:13146317170 廖经理
- 传 真:
- 邮 箱:398017534@qq.com
关于模式识别
关于模式识别
统计模式识别——非线性分类器
1.非线性分类器根底
非线性分类器概念
许多状况下咱们并不能确保类别间的分类面是线性的(线性是最简略的状况),并且许多复杂问题中,可能采用非线性分类器更适合问题的处理。非线性分类器的模型分界面能够是曲面或许超平面的组合。
2.非线性分类器的类别区分
常用的非线性分类器首要有两大类:根据判别函数的和非根据判别函数的;
根据判别函数的非线性分类器
1)分段线性分类器:根据非线性函数能够由多段线性函数来拟合和逼近的思维,如分段线性间隔分类器,即多个最小间隔分类器的组合,其间所谓的最小间隔分类器,就是在先验概率持平,各维特征独立且方差持平条件下的最小错误率贝叶斯决议计划,思路很简略,就是以两类的均值为中心点,离谁的中心点近就讲新样本给到哪一类;
2)二次判别函数:如正态分布下的贝叶斯决议计划面,就是二次函数;
3)多层感知器:这是一种神经网络(NN)的思维,由多个感知器的组合;
4)SVM:前面现已学习了最优超平面,即线性的SVM,这儿所说的首要对错线性的SVM;
5)核函数法:自然会想到前面学习的Fisher线性判别,没错,这儿的核函数法就包括Fisher判别的非线性推行;可是这儿的核函数法的创意呈现,首要来源于SVM中两个中心思维:大间隔和核函数,借用这两个思维,人们对传统的线性函数做了详细改动,就形成了核函数法,或叫做核办法;
6)LR,又名逻辑回归(Logistic regression),这是一种广义的线性分类器。
非根据判别函数的非线性分类器
1)近邻法:如最近邻,紧缩近邻等;
2)决议计划树
3)随机森林
4)Boosting办法
3.多分类问题
关于一个k类别分类问题,咱们要做的是判别一个样本是k类别中的哪一类,实际上是二分类问题的拓宽,处理办法也是二分类分类办法的延伸。
常用的多分类办法可分为两种:一对多办法(One-Versus-All)和一对一办法(One-Versus-One)
一对多办法(One-Versus-All)
1. 用逻辑回归或其他相应的分类办法练习k-1个分类器,分类器Dk的练习进程为:把归于第k个类别的样本归为一类,把剩余k-1个类的样本归为另一类,以此作为二分类练习样本练习出一个二分类器;
2. 决议计划时,输入一个测验样本的x,别离代入k-1个分类器,取其间输出最大的那一类(即最大可能性)作为自己的类标。
样本不平衡问题:一对多办法在练习每个分类器时,其练习样本是1类对k-1类,正负样本的规划相差较大,如1个正样本和99个负样本,则在练习此分类器时很有可能终究的分类器是D(x)=-1,即不管输入什么都输出-1,这样他的错误率也很小只要0.01,达不到练习的作用。处理这个问题能够用一对一办法。
一对一办法(One-Versus-One)
1. 练习这儿写图片描绘个分类器,每个分类器只拿其间两类样本作为正负样正本练习;
2. 决议计划时运用投票准则,即将测验样本的x输入这儿写图片描绘 个分类器,每个分类器输出一个判别成果,得票最多的那一类作为他的类标。
一对一办法没有样本不平衡问题,可是相关于一对多办法较慢。
1.非线性分类器根底
非线性分类器概念
许多状况下咱们并不能确保类别间的分类面是线性的(线性是最简略的状况),并且许多复杂问题中,可能采用非线性分类器更适合问题的处理。非线性分类器的模型分界面能够是曲面或许超平面的组合。
2.非线性分类器的类别区分
常用的非线性分类器首要有两大类:根据判别函数的和非根据判别函数的;
根据判别函数的非线性分类器
1)分段线性分类器:根据非线性函数能够由多段线性函数来拟合和逼近的思维,如分段线性间隔分类器,即多个最小间隔分类器的组合,其间所谓的最小间隔分类器,就是在先验概率持平,各维特征独立且方差持平条件下的最小错误率贝叶斯决议计划,思路很简略,就是以两类的均值为中心点,离谁的中心点近就讲新样本给到哪一类;
2)二次判别函数:如正态分布下的贝叶斯决议计划面,就是二次函数;
3)多层感知器:这是一种神经网络(NN)的思维,由多个感知器的组合;
4)SVM:前面现已学习了最优超平面,即线性的SVM,这儿所说的首要对错线性的SVM;
5)核函数法:自然会想到前面学习的Fisher线性判别,没错,这儿的核函数法就包括Fisher判别的非线性推行;可是这儿的核函数法的创意呈现,首要来源于SVM中两个中心思维:大间隔和核函数,借用这两个思维,人们对传统的线性函数做了详细改动,就形成了核函数法,或叫做核办法;
6)LR,又名逻辑回归(Logistic regression),这是一种广义的线性分类器。
非根据判别函数的非线性分类器
1)近邻法:如最近邻,紧缩近邻等;
2)决议计划树
3)随机森林
4)Boosting办法
3.多分类问题
关于一个k类别分类问题,咱们要做的是判别一个样本是k类别中的哪一类,实际上是二分类问题的拓宽,处理办法也是二分类分类办法的延伸。
常用的多分类办法可分为两种:一对多办法(One-Versus-All)和一对一办法(One-Versus-One)
一对多办法(One-Versus-All)
1. 用逻辑回归或其他相应的分类办法练习k-1个分类器,分类器Dk的练习进程为:把归于第k个类别的样本归为一类,把剩余k-1个类的样本归为另一类,以此作为二分类练习样本练习出一个二分类器;
2. 决议计划时,输入一个测验样本的x,别离代入k-1个分类器,取其间输出最大的那一类(即最大可能性)作为自己的类标。
样本不平衡问题:一对多办法在练习每个分类器时,其练习样本是1类对k-1类,正负样本的规划相差较大,如1个正样本和99个负样本,则在练习此分类器时很有可能终究的分类器是D(x)=-1,即不管输入什么都输出-1,这样他的错误率也很小只要0.01,达不到练习的作用。处理这个问题能够用一对一办法。
一对一办法(One-Versus-One)
1. 练习这儿写图片描绘个分类器,每个分类器只拿其间两类样本作为正负样正本练习;
2. 决议计划时运用投票准则,即将测验样本的x输入这儿写图片描绘 个分类器,每个分类器输出一个判别成果,得票最多的那一类作为他的类标。
一对一办法没有样本不平衡问题,可是相关于一对多办法较慢。
上一条:深度学习中的自然场景文本检测
下一条:行驶证OCR辨识API接口