联系我们
- 地 址：北京市海淀区北四环西路9号 ,主 营：人脸识别,活体检测,身份证识别,银行卡识别,名片识别,车牌识别，OCR识别等及智能识别技术。
- 电 话：13146317170 廖经理
- 传 真：
- 邮 箱：398017534@qq.com
AI机器学习中的PR和ROC曲线
AI机器学习中的PR和ROC曲线
1.查准率、查全率和F1
关于二分类问题，可将样例依据其真实类别与学习器预测类别的组合划分为真正例（TP），假反例（FN），假正例（FP），真反例（TN），详细分类结果如下
这里写图片描绘
查准率P和查全率R分别定义为：
查准率关怀的是”预测出正例的正确率”即从正反例子中选择出正例的问题。
查全率关怀的是”预测出正例的保证性”即从正例中选择出正例的问题。
这两者是一对矛盾的度量，查准率能够以为是”宁缺毋滥”，合适对精确率请求高的应用，例如商品引荐，网页检索等。查全率能够以为是”宁错杀一百，不放过1个”，合适相似于检查走私、逃犯信息等。
下图为查准率-查全率曲线（P-R图）
查准率-查全率曲线
若一个学习器的P-R曲线被另一个学习器完整”包住”，则后者的性能优于前者。当存在穿插时，能够计算曲线围住面积，但比拟费事，均衡点（查准率=查全率，BEP）是一种度量方式。
但BEP还是过于简化了些，更常用的是F1和Fp度量，它们分别是查准率和查全率的调战争均和加权调战争均。定义如下
显然，当学习器A的F1值比学习器高，那么A的BEP值也比B高（将P=R代入F1公式即可）
2.ROC和AUC
很多学习器是为测试样本产生一个实值或概率预测，然后将这个预测值与一个分类阈值停止比拟，若大于阈值分为正类，否则为反类，因而分类过程能够看作选取一个截断点。
不同任务中，能够选择不同截断点，若更注重”查准率”，应选择排序中靠前位置停止截断，反之若注重”查全率”，则选择靠后位置截断。因而排序自身质量的好坏，能够直接招致学习器不同泛化性能好坏，ROC曲线则是从这个角度动身来研讨学习器的工具。
曲线的坐标分别为真正例率（TPR）和假正例率（FPR），定义如下
下图为ROC曲线表示图，因理想任务中通常应用有限个测试样例来绘制ROC图，因而应为无法产生润滑曲线，如右图所示。
绘图过程很简单：给定m个正例子，n个反例子，依据学习器预测结果停止排序，先把分类阈值设为最大，使得一切例子均预测为反例，此时TPR和FPR均为0，在（0，0）处标志一个点，再将分类阈值依次设为每个样例的预测值，即依次将每个例子划分为正例。设前一个坐标为(x,y)，若当前为真正例，对应标志点为(x,y+1/m)，若当前为假正例，则标志点为（x+1/n,y），然后依次衔接各点。
下面举个绘图例子：
有10个样例子，5个正例子，5个反例子。有两个学习器A,B，分别对10个例子停止预测，依照预测的值（这里就不详细列了）从高到低排序结果如下：
A：[反正正正反反正正反反]
B : [反正反反反正正正正反]
依照绘图过程，能够得到学习器对应的ROC曲线点
A：y:[0,0,0.2,0.4,0.6,0.6,0.6,0.8,1,1,1]
x:[0,0.2,0.2,0.2,0.2,0.4,0.6,0.6,0.6,0.8,1]
B：y:[0,0,0.2,0.2,0.2,0.2,0.4,0.6,0.8,1,1]
x:[0,0.2,0.2,0.4,0.6,0.8,0.8,0.8,0.8,0.8,1]
绘制曲线结果如下：
这里写图片描绘
蓝色为学习器A的ROC曲线，其包含了B的曲线，阐明它性能更优秀，这点从A,B对10个例子的排序结果显然是能看出来的，A中正例排序高的数目多于B。此外，假如两个曲线有穿插，则需求计算曲线围住的面积(AUC)来评价性能优劣。
3.偏向和方差
泛化误差能够合成为偏向、方差与噪声之和
偏向度量了学习算法的希冀预测和真实结果偏离水平。
方差度量了同样大小的锻炼集的变动所招致的学习性能的变化，即描写了数据扰动所形成的影响。
噪声能够以为数据本身的动摇性，表达了目前任何学习算法所能到达泛化误差的下限。
偏向大阐明欠拟合，方差大阐明过拟合。
上一条：移动端OCR身份证识别技术
下一条：手机端人脸识别,微信公众号H5活体检测技