联系我们
- 地 址:北京市海淀区北四环西路9号 ,主 营:人脸识别,活体检测,身份证识别,银行卡识别,名片识别,车牌识别,OCR识别等及智能识别技术。
- 电 话:13146317170 廖经理
- 传 真:
- 邮 箱:398017534@qq.com
深度学习中常遇到的问题
深度学习中常遇到的问题
一、如何降低过拟合[1]
1. 什么是过拟合
在给定的锻炼集上表现良好,使得模型过于复杂。
2. 过拟合带来的危害
在给定的锻炼集上表现良好,但在测试集上表现很差,即泛化才干很弱。
3. 如何处置过拟合
(1)调整现有数据,给现有数据添加噪声。
(2)运用dropout
dropout指的是模型在锻炼过程中每次按50%的几率关闭或忽略某些层的节点。这可以理解成在锻炼过程中会产生不同的模型,不同的模型会产生不同的计算结果,随着锻炼的中止,这些计算结果会在一个范围内动摇,但其均值却不会有很大变化。(me:同一层的不同节点可看成是独立同分布)
(3)正则化
正则化又称权重衰减。神经网络的中心是误差的反向传播,误差会对每个神经元的权重更新产生影响。随着锻炼的中止还会存在累积误差,正则化就是使在权重更新的时分中止一定程度的衰减,从而减少累积误差的对权重更新的影响,从而防止过拟合。
(4)Early Stopping提早终止
在每次循环终了后计算模型的准确率,当连续10准确率在一个范围内动摇时就中止锻炼。
(5)运用Batch_Normalization
数据经过卷积层之后,在进入激活函数之前需求对其中止一次Batch Normalization。分批对输入的数据求取均值和方差之后重新对数据中止归一化计算,这样做的好处是使得无论是锻炼集还是测试集都在一定范围内动摇,即对数据中包含的误差中止掩盖化处置。
(6)其他方法
交叉考证,PCA降维。
二、全衔接层的作用[1]
在卷积神经网络中,卷积层作为特征提取的伎俩,在输出的最后都是由全衔接层做数据的分类层。因此也可以说全衔接层在整个卷积神经网络中是起到一个“分类器”的作用。
三、激活函数的作用[2]
激活函数是为了引入非线性要素,处置线性模型不能处置的问题。假设不运用激活函数,我们所获得的模型只能还是线性的,只不过是复杂的线性组合而已。
四、池化层的作用[1]
1. 对卷积层所提取的信息做更进一步的降维,以减少计算量。
2. 加强图像特征的不变性,使之增加抗图像的偏移、旋转等方面的鲁棒性。
1. 什么是过拟合
在给定的锻炼集上表现良好,使得模型过于复杂。
2. 过拟合带来的危害
在给定的锻炼集上表现良好,但在测试集上表现很差,即泛化才干很弱。
3. 如何处置过拟合
(1)调整现有数据,给现有数据添加噪声。
(2)运用dropout
dropout指的是模型在锻炼过程中每次按50%的几率关闭或忽略某些层的节点。这可以理解成在锻炼过程中会产生不同的模型,不同的模型会产生不同的计算结果,随着锻炼的中止,这些计算结果会在一个范围内动摇,但其均值却不会有很大变化。(me:同一层的不同节点可看成是独立同分布)
(3)正则化
正则化又称权重衰减。神经网络的中心是误差的反向传播,误差会对每个神经元的权重更新产生影响。随着锻炼的中止还会存在累积误差,正则化就是使在权重更新的时分中止一定程度的衰减,从而减少累积误差的对权重更新的影响,从而防止过拟合。
(4)Early Stopping提早终止
在每次循环终了后计算模型的准确率,当连续10准确率在一个范围内动摇时就中止锻炼。
(5)运用Batch_Normalization
数据经过卷积层之后,在进入激活函数之前需求对其中止一次Batch Normalization。分批对输入的数据求取均值和方差之后重新对数据中止归一化计算,这样做的好处是使得无论是锻炼集还是测试集都在一定范围内动摇,即对数据中包含的误差中止掩盖化处置。
(6)其他方法
交叉考证,PCA降维。
二、全衔接层的作用[1]
在卷积神经网络中,卷积层作为特征提取的伎俩,在输出的最后都是由全衔接层做数据的分类层。因此也可以说全衔接层在整个卷积神经网络中是起到一个“分类器”的作用。
三、激活函数的作用[2]
激活函数是为了引入非线性要素,处置线性模型不能处置的问题。假设不运用激活函数,我们所获得的模型只能还是线性的,只不过是复杂的线性组合而已。
四、池化层的作用[1]
1. 对卷积层所提取的信息做更进一步的降维,以减少计算量。
2. 加强图像特征的不变性,使之增加抗图像的偏移、旋转等方面的鲁棒性。
上一条:图像识别之图像特征提取
下一条:深度学习卷积网络详解