联系我们
- 地 址:北京市海淀区北四环西路9号 ,主 营:人脸识别,活体检测,身份证识别,银行卡识别,名片识别,车牌识别,OCR识别等及智能识别技术。
- 电 话:13146317170 廖经理
- 传 真:
- 邮 箱:398017534@qq.com
卷积神经网络CNN原理
卷积神经网络CNN原理
卷积神经网络CNN是深度学习的一个重要组成局部,由于其优良的学习性能(特别是对图片的辨认)。近年来研讨异常火爆,呈现了很多模型LeNet、Alex net、ZF net等等。由于大多高校在校生运用matlab比拟多,而网上的教程代码根本都基于caffe框架或者python,关于新入门的同窗来说甚是煎熬,所以本文采用matlab分离MNIst手写数据库完成对手写数字的辨认。自己程度有限,如有纰漏,还望各路大神,帮助指正。
卷积网络原理
1、动机
卷积神经网络(CNN)是多层感知机(MLP)的一个变种模型,它是从生物学概念中演化而来的。从Hubel和Wiesel早期对猫的视觉皮层的研讨工作,我们晓得在视觉皮层存在一种细胞的复杂散布,,这些细胞关于外界的输入部分是很敏感的,它们被称为“感受野”(细胞),它们以某种办法来掩盖整个视觉域。这些细胞就像一些滤波器一样,它们对输入的图像是部分敏感的,因而可以更好地发掘出自然图像中的目的的空间关系信息。
此外,视觉皮层存在两类相关的细胞,S细胞(Simple Cell)和C(Complex Cell)细胞。S细胞在本身的感受野内最大限度地对图像中相似边缘形式的刺激做出响应,而C细胞具有更大的感受野,它能够对图像中产生刺激的形式的空间位置停止精准地定位。
视觉皮层作为目前已知的最为强大的视觉系统,广受关注。学术范畴呈现了很多基于它的神经启示式模型。比方:NeoCognitron [Fukushima], HMAX [Serre07] 以及本教程要讨论的重点 LeNet-5 [LeCun98]。
2、稠密衔接
CNNs经过增强神经网络中相邻层之间节点的部分衔接形式(Local Connectivity Pattern)来发掘自然图像(中的兴味目的)的空间部分关联信息。第m层隐层的节点与第m-1层的节点的部分子集,并具有空间连续视觉感受野的节点(就是m-1层节点中的一局部,这局部节点在m-1层都是相邻的)相连。能够用下面的图来表示这种衔接。
这里写图片描绘
假定,m-1层为视网膜输入层(承受自然图像)。依据上图的描绘,在m-1层上面的m层的神经元节点都具有宽度为3的感受野,m层每一个节点衔接下面的视网膜层的3个相邻的节点。m+1层的节点与它下面一层的节点有着类似的衔接属性,所以m+1层的节点仍与m层中3个相邻的节点相连,但是关于输入层(视网膜层)衔接数就变多了,在本图中是5。这种构造把锻炼好的滤波器(corresponding to the input producing the strongest response)构建成了一种空间部分形式(由于每个上层节点都只对感受野中的,衔接的部分的下层节点有响应)。依据上面图,多层堆积构成了滤波器(不再是线性的了),它也变得更具有全局性了(如包含了一大片的像素空间)。比方,在上图中,第m+1层可以对宽度为5的非线性特征停止编码(就像素空间而言)。
3、权值共享
在CNNs中,每一个稠密滤波器hi在整个感受野中是反复叠加的,这些反复的节点方式了一种特征图(feature map),这个特种图能够共享相同的参数,比方相同的权值矩阵和偏置向量。
这里写图片描绘
在上图中,属于同一个特征图的三个隐层节点,由于需求共享相同颜色的权重, 他们的被限制成相同的。在这里, 梯度降落算法依然能够用来锻炼这些共享的参数,只需求在原算法的根底上稍作改动即可。共享权重的梯度能够对共享参数的梯度停止简单的求和得到。
卷积网络原理
1、动机
卷积神经网络(CNN)是多层感知机(MLP)的一个变种模型,它是从生物学概念中演化而来的。从Hubel和Wiesel早期对猫的视觉皮层的研讨工作,我们晓得在视觉皮层存在一种细胞的复杂散布,,这些细胞关于外界的输入部分是很敏感的,它们被称为“感受野”(细胞),它们以某种办法来掩盖整个视觉域。这些细胞就像一些滤波器一样,它们对输入的图像是部分敏感的,因而可以更好地发掘出自然图像中的目的的空间关系信息。
此外,视觉皮层存在两类相关的细胞,S细胞(Simple Cell)和C(Complex Cell)细胞。S细胞在本身的感受野内最大限度地对图像中相似边缘形式的刺激做出响应,而C细胞具有更大的感受野,它能够对图像中产生刺激的形式的空间位置停止精准地定位。
视觉皮层作为目前已知的最为强大的视觉系统,广受关注。学术范畴呈现了很多基于它的神经启示式模型。比方:NeoCognitron [Fukushima], HMAX [Serre07] 以及本教程要讨论的重点 LeNet-5 [LeCun98]。
2、稠密衔接
CNNs经过增强神经网络中相邻层之间节点的部分衔接形式(Local Connectivity Pattern)来发掘自然图像(中的兴味目的)的空间部分关联信息。第m层隐层的节点与第m-1层的节点的部分子集,并具有空间连续视觉感受野的节点(就是m-1层节点中的一局部,这局部节点在m-1层都是相邻的)相连。能够用下面的图来表示这种衔接。
这里写图片描绘
假定,m-1层为视网膜输入层(承受自然图像)。依据上图的描绘,在m-1层上面的m层的神经元节点都具有宽度为3的感受野,m层每一个节点衔接下面的视网膜层的3个相邻的节点。m+1层的节点与它下面一层的节点有着类似的衔接属性,所以m+1层的节点仍与m层中3个相邻的节点相连,但是关于输入层(视网膜层)衔接数就变多了,在本图中是5。这种构造把锻炼好的滤波器(corresponding to the input producing the strongest response)构建成了一种空间部分形式(由于每个上层节点都只对感受野中的,衔接的部分的下层节点有响应)。依据上面图,多层堆积构成了滤波器(不再是线性的了),它也变得更具有全局性了(如包含了一大片的像素空间)。比方,在上图中,第m+1层可以对宽度为5的非线性特征停止编码(就像素空间而言)。
3、权值共享
在CNNs中,每一个稠密滤波器hi在整个感受野中是反复叠加的,这些反复的节点方式了一种特征图(feature map),这个特种图能够共享相同的参数,比方相同的权值矩阵和偏置向量。
这里写图片描绘
在上图中,属于同一个特征图的三个隐层节点,由于需求共享相同颜色的权重, 他们的被限制成相同的。在这里, 梯度降落算法依然能够用来锻炼这些共享的参数,只需求在原算法的根底上稍作改动即可。共享权重的梯度能够对共享参数的梯度停止简单的求和得到。
上一条:人工智能AI读心术出现
下一条:人工智能领域,你必须了解Python