联系我们
- 地 址:北京市海淀区北四环西路9号 ,主 营:人脸识别,活体检测,身份证识别,银行卡识别,名片识别,车牌识别,OCR识别等及智能识别技术。
- 电 话:13146317170 廖经理
- 传 真:
- 邮 箱:398017534@qq.com
深度学习知识总结
深度学习知识总结
总结一下深度学习里一些常见的学问点,在看懂这篇文章前,你最少对深度学习和机器学习乃至概率统计那套花招都比拟熟习来了。
so lets begin
卷积神经网络
哈哈你或许被傅立叶变换里那个卷积公式给混杂了,这个卷积和那个屁关系都没有。
其实就是一个叫做卷积核(Kernel)的矩阵,这个核和它想辨认的特征作积所得的实数结果就会很大,从某种水平上说,不严厉的说,是个滤波器。
比方下图是卷积核的可视化:
这里写图片描绘
池化
你能够把它和卷积并行起来了解,固然不同,但是他们的关系就像哪吒和红孩儿(莫明其妙的类似… …)
池化层是对输入的特征图停止紧缩,一方面使特征图变小,简化网络计算复杂度;一方面停止特征紧缩,提取主要特征。她的假定在于,图像中相邻位置的像素是相关的。
这里写图片描绘
LSTM
神经网络原本是一个万能拟合器,如今我们需求处置一种时间序列模型,比方,股票价钱数据,是一个高密度的时间序列数据,并且很明显上一时辰和下一时辰有关,还有自然言语也是。
所以不得不先说RNN:Recurrent Neural Networks
这里写图片描绘
能够看见tt时辰的网络AtAt有两个输入即:
ht=At(At−1,xt)
ht=At(At−1,xt)
但是RNN对长期依赖的形式的学习不太好,主要是长链条的学习会招致的大梯度和高复杂计算不太理想。
Long Short Term 网络—— 普通就叫做 LSTM ——是一种 RNN 特殊的类型,能够学习长期依赖信息。LSTM 由Hochreiter & Schmidhuber (1997)提出,并在近期被Alex Graves停止了改进和推行。在很多问题,LSTM 都获得相当宏大的胜利,并得到了普遍的运用。
这里写图片描绘
所以LSTM其实就是加了几个非线性门,每个门其实是一个小的神经网络,这样的一个A叫做一个LSTM单元。
这里写图片描绘
LSTM的反向传播算法
这里写图片描绘
VAE
我真的不是在说什么许嵩。。。我们谈及的是ariational Auto-Encoder,变分自编码器。其实自编码器就是将样本经过编码器生成为一个特征向量,解码器就是将这个特征向量解码为原来的样本。这和密码学里的加密解密很类似。
这里的编码器和解码器都各自是一个神经网络
这里写图片描绘
留意了,变分自编码器的思想是大红大紫的GAN的根底,考虑,当我们从样本xx生成编码zz的时分,我们同时锻炼解码器使其由zz生成x^x^,最小化||x^−x||||x^−x||.最后我们去掉编码器,此时的zz就曾经有实践的表达意义了!它的改动再加上解码器来工作就能够生成假样本x^x^。
改动zz时,数字样本的方向也发作改动,阐明zz包含了这个特征:
这里写图片描绘
你能否疑惑,为啥叫变分?
我们的目的是Pθ(x)Pθ(x),而:
logPθ(x)=Ez[logPθ(x|z)Pθ(z)/Pθ(z|x)]
logPθ(x)=Ez[logPθ(x|z)Pθ(z)/Pθ(z|x)]
而Pθ(z|x)Pθ(z|x)很难算,我们用
qϕ(z|x)
qϕ(z|x)
来替代计算,此处不详谈。无论qϕ(z|x)qϕ(z|x)还是Pθ(x|z)Pθ(x|z)都是神经网络。
GAN
对立神经网络,大名鼎鼎。其原理不需多言,就是一个生成器(编码器)和一个判别器,留意其锻炼是生成器和判别器交替优化(交替做梯度更新)
这里写图片描绘
还有就是一开端生成器目的项log(1−D(G(z)))log(1−D(G(z)))的梯度降落极慢,所以一开端是对−log(D(G(z)))−log(D(G(z)))作梯度更新来迫近G(z)G(z)接近1的中央。
这里写图片描绘
强化学习
强化学习吸收了Markov链的思想,事实上假如你熟习深度学习你会发现很多模型都和Markov链有或多或少的关系。它把学习模型笼统成了一个代理者,和环境的方式。
这里写图片描绘
环境给予代理状态值和奖励值,代理给予环境动作值。我以为代理很像玩游戏的玩家,而环境则好像游戏机。这样了解似乎很合理,事实上强化学习模型还真的是被普遍用来锻炼玩游戏,还有围棋(AlphaGo)。
我就直接谈其最终方式了:
▽θJ(θ)≃∑t≥0(Qπθ(st,at)−Vπθ(st))▽θlogπθ(at|st)
▽θJ(θ)≃∑t≥0(Qπθ(st,at)−Vπθ(st))▽θlogπθ(at|st)
其中Qπθ(st,at)Qπθ(st,at)描绘量化了(st,at)(st,at)即状态stst时采取行动atat有多好,而Vπθ(st)Vπθ(st)描绘了状态stst时状况有多好。
so lets begin
卷积神经网络
哈哈你或许被傅立叶变换里那个卷积公式给混杂了,这个卷积和那个屁关系都没有。
其实就是一个叫做卷积核(Kernel)的矩阵,这个核和它想辨认的特征作积所得的实数结果就会很大,从某种水平上说,不严厉的说,是个滤波器。
比方下图是卷积核的可视化:
这里写图片描绘
池化
你能够把它和卷积并行起来了解,固然不同,但是他们的关系就像哪吒和红孩儿(莫明其妙的类似… …)
池化层是对输入的特征图停止紧缩,一方面使特征图变小,简化网络计算复杂度;一方面停止特征紧缩,提取主要特征。她的假定在于,图像中相邻位置的像素是相关的。
这里写图片描绘
LSTM
神经网络原本是一个万能拟合器,如今我们需求处置一种时间序列模型,比方,股票价钱数据,是一个高密度的时间序列数据,并且很明显上一时辰和下一时辰有关,还有自然言语也是。
所以不得不先说RNN:Recurrent Neural Networks
这里写图片描绘
能够看见tt时辰的网络AtAt有两个输入即:
ht=At(At−1,xt)
ht=At(At−1,xt)
但是RNN对长期依赖的形式的学习不太好,主要是长链条的学习会招致的大梯度和高复杂计算不太理想。
Long Short Term 网络—— 普通就叫做 LSTM ——是一种 RNN 特殊的类型,能够学习长期依赖信息。LSTM 由Hochreiter & Schmidhuber (1997)提出,并在近期被Alex Graves停止了改进和推行。在很多问题,LSTM 都获得相当宏大的胜利,并得到了普遍的运用。
这里写图片描绘
所以LSTM其实就是加了几个非线性门,每个门其实是一个小的神经网络,这样的一个A叫做一个LSTM单元。
这里写图片描绘
LSTM的反向传播算法
这里写图片描绘
VAE
我真的不是在说什么许嵩。。。我们谈及的是ariational Auto-Encoder,变分自编码器。其实自编码器就是将样本经过编码器生成为一个特征向量,解码器就是将这个特征向量解码为原来的样本。这和密码学里的加密解密很类似。
这里的编码器和解码器都各自是一个神经网络
这里写图片描绘
留意了,变分自编码器的思想是大红大紫的GAN的根底,考虑,当我们从样本xx生成编码zz的时分,我们同时锻炼解码器使其由zz生成x^x^,最小化||x^−x||||x^−x||.最后我们去掉编码器,此时的zz就曾经有实践的表达意义了!它的改动再加上解码器来工作就能够生成假样本x^x^。
改动zz时,数字样本的方向也发作改动,阐明zz包含了这个特征:
这里写图片描绘
你能否疑惑,为啥叫变分?
我们的目的是Pθ(x)Pθ(x),而:
logPθ(x)=Ez[logPθ(x|z)Pθ(z)/Pθ(z|x)]
logPθ(x)=Ez[logPθ(x|z)Pθ(z)/Pθ(z|x)]
而Pθ(z|x)Pθ(z|x)很难算,我们用
qϕ(z|x)
qϕ(z|x)
来替代计算,此处不详谈。无论qϕ(z|x)qϕ(z|x)还是Pθ(x|z)Pθ(x|z)都是神经网络。
GAN
对立神经网络,大名鼎鼎。其原理不需多言,就是一个生成器(编码器)和一个判别器,留意其锻炼是生成器和判别器交替优化(交替做梯度更新)
这里写图片描绘
还有就是一开端生成器目的项log(1−D(G(z)))log(1−D(G(z)))的梯度降落极慢,所以一开端是对−log(D(G(z)))−log(D(G(z)))作梯度更新来迫近G(z)G(z)接近1的中央。
这里写图片描绘
强化学习
强化学习吸收了Markov链的思想,事实上假如你熟习深度学习你会发现很多模型都和Markov链有或多或少的关系。它把学习模型笼统成了一个代理者,和环境的方式。
这里写图片描绘
环境给予代理状态值和奖励值,代理给予环境动作值。我以为代理很像玩游戏的玩家,而环境则好像游戏机。这样了解似乎很合理,事实上强化学习模型还真的是被普遍用来锻炼玩游戏,还有围棋(AlphaGo)。
我就直接谈其最终方式了:
▽θJ(θ)≃∑t≥0(Qπθ(st,at)−Vπθ(st))▽θlogπθ(at|st)
▽θJ(θ)≃∑t≥0(Qπθ(st,at)−Vπθ(st))▽θlogπθ(at|st)
其中Qπθ(st,at)Qπθ(st,at)描绘量化了(st,at)(st,at)即状态stst时采取行动atat有多好,而Vπθ(st)Vπθ(st)描绘了状态stst时状况有多好。