联系我们
- 地 址:北京市海淀区北四环西路9号 ,主 营:人脸识别,活体检测,身份证识别,银行卡识别,名片识别,车牌识别,OCR识别等及智能识别技术。
- 电 话:13146317170 廖经理
- 传 真:
- 邮 箱:398017534@qq.com
深度学习的历史
深度学习的历史
1 深度学习的历史及开展趋向
1.1 深度学习的历史
普通来说,目前为止曾经有三次深度学习的开展浪潮:在20 世纪 40 年代到 60 年代深度学习被称为控制论 (cybernetics),20 世纪 80 年代到 90 年代深度学习被誉为衔接机制 (connectionism),并于 2006 年开端,以深度学习之名复兴。
衔接机制是在认知科学的背景下呈现的。认知科学是了解心智,并分离多个不同层次剖析的跨学科办法。衔接机制的中心机想是,当网络将大量简单计算单元衔接在一同时能够完成智能行为。这种见解同样适用于与计算模型中躲藏单元作用相似的生物神经系统中的神经元。
神经网络研讨的第三次浪潮始于 2006 年的打破。Geoffrey Hinton标明名为深度信心网络(DBN)的神经网络能够运用一种称为贪婪逐层锻炼的战略停止有效地锻炼(Hinton et al., 2006a)。
1.2 深度学习的开展
日积月累的数据量和模型范围
数据量的增加,使得深度学习的一些算法获取良好性能的技巧逐步减少,目前,在复杂的任务中能到达与人类表现能够媲美的性能。大数据时期的到来,使得深度学习变得愈加容易。但我们应该留意在无监视和半监视学习中充沛应用未标注的样本。
数据量的增加
模型范围的扩展,较大的网络可以在更复杂的任务中完成更高的精度。所以更多学者在神经网络中引入更多的躲藏单元,使得模型范围扩展。另外,硬件(更快的CPU、通用GPU、硬盘存储量)以及更好的散布式计算的软件根底设备和更快的网络衔接使得模型范围扩展成为可能。
日积月累的精度、复杂度和对理想世界的冲击
深度学习提供准确辨认和预测的才能不断在进步。此外,深度学习持续胜利地应用于越来越普遍的应用。
上图显现了每神经元衔接数。1、自顺应线性单元;2、神经认知机;3、GPU加速 卷积网络;4、深度玻尔兹曼机;5、无监视卷积网络;6、GPU加速 多层感知机;7、散布式自动编码器;8、Multi-GPU 卷积网络;9、COTS HPC无监视卷积网络;10、GoogLeNet。
神经网络范围的扩展
1. 感知机 (Rosenblatt, 1958, 1962)
2. 自顺应线性单元 (Widrow and Hoff, 1960)
3. 神经认知机 (Fukushima, 1980)
4. 早期后向传播网络 (Rumelhart et al., 1986b)
5. 用于语音辨认的循环神经网络 (Robinson and Fallside, 1991)
6. 用于语音辨认的多层感知机 (Bengio et al., 1991)
7. 平均场sigmoid信心网络 (Saul et al., 1996)
8. LeNet-5 (LeCun et al., 1998b)
9. 回声状态网络 (Jaeger and Haas, 2004)
10. 深度信心网络 (Hinton et al., 2006a)
11. GPU-加速卷积网络 (Chellapilla et al., 2006)
12. 深度玻尔兹曼机 (Salakhutdinov and Hinton, 2009a)
13. GPU-加速深度信心网络 (Raina et al., 2009a)
14. 无监视卷积网络 (Jarrett et al., 2009b)
15. GPU-加速多层感知机 (Ciresan et al., 2010)
16. OMP-1 网络 (Coates and Ng, 2011)
17. 散布式自动编码器 (Le et al., 2012)
18. Multi-GPU卷积网络 (Krizhevsky et al., 2012a)
19. COTS HPC 无监视卷积网络 (Coates et al., 2013)
20. GoogLeNet (Szegedy et al., 2014a)
深度网络在ImageNet应战中日益降低的错误率
深度学习是机器学习的一种办法,过去几十年的开展中,它深深地吸收了我们关于人脑、统计学与应用数学的学问。近年来,深度学习的提高性和适用性有了极大的开展,这在很大水平上得益于更强大的计算机、更大的数据集和可以锻炼更深网络的技术。将来几年充溢了进一步进步深度学习并将它带到新范畴的应战和机遇。
1.1 深度学习的历史
普通来说,目前为止曾经有三次深度学习的开展浪潮:在20 世纪 40 年代到 60 年代深度学习被称为控制论 (cybernetics),20 世纪 80 年代到 90 年代深度学习被誉为衔接机制 (connectionism),并于 2006 年开端,以深度学习之名复兴。
衔接机制是在认知科学的背景下呈现的。认知科学是了解心智,并分离多个不同层次剖析的跨学科办法。衔接机制的中心机想是,当网络将大量简单计算单元衔接在一同时能够完成智能行为。这种见解同样适用于与计算模型中躲藏单元作用相似的生物神经系统中的神经元。
神经网络研讨的第三次浪潮始于 2006 年的打破。Geoffrey Hinton标明名为深度信心网络(DBN)的神经网络能够运用一种称为贪婪逐层锻炼的战略停止有效地锻炼(Hinton et al., 2006a)。
1.2 深度学习的开展
日积月累的数据量和模型范围
数据量的增加,使得深度学习的一些算法获取良好性能的技巧逐步减少,目前,在复杂的任务中能到达与人类表现能够媲美的性能。大数据时期的到来,使得深度学习变得愈加容易。但我们应该留意在无监视和半监视学习中充沛应用未标注的样本。
数据量的增加
模型范围的扩展,较大的网络可以在更复杂的任务中完成更高的精度。所以更多学者在神经网络中引入更多的躲藏单元,使得模型范围扩展。另外,硬件(更快的CPU、通用GPU、硬盘存储量)以及更好的散布式计算的软件根底设备和更快的网络衔接使得模型范围扩展成为可能。
日积月累的精度、复杂度和对理想世界的冲击
深度学习提供准确辨认和预测的才能不断在进步。此外,深度学习持续胜利地应用于越来越普遍的应用。
上图显现了每神经元衔接数。1、自顺应线性单元;2、神经认知机;3、GPU加速 卷积网络;4、深度玻尔兹曼机;5、无监视卷积网络;6、GPU加速 多层感知机;7、散布式自动编码器;8、Multi-GPU 卷积网络;9、COTS HPC无监视卷积网络;10、GoogLeNet。
神经网络范围的扩展
1. 感知机 (Rosenblatt, 1958, 1962)
2. 自顺应线性单元 (Widrow and Hoff, 1960)
3. 神经认知机 (Fukushima, 1980)
4. 早期后向传播网络 (Rumelhart et al., 1986b)
5. 用于语音辨认的循环神经网络 (Robinson and Fallside, 1991)
6. 用于语音辨认的多层感知机 (Bengio et al., 1991)
7. 平均场sigmoid信心网络 (Saul et al., 1996)
8. LeNet-5 (LeCun et al., 1998b)
9. 回声状态网络 (Jaeger and Haas, 2004)
10. 深度信心网络 (Hinton et al., 2006a)
11. GPU-加速卷积网络 (Chellapilla et al., 2006)
12. 深度玻尔兹曼机 (Salakhutdinov and Hinton, 2009a)
13. GPU-加速深度信心网络 (Raina et al., 2009a)
14. 无监视卷积网络 (Jarrett et al., 2009b)
15. GPU-加速多层感知机 (Ciresan et al., 2010)
16. OMP-1 网络 (Coates and Ng, 2011)
17. 散布式自动编码器 (Le et al., 2012)
18. Multi-GPU卷积网络 (Krizhevsky et al., 2012a)
19. COTS HPC 无监视卷积网络 (Coates et al., 2013)
20. GoogLeNet (Szegedy et al., 2014a)
深度网络在ImageNet应战中日益降低的错误率
深度学习是机器学习的一种办法,过去几十年的开展中,它深深地吸收了我们关于人脑、统计学与应用数学的学问。近年来,深度学习的提高性和适用性有了极大的开展,这在很大水平上得益于更强大的计算机、更大的数据集和可以锻炼更深网络的技术。将来几年充溢了进一步进步深度学习并将它带到新范畴的应战和机遇。
上一条:机器学习中涉及到的关键技术
下一条:人脸比对识别自助机