联系我们
- 地 址:北京市海淀区北四环西路9号 ,主 营:人脸识别,活体检测,身份证识别,银行卡识别,名片识别,车牌识别,OCR识别等及智能识别技术。
- 电 话:13146317170 廖经理
- 传 真:
- 邮 箱:398017534@qq.com
神经进化是深度学习的未来
神经进化是深度学习的未来
过去几年时间里,我们有一个完好的团队努力于人工智能研讨和实验。该团队专注于开发新的进化计算办法(EC),包括设计人工神经网络架构、构建商业应用程序,以及运用由自然进化激起的办法来处理具有应战性的计算问题。这一范畴的开展势头十分强劲。我们置信进化计算很可能是人工智能技术的下一个严重课题。
EC与Deep Learning(DL)一样都是几十年前引入的,EC也可以从可用的计算和大数据中得到提升。但是,它处理了一个截然不同的需求:我们都晓得DL偏重于建模我们已知的学问,而EC则专注于创立新的学问。从这个意义上讲,它是DL的下个步骤:DL可以在熟习的类别中辨认对象和语音,而EC使我们可以发现全新的对象和行为-最大化特定目的的对象和行为。因而,EC使许多新的应用成为可能:为机器人和虚拟代理设计更有效的行为,发明更有效和更低价的卫生干预措施,促进农业机械化开展和生物过程。
前不久,我们发布了5篇论文来报告在这一范畴上获得了显著的停顿,报告主要集中在三个方面:(1)DL架构在三个规范机器学习基准测试中已到达了最新技术程度。(2)开发技术用于进步实践应用开展的性能和牢靠性。(3)在十分艰难的计算问题上证明了进化问题的处理。
本文将重点引见里面的第一个范畴,即用EC优化DL架构。
Sentient提醒了神经进化的打破性研讨
深度学习的大局部取决于网络的范围和复杂性。随着神经进化,DL体系构造(即网络拓扑、模块和超参数)能够在人类才能之外停止优化。我们将在本文中引见三个示例:Omni Draw、Celeb Match和Music Maker(言语建模)。在这三个例子中,Sentient运用神经进化胜利地超越了最先进的DL基准。
音乐制造(言语建模)
在言语建模范畴,系统被锻炼用来预测“言语库”中的下一个单词,例如《华尔街日报》几年内的大量文本汇合,在网络做出预测结果后,这个输入还能够被循环输入,从而网络能够生成一个完好的单词序列。有趣的是,同样的技术同样适用于音乐序列,以下为一个演示。用户输入一些初始音符,然后系统依据该起始点即兴创作一首完好的旋律。经过神经元进化,Sentient优化了门控周期性(长期短期记忆或LSTM)节点(即网络的“记忆”构造)的设计,使模型在预测下一个音符时愈加精确。
在言语建模范畴(在一个叫Penn Tree Bank的言语语料库中预测下一个词),基准是由困惑点定义的,用来度量概率模型如何预测真实样本。当然,数字越低越好,由于我们希望模型在预测下一个单词时“困惑”越少越好。在这种状况下,感知器以10.8的困惑点击败了规范的LSTM构造。值得留意的是,在过去25年内,虽然人类设计了一些LSTM变体,LSTM的性能依然没有得到改善。事实上,我们的神经进化实验标明,LSTM能够经过增加复杂性,即记忆细胞和更多的非线性、平行的途径来显著改善性能。
为什么这个打破很重要?言语是人类强大而复杂的智能结构。言语建模,即预测文本中的下一个单词,是权衡机器学习办法如何学习言语构造的基准。因而,它是构建自然言语处置系统的代理,包括语音和言语接口、机器翻译,以至包括DNA序列和心率诊断等医学数据。而在言语建模基准测试中我们能够做得更好,能够运用相同的技术树立更好的言语处置系统。
Omni Draw
Omniglot是一种能够辨认50种不同字母字符的手写字符辨认基准,包括像西里尔语(书面俄语)、日语和希伯来语等真实言语,以及诸如Tengwar(《指环王》中的口语言)等人工语音。
上图示例展现了多任务学习,模型能够同时学习一切言语,并应用不同言语中字符之间的关系。例如,用户输入图像,系统依据匹配输出不同言语的含义,“这将是拉丁语中的X,日语中的Y以及Tengwar中的Z等等”——应用日本、Tengwar和拉丁语之间的关系找出哪些角色是最好的匹配。这与单一任务学习环境不同,单一环境下模型只对一种言语停止锻炼,并且不能在言语数据集上树立相同的衔接。
固然Omniglot是一个数据集的例子,但每个言语的数据相对较少。例如它可能只要几个希腊字母,但很多都是日语。它可以应用言语之间关系的学问来寻觅处理计划。为什么这个很重要?关于许多实践应用程序来说,标志数据的获取是十分昂贵或风险的(例如医疗应用程序、农业和机器人救援),因而能够应用与类似或相关数据集的关系自动设计模型,在某种水平上能够替代丧失的数据集并进步研讨才能。这也是神经进化才能的一个很好的证明:言语之间能够有很多的联络方式,并且进化发现了将他们的学习分离在一同的最佳方式。
Celeb Match
Celeb Match的demo同样适用于多任务学习,但它运用的是大范围数据集。该demo是基于CelebA数据集,它由约20万张名人图像组成,每张图片的标签都由40个二进制标志属性,如“男性与女性”、“有无胡子”等等。每个属性都会产生一个“分类任务”,它会引导系统检测和辨认每个属性。作为兴趣附加组件,我们创立了一个demo来完成这项任务:用户能够为每个属性设置所需的水平,并且系统会依据进化的多任务学习网络来肯定最接近的名人。例如,假如当前的图片为布拉德·皮特的形象,用户能够增加“灰色头发”属性,已发现哪个名人与他类似但是头发不同。
在CelebA多任务人脸分类范畴,Sentient运用了演化计算来优化这些检测属性的网络,胜利将总体三个模型的误差从8%降到了7.94%。
这一技术使得人工智能在预测人类、地点和物质世界各种属性的才能上提升了一大步。与基于笼统,学习功用找到类似性的锻炼网络不同,它使类似的语义和可解释性也成为可能。
上一条:人工智能AI可根据微笑来区分性别
下一条:深度学习神经网络入门