好运3分快3开户机器学习能否改变类脑计算备受质疑的现状? | 雷锋网

  • 时间:
  • 浏览:59

雷锋网按:类脑计算的概念都还都可以追溯到20世纪100年代,历经40年,类脑计算依旧这么取得实际的成功,这引发了不少质疑。不过,近来的研究都还都可以将参数从正常神经网络转移到尖峰神经元网络,以防止传统不足英文“学习规则”的问题报告 。未来,尖峰神经元网络不可能 会成为主流。

四十年来,.我.我老是在努力构建模拟大脑行态的计算机。迄今为止,.我.我几乎这么取得任何实际的成功。如何让 ,最近你这个努力获得了某些令人惊讶的成绩。

今年La Jolla的Salk研究所的Terry Sejnowski研究实验室提出了三种使用标准形式的机器学习训练“尖峰”神经元(Spiking Neurons)的新措施,称为“递归神经网络”或“RNNs”。

Hava Siegelmann几十年来老是在开展计算机设计的开拓性工作,他与同事一块儿提出了三种尖峰神经元系统,都还都可以实现“无监督”学习。

神经行态计与否指用各种措施构建类事大脑的计算。你这个概念都还都可以追溯到20世纪100年代早期传奇计算先驱Carver Mead,他对芯片中日益密集的晶体管集合如何最好地好运3分快3开户进行通信十分好运3分快3开户感兴趣。Mead认为晶体管之间的布线传输速率还要达到一定的大脑神经连接水平。

从那时起,不可能 有某些相关的研究项目,其中包括IBM的Almaden研究中心在圣何塞的Winfried Wilcke,还有TrueNorth芯片,以及英特尔的Loihi项目等。今年早些一一个多多, Scott Fulton III 在神经行态计算方面有了某些有趣的进展。

到目前为止,那些项目几乎这么取得实际成功,引发了一定量的质疑。在旧金山举行的国际固态电路会议期间,Facebook的人工智能研究负责人Yann LeCun就宽度学习芯片的趋势发表了演讲。他对尖峰神经网络的工作某些不屑一顾。英特尔负责管Loihi项目的Mike Davies在会后表达强烈反对。Davies对LeCun的反击不利于LeCun 在Facebook上再次攻击尖峰神经网络。

“AFAIK,尚未有明确证据表明尖峰神经元网络(在软件或硬件中)都还都可以学习简化的任务,”LeCun说。“事实上,我不选取任何尖峰神经网络与否不可能 接近现有普通神经网络的性能。”

但Sejnowski的实验室好运3分快3开户和Siegelmann在国防高级研究计划局的生物启发神经和动力系统实验室的团队提供了新的希望。

Salk研究所的Sejnowski 在4月与ZDNet对话时,他预测未来尖峰神经网络将发挥重要作用。“这将是另一次重大转变,不可能 会在未来五到十年内趋于稳定,”Sejnowski说。

Sejnowski说:“大脑非常有高效,其中一一个多使它高效的因素是它使用尖峰。不可能 大家不利于使用尖峰神经元的模型,这么你还要的能量不可能 好运3分快3开户下降一千倍甚至更多。如何让 它会变得足够便宜,无处不在 ,就像手机中的传感器。“

如何让 ,Sejnowski认为尖峰神经元都还都可以成为推理的重要推动力,推理在电源受限的边缘计算设备(如移动电话)上进行预测任务。

机器学习先驱Terry Sejnowski和他在加利福尼亚州La Jolla的Salk研究所的团队开发了三种措施,将参数从正常神经网络转移到尖峰神经元网络,以防止传统不足英文“学习规则”的问题报告 。Sejnowski预测,未来几年你这个神经行态计算将发挥重要作用。

Sejnowski实验室的成果由Robert Kim,Yinghao Li和Sejnowski撰写,于3月发表,标题为《Simple Framework for Constructing Functional Spiking Recurrent Neural Networks》,该研究发布在Bioarxiv,描述了训练标准递归神经网络或“RNN”,如何让 将那些参数传递给尖峰神经网络。你这个想法是为了防止尖峰神经元目前无法通过梯度下降(传统机器学习的关键)进行训练的情况。

换句话说,尖峰神经元不符合宽度学习的标准学习规则。新的研究是三种所谓的“转移学习”,在一一个多地方设置参数并将它们带到一一个多新的地方,以克服尖峰神经元的缺点。

正如作者所解释的那样,“尖峰信号的不可微分性质阻止了使用基于梯度下降的措施来直接训练尖峰网络。”

“.我.我的措施包括使用基于梯度下降的措施训练连续可变传输速率RNN(递归神经网络),并将RNN网络的学习动态以及约束以一对一的措施传递给尖峰网络模型“。

DARPA生物启发神经和动力系统实验室的Hava Siegelmann及其同事声称使用改进的“投票”机制训练尖峰神经元的进展,该机制决定了各个神经元的输出。

 “这是一一个多不可能 训练有素的网络,”Sejnowski解释道。“下一步将是对尖峰进行学习。.我.我认为.我.我也都还都可以防止你这个问题报告 ,但现在还趋于稳定早期阶段。”

至于谁将能实现那些电路还有待观察,尽管Sejnowski模糊地提到了像移动基带芯片的主要供应商高通一一个多多的公司不可能 成为候选取的不可能 性。

西格尔曼集团在DARPA的工作具有类事的性质。题为《用于无监督行态学习的本地连接尖峰神经网络》于4月在arXiv上发表,该论文由Daniel J. Saunders,Devdhar Patel和Hananel Hazan以及Siegelmann和Robert Kozma撰写。

与Sejnowski的团队一样,Siegelmann的团队观察到问题报告 是不足英文适当的训练线程或学习规则。“对于通用机器,从头结束了了英语 对SNN进行强大学习训练的措施很少,”.我.我写道,“.我.我的能力具有宽度的领域或数据集行态,为了获得好的性能,还要一定量的数据预防止和超参数调整。“

为了应对你这个挑战,Siegelmann的团队去年开发了一一个多名为“BindsNET”基于Python的编程软件包,.我.我在一一个多多的研究中使用它来进行三种类事于Sejnowski团队的传递学习。(BindsNET发布在Github上。)

使用BindsNET,在当前的工作中,Siegelmann的团队模拟了由尖峰神经元组成的浅层人工神经网络。.我.我写道,浅网络(shallow network)类事于传统机器学习中的卷积神经网络。为了防止学习规则的问题报告 ,.我.我使用了三种称为“尖峰定时依赖的可塑性”或STDP(spike-timing-dependent plasticity),它作为三种投票机制,计算单个神经元响应数据触发的次数,以及触发的顺序。输入图像数据的神经元对其图像类别的候选取进行投票,如何让 .我.我的投票汇集形成图像分类器。

著名的MNIST手写数字数据库被用作测试,其中神经元的任务是对图像所代表的数字进行分类。

Siegelmann&Co报告说,.我.我的神经网络行态被证明比某些具有尖峰神经元的措施更有效,这由于它只还要更少的训练数据就能实现相同或更好的性能。在尖峰神经元的背景下,你这个论文的重大成如何让 创建三种更有效的神经元排列,“通过学习分布式表示来划分和功课输入空间”。这由于在训练期间只还要更少的训练样例来收敛,尖峰神经元都还都可以更有效地向前发展。

Sejnowski团队和Siegelmann团队都表明.我.我的能量和智力活跃在神经行态计算的尖峰神经元角落。即使它还这么动摇怀疑论者,你这个领域仍然值得关注。

雷锋网(公众号:雷锋网)编译,via zdnet 

2019 年 7 月 13 日举行的 CCF-GAIR 2019 类脑计算专场上,在主持人中国科学院计算所副研究员赵地的引领下,清华大学类脑计算研究中心主任施路平、北京大学信息科学技术学院教授吴思、中国科学院自动化研究所研究员余山、中国科学院半导体研究所副研究员刘力源将带来五场精彩纷呈的主题报告,带领.我.我走进类脑计算的最前沿。

全球人工智能与机器人峰会(CCF-GAIR) 由中国计算机法学会(CCF)主办,雷锋网、香港中文大学(深圳)承办,得到了深圳市政府的大力指导,是国内人工智能和机器学得术界、工业界及投资界三大领域的顶级交流博览盛会,旨在打造国内人工智能领域极具实力的跨界交流合作者者 平台。更多关于大会 & 购票的详情,欢迎登陆 https://gair.leiphone.com/gair/gair2019 进行查看。

相关文章:

跨出类脑芯片的关键一步,成立仅两年aiCTX有望先于IBM和Intel产业落地

一研究团队研发的类脑芯片所需能量是最先进计算系统的1/10

想主导世界经济?还要在类脑计算你这个领域领先丨CCF-GAIR 2019

雷锋网原创文章,未经授权禁止转载。详情见转载须知。