人工神经网络发明者

❶ 人工智能的具体发展历史是什么

【1950-1956年是人工智能的诞生年】
图灵测试1950
Dartmouth 会议1956
（1956年夏季，以麦卡赛、明斯基、罗切斯特和申农等为首的一批有远见卓识的年轻科学家在一起聚会，共同研究和探讨用机器模拟智能的一系列有关问题，并首次提出了“人工智能”这一术语，它标志着“人工智能”这门新兴学科的正式诞生。）

【1956-1974 年是人工智能的黄金年】
第一个人工智能程序LT逻辑理论家1958（西蒙和纽维尔）
LISP编程语言1958（约翰麦卡锡）
用于机器翻译的语义网1960（马斯特曼和剑桥大学同事）
模式识别-第一个机器学习论文发表（1963）
Dendral 专家系统1965
基于规则的Mycin医学诊断程序1974

【1974-1980年是人工智能第一个冬天】
人工智能：综合调查1973（来特希尔）
项目失败，列强削减科研经费

【1980-1987年是人工智能繁荣期】
AAAI在斯坦福大学召开第一届全国大会1980
日本启动第五代计算机用于知识处理1982
决策树模型带动机器学习复苏1980中期
ANN及多层神经网络1980中期

【1987-1993年是人工智能第二个冬天】
Lisp机市场崩溃1987
列强再次取消科研经费1988
专家系统滑翔谷底1993
日本第五代机退场1990年代

【1993-现在突破期】
IBM深蓝战胜卡斯帕罗夫1997
斯坦福大学Stanley 赢得无人驾驶汽车挑战赛2005
深度学习论文发表2006
IBM的沃森机器人问答比赛夺魁2011
谷歌启动谷歌大脑2011
苹果公司的Siri上线2012
微软通用实时翻译系统2012
微软Cortana 上线2014
网络度秘2015
IBM发布truenorth芯片2014
阿尔法狗打败人类棋手2016

❷ 新型神经网络芯片会对科技领域乃至整个世界产生什么巨大影响

一、与传统计算机的区别1946年美籍匈牙利科学家冯·诺依曼提出存储程序原理，把程序本身当作数据来对待。此后的半个多世纪以来，计算机的发展取得了巨大的进步，但“冯·诺依曼架构”中信息存储器和处理器的设计一直沿用至今，连接存储器和处理器的信息传递通道仍然通过总线来实现。随着处理的数据量海量地增长，总线有限的数据传输速率被称为“冯·诺依曼瓶颈”——尤其是移动互联网、社交网络、物联网、云计算、高通量测序等的兴起，使得‘冯·诺依曼瓶颈’日益突出，而计算机的自我纠错能力缺失的局限性也已成为发展障碍。
结构上的缺陷也导致功能上的局限。例如，从效率上看，计算机运算的功耗较高——尽管人脑处理的信息量不比计算机少，但显然而功耗低得多。为此，学习更多层的神经网络，让计算机能够更好地模拟人脑功能，成为上世纪后期以来研究的热点。
在这些研究中，核心的研究是“冯·诺依曼架构”与“人脑架构”的本质结构区别——与计算机相比，人脑的信息存储和处理，通过突触这一基本单元来实现，因而没有明显的界限。正是人脑中的千万亿个突触的可塑性——各种因素和各种条件经过一定的时间作用后引起的神经变化（可变性、可修饰性等），使得人脑的记忆和学习功能得以实现。

大脑有而计算机没有的三个特性:低功耗（人脑的能耗仅约20瓦，而目前用来尝试模拟人脑的超级计算机需要消耗数兆瓦的能量）；容错性（坏掉一个晶体管就能毁掉一块微处理器，但是大脑的神经元每时每刻都在死亡）；还有不需为其编制程序（大脑在与外界互动的同时也会进行学习和改变，而不是遵循预设算法的固定路径和分支运行。）

这段描述可以说是“电”脑的最终理想了吧。
注：最早的电脑也是模拟电路实现的，之后发展成现在的只有0、1的数字CPU。
今天的计算机用的都是所谓的冯诺依曼结构，在一个中央处理器和记忆芯片之间以线性计算序列来回传输数据。这种方式在处理数字和执行精确撰写的程序时非常好用，但在处理图片或声音并理解它们的意义时效果不佳。
有件事很说明问题：2012年，谷歌展示了它的人工智能软件在未被告知猫是什么东西的情况下，可以学会识别视频中的猫，而完成这个任务用到了1.6万台处理器。
要继续改善这类处理器的性能，生产商得在其中配备更多更快的晶体管、硅存储缓存和数据通路，但所有这些组件产生的热量限制了芯片的运作速度，尤其在电力有限的移动设备中。这可能会阻碍人们开发出有效处理图片、声音和其他感官信息的设备，以及将其应用于面部识别、机器人，或者交通设备航运等任务中。

神经形态芯片尝试在硅片中模仿人脑以大规模的平行方式处理信息：几十亿神经元和千万亿个突触对视觉和声音刺激物这类感官输入做出反应。

作为对图像、声音等内容的反应，这些神经元也会改变它们相互间连接的方式，我们把这个过程叫做学习。神经形态芯片纳入了受人脑启发的“神经网路”模式，因此能做同样的事。
人工智能的顶尖思想家杰夫·霍金斯（Jeff Hawkins）说，在传统处理器上用专门的软件尝试模拟人脑（谷歌在猫实验中所做的），以此作为不断提升的智能基础，这太过低效了。
霍金斯创造了掌上电脑（Palm Pilot），后来又联合创办了Numenta公司，后者制造从人脑中获得启发的软件。“你不可能只在软件中建造它，”他说到人工智能，“你必须在硅片中建造它。”
现有的计算机计算，程序的执行是一行一行执行的，而神经网络计算机则有所不同。
现行的人工智能程式，基本上都是将大大小小的各种知识写成一句一句的陈述句，再灌进系统之中。当输入问题进去智能程式时，它就会搜寻本身的资料库，再选择出最佳或最近解。2011年时，IBM 有名的 Watson 智能电脑，便是使用这样的技术，在美国的电视益智节目中打败的人类的最强卫冕者。
（神经网络计算机）以这种异步信号发送（因没有能使其同步的中央时钟而得名）处理数据的速度比同步信号发送更快，以为没有时间浪费在等待时钟发出信号上。异步信号发送消耗的能量也更少，这样便满足了迈耶博士理想的计算机的第一个特点。如果有一个处理器坏了，系统会从另一路线绕过它，这样便满足了迈耶博士理想的计算机的第二个特点。正是由于为异步信号发送编程并不容易，所以大多数计算机工程师都无视于此。然而其作为一种模仿大脑的方式堪称完美。功耗方面：
硬件方面，近年来主要是通过对大型神经网络进行仿真，如 Google 的深度学习系统Google Brain，微软的Adam等。但是这些网络需要大量传统计算机的集群。比方说 Google Brain 就采用了 1000 台各带 16 核处理器的计算机，这种架构尽管展现出了相当的能力，但是能耗依然巨大。而 IBM 则是在芯片上的模仿。4096 个内核，100 万个“神经元”、2.56 亿个“突触”集成在直径只有几厘米的方寸（是 2011 年原型大小的 1/16）之间，而且能耗只有不到 70 毫瓦。
IBM 研究小组曾经利用做过 DARPA 的NeoVision2 Tower数据集做过演示。它能够实时识别出用 30 帧每秒的正常速度拍摄自斯坦福大学胡佛塔的十字路口视频中的人、自行车、公交车、卡车等，准确率达到了 80%。相比之下，一台笔记本编程完成同样的任务用时要慢 100 倍，能耗却是 IBM 芯片的 1 万倍。

Ref: A million spiking-neuron integrated circuit with a scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642
因为需要拥有极多数据的Database 来做training以及需要极强大的计算能力来做prediction，现有的一些Deep learning如Andrew Ng的Google Brain、Apple的Siri等都需要连接网络到云端的服务器。

二、争议：
虽然深度学习已经被应用到尖端科学研究及日常生活当中，而 Google 已经实际搭载在核心的搜寻功能之中。但其他知名的人工智能实验室，对於深度学习技术的反应并不一致。例如艾伦人工智慧中心的执行长 Oren Etzioni，就没有考虑将深度学习纳入当前开发中的人工智慧系统中。该机构目前的研究是以小学程度的科学知识为目标，希望能开发出光是看学校的教科书，就能够轻松应付各类考试的智能程式。Oren Etzioni 以飞机为例，他表示，最成功的飞机设计都不是来自於模仿鸟的结构，所以脑神经的类比并无法保证人工智能的实现，因此他们暂不考虑借用深度学习技术来开发这个系统。
但是从短期来看，情况也许并没有那么乐观。
首先芯片的编程仍然是个大问题。芯片的编程要考虑选择哪一个神经元来连接，以及神经元之间相互影响的程度。比方说，为了识别上述视频中的汽车，编程人员首先要对芯片的仿真版进行必要的设置，然后再传给实际的芯片。这种芯片需要颠覆以往传统的编程思想，尽管 IBM 去年已经发布了一套工具，但是目前编程仍非常困难，IBM 团队正在编制令该过程简单一点的开发库。（当然，如果我们回顾过去编程语言从汇编一路走来的历史，这一点也许不会成为问题。）
其次，在部分专业人士看来，这种芯片的能力仍有待证实。
再者，真正的认知计算应该能从经验中学习，寻找关联，提出假设，记忆，并基于结果学习，而IBM 的演示里所有学习（training）都是在线下的冯诺依曼计算机上进行的。不过目前大多数的机器学习都是离线进行的，因为学习经常需要对算法进行调整，而 IBM 的硬件并不具备调整的灵活性，不擅长做这件事情。

三、人造神经元工作原理及电路实现
人工神经网络
人工神经网络（artificial neural network，缩写ANN），简称神经网络（neural network，缩写NN），是一种模仿生物神经网络的结构和功能的数学模型或计算模型。
神经网络是一种运算模型，由大量的节点（或称“神经元”，或“单元”）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。Ref：Wikipedia： 人工神经网络
电路原理
神经递质的分泌反过来又是对动作电位刺激的反应。然而神经元在接收到这些神经递质信号中的一个后便不会再继续发出动作电位。当然，它们会逐渐累加至一个极限值。在神经元接受了一定数量的信号并超过极限值后----从根本上讲是一个模拟进程----然后它们会发出一个动作电位，并自行重置。Spikey的人造神经元也是这么做的，当它们每次受到激发时都会在电容中累积电荷，直至达到限值，电容再进行放电。具体电路结构和分析之后有机会的话再更新。
现阶段硬件的实现方式有数电（IBM、Qualcomm）、模电、数模混合（学界）、GPUs等等，还有各种不是基于硅半导体制程制作的神经元等的device方面的研究。

四、历史
Neuromorphic engineering由老祖宗Carver Mead提出
卡福·米德是加州理工学院的一名工程师，被公认为神经形态计算机之父（当然还发明了“神经形态学”这个词）
神经形态芯片的创意可以追溯到几十年前。加州理工大学的退休教授、集成电路设计的传奇人物卡弗·米德（Carver Mead）在1990年发表的一篇论文中首次提出了这个名称。
这篇论文介绍了模拟芯片如何能够模仿脑部神经元和突触的电活动。所谓模拟芯片，其输出是变化的，就像真实世界中发生的现象，这和数字芯片二进制、非开即关的性质不同。

后来这（大脑研究）成为我毕生的工作，我觉得我可以有所贡献，我尝试离开计算机行业而专注大脑研究。首先我去了MIT的人工智能研究院，我想，我也想设计和制作聪明的机器，但我的想法是先研究大脑怎么运作。而他们说，呃，你不需要这样做，我们只需要计算机编程。而我说，不，你应该先研究大脑。他们说，呃，你错了。而我说，不，你们错了。最后我没被录取。但我真的有点失望，那时候年轻，但我再尝试。几年后再加州的Berkley，这次我尝试去学习生物方面的研究。我开始攻读生物物理博士课程。我在学习大脑了，而我想学理论。而他们说，不，你不可以学大脑的理论，这是不可以的，你不会拿到研究经费，而作为研究生，没有经费是不可以的。我的天。
八卦：老师说neural network这个方向每20年火一次，之前有很长一段时间的沉寂期，甚至因为理论的不完善一度被认为是江湖术士的小把戏，申请研究经费都需要改课题名称才能成功。（这段为小弟的道听途说，请大家看过就忘。后来看相关的资料发现，这段历史可能与2006年Geoffrey E. Hinton提出深度学习的概念这一革命性工作改变了之前的状况有关。）

五、针对IBM这次的工作：
关于 SyNAPSE
美国国防部先进研究项目局的研究项目，由两个大的group组成：IBM team和HRL Team。
Synapse在英文中是突触的意思，而SyNAPSE是Systems of Neuromorphic Adaptive Plastic Scalable Electronics的简称。
Cognitive computing: Neurosynaptic chips
IBM proces first working chips modeled on the human brain
另一个SyNAPSE项目是由IBM阿尔马登实验室（位于圣何塞）的达尔门德拉·穆德哈负责。与四所美国大学（哥伦比亚大学，康奈尔大学，加州大学默塞德分校以及威斯康辛-麦迪逊大学）合作，穆德哈博士及其团队制造了一台神经形态学计算机的原型机，拥有256个“积分触发式”神经元，之所以这么叫是因为这些神经元将自己的输入累加（即积分）直至达到阈值，然后发出一个信号后再自行重置。它们在这一点上与Spikey中的神经元类似，但是电子方面的细节却有所不同，因为它们是由一个数字储存器而非许多电容来记录输入信号的。
Ref: A million spiking-neuron integrated circuit with a scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642

❸ 世界上第一台计算机的发明者是谁

1930年，美国科学家范内瓦·布什造出世界上首台模拟电子计算机。1946年2月14日，由美国军方定制的世界上第一台电子计算机“电子数字积分计算机”（ENIAC Electronic Numerical And Calculator）在美国宾夕法尼亚大学问世。

电子计算机的产生是在自动理论的发展、电子技术的日益成熟和第二次世界大战紧迫的计算任务的背景下的综合结果。1943年正是世界大战紧张进行的一年。

美国阿伯丁炮击场和宾夕法尼亚大学一起承担了为美国陆军计算炮击表的任务。当时只有一台原始的模拟计算机和一百多名计算员用手工计算，结果当然很糟。

差不多在同一时候，宾夕法尼亚大学电工系的工程师埃克特和物理学家莫齐利提出了一篇用电子元件造计算机的报告，这份报告送到了当时负责计算炮击表的领导人----数学家戈德斯坦中尉手里。

戈德斯坦慧眼识珠，大力争取了美国军方支持埃克特和莫齐利的方案，1943年4月6号报告获得批准，研制计算机的工作开始了。

(3)人工神经网络发明者扩展阅读

公认的人类历史上第一台现代电子计算机是1946年在美国宾夕法尼亚大学诞生的ENIAC。尽管它比前面提到的那些机器晚诞生了一段时间，但它拥有了今天计算机的主要结构和功能，是通用计算机，并且是第一台与通用图灵机等效的计算机。

虽然在今天看来，ENIAC的计算能力恐怕连小小的计算器、智能手机都比不上，但当时称得上是功能强大。ENIAC体积非常庞大，占满好几个房间，全身上下拥有一大堆缠绕的电线和真空管。

它的耗电量也非常惊人，工作的时候，全城的人都知道，因为家家户户的电灯都变暗了。最初ENIAC的程序设置需靠人工移动开关、连接电线来完成，改动一次程序要花一星期时间。

为了提高效率，工程师们设想将程序与数据都放在存储器中。数学家冯·诺依曼将这个思想以数学语言系统阐述，提出了存储程序计算机模型，后人称之为冯·诺依曼机。

❹ 人工智能与神经网络之间有什么关系

神马？你接触了神经网络？真了不起，人工智能与神经网络没有直接关系（神经元芯片出来后，会怎么样就不知劳），只是人工智能模仿了神经网络的部分功能，过50年后，也许能够完全模仿，期间计算机技术能按照现在的发展速度去发展话，是有可能的。真的实现的那一天，人类未日是不是就会到来？

❺ 人工神经网络是哪个流派的基础

“纯意念控制”人工神经康复机器人系统2014年6月14日在天津大学和天津市人民医院共同举办的发表会上，由双方共同研制的人工神经康复机器人“神工一号”正式亮相。
中文名
“纯意念控制”人工神经康复机器人系统
发布时间
2014年6月14日
快速
导航
产品特色发展历史
功能配置
“纯意念控制”人工神经康复机器人系统在复合想象动作信息解析与处理、异步脑——机接口训练与识别、皮层——肌肉活动同步耦合优化、中风后抑郁脑电非线性特征提取与筛查等关键技术上取得了重大突破。
“纯意念控制”人工神经康复机器人系统包括无创脑电传感模块、想象动作特征检测模块、运动意图识别模块、指令编码接口模块、刺激信息调理模块、刺激电流输出模块6部分。
产品特色
“纯意念控制”人工神经康复机器人系统最新研究成果将让不少中风、瘫痪人士燃起重新独立生活的希望。现已拥有包括23项授权国家发明专利、1项软件著作权在内的自主知识产权集群，是全球首台适用于全肢体中风康复的“纯意念控制”人工神经机器人系统。[1]
脑控机械外骨骼是利用被动机械牵引，非肌肉主动收缩激活。而“神工一号”则利用神经肌肉电刺激，模拟神经冲动的电刺激引起肌肉产生主动收缩，带动骨骼和关节产生自主动作，与人体自主运动原理一致。
体验者需要把装有电极的脑电探测器戴在头部，并在患病肢体的肌肉上安装电极，借助“神工一号”的连接，就可以用“意念”来“控制”自己本来无法行动的肢体了。[2]
发展历史
“纯意念控制”人工神经康复机器人系统技术历时10年，是国家“863计划“、“十二五”国家科技支撑计划和国家优秀青年科学基金重点支持项目。
人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。
中文名
人工神经网络
外文名
artificial neural network
别称
ANN
应用学科
人工智能
适用领域范围
模式分类
精品荐读
“蠢萌”的神经网络
作者：牛油果进化论
快速
导航
基本特征发展历史网络模型学习类型分析方法特点优点研究方向发展趋势应用分析
神经元
如图所示
a1~an为输入向量的各个分量
w1~wn为神经元各个突触的权值
b为偏置
f为传递函数，通常为非线性函数。以下默认为hardlim()
t为神经元输出
数学表示 t=f(WA'+b)
W为权向量
A为输入向量，A'为A向量的转置
b为偏置
f为传递函数
可见，一个神经元的功能是求得输入向量与权向量的内积后，经一个非线性传递函数得到一个标量结果。
单个神经元的作用：把一个n维向量空间用一个超平面分割成两部分（称之为判断边界），给定一个输入向量，神经元可以判断出这个向量位于超平面的哪一边。
该超平面的方程: Wp+b=0
W权向量
b偏置
p超平面上的向量
基本特征
人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有四个基本特征：
（1）非线性 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。
人工神经网络
（2）非局限性 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。
（3）非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。
（4）非凸性 一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。
人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理 ，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。它是涉及神经科学、思维科学、人工智能、计算机科学等多个领域的交叉学科。
人工神经网络
人工神经网络是并行分布式系统，采用了与传统人工智能和信息处理技术完全不同的机理，克服了传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷，具有自适应、自组织和实时学习的特点。[1]
发展历史
1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家提出了突触联系强度可变的设想。60年代，人工神经网络得到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论（ART网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。 1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986年进行认知微观结构地研究，提出了并行分布处理的理论。1986年，Rumelhart, Hinton, Williams发展了BP算法。Rumelhart和McClelland出版了《Parallel distribution processing: explorations in the microstructures of cognition》。迄今，BP算法已被用于解决大量实际问题。1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。1988年，Broomhead和Lowe用径向基函数(Radial basis function, RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。90年代初，Vapnik等提出了支持向量机(Support vector machines, SVM)和VC(Vapnik-Chervonenkis)维数的概念。人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。在日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。
人工神经网络
网络模型
人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。根据连接的拓扑结构，神经网络模型可以分为：[1]
人工神经网络
前向网络
网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。[2]
反馈网络
网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。
学习类型
学习是神经网络研究的一个重要内容，它的适应性是通过学习实现的。根据环境的变化，对权值进行调整，改善系统的行为。由Hebb提出的Hebb学习规则为神经网络的学习算法奠定了基础。Hebb规则认为学习过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。
人工神经网络
分类
根据学习环境不同，神经网络的学习方式可分为监督学习和非监督学习。在监督学习中，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值。当样本情况发生变化时，经学习可以修改权值以适应新的环境。使用监督学习的神经网络模型有反传网络、感知器等。非监督学习时，事先不给定标准样本，直接将网络置于环境之中，学习阶段与工作阶段成为一体。此时，学习规律的变化服从连接权值的演变方程。非监督学习最简单的例子是Hebb学习规则。竞争学习规则是一个更复杂的非监督学习的例子，它是根据已建立的聚类进行权值调整。自组织映射、适应谐振理论网络等都是与竞争学习有关的典型模型。
分析方法
研究神经网络的非线性动力学性质，主要采用动力学系统理论、非线性规划理论和统计理论，来分析神经网络的演化过程和吸引子的性质，探索神经网络的协同行为和集体计算功能，了解神经信息处理机制。为了探讨神经网络在整体性和模糊性方面处理信息的可能，混沌理论的概念和方法将会发挥作用。混沌是一个相当难以精确定义的数学概念。一般而言，“混沌”是指由确定性方程描述的动力学系统中表现出的非确定性行为，或称之为确定的随机性。“确定性”是因为它由内在的原因而不是外来的噪声或干扰所产生，而“随机性”是指其不规则的、不能预测的行为，只可能用统计的方法描述。

❻ 深度学习与神经网络有什么区别

深度学习与神经网络关系

2017-01-10

最近开始学习深度学习，基本上都是zouxy09博主的文章，写的蛮好，很全面，也会根据自己的思路，做下删减，细化。

五、Deep Learning的基本思想

假设我们有一个系统S，它有n层（S1,…Sn），它的输入是I，输出是O，形象地表示为： I =>S1=>S2=>…..=>Sn => O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失（呵呵，大牛说，这是不可能的。信息论中有个“信息逐层丢失”的说法（信息处理不等式），设处理a信息得到b，再对b处理得到c，那么可以证明：a和c的互信息不会超过a和b的互信息。这表明信息处理不会增加信息，大部分处理会丢失信息。当然了，如果丢掉的是没用的信息那多好啊），保持了不变，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。现在回到我们的主题Deep Learning，我们需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…, Sn。

对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，就可以实现对输入信息进行分级表达了。

另外，前面是假设输出严格地等于输入，这个限制太严格，我们可以略微地放松这个限制，例如我们只要使得输入与输出的差别尽可能地小即可，这个放松会导致另外一类不同的Deep Learning方法。上述就是Deep Learning的基本思想。

六、浅层学习（Shallow Learning）和深度学习（Deep Learning）

浅层学习是机器学习的第一次浪潮。

20世纪80年代末期，用于人工神经网络的反向传播算法（也叫Back Propagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显出优越性。这个时候的人工神经网络，虽也被称作多层感知机（Multi-layer Perceptron），但实际是种只含有一层隐层节点的浅层模型。

20世纪90年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量机（SVM，Support Vector Machines）、 Boosting、最大熵方法（如LR，Logistic Regression）等。这些模型的结构基本上可以看成带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）。这些模型无论是在理论分析还是应用中都获得了巨大的成功。相比之下，由于理论分析的难度大，训练方法又需要很多经验和技巧，这个时期浅层人工神经网络反而相对沉寂。

深度学习是机器学习的第二次浪潮。

2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。

当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数）

而为了克服神经网络训练中的问题，DL采用了与神经网络很不同的训练机制。传统神经网络（这里作者主要指前向神经网络）中，采用的是back propagation的方式进行，简单来讲就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和label之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。而deep learning整体上是一个layer-wise的训练机制。这样做的原因是因为，如果采用back propagation的机制，对于一个deep network（7层以上），残差传播到最前面的层已经变得太小，出现所谓的gradient diffusion（梯度扩散）。这个问题我们接下来讨论。

八、Deep learning训练过程

8.1、传统神经网络的训练方法为什么不能用在深度神经网络

BP算法作为传统训练多层网络的典型算法，实际上对仅含几层网络，该训练方法就已经很不理想。深度结构（涉及多个非线性处理单元层）非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。

BP算法存在的问题：

（1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小；

（2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）；

（3）一般，我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的的数据中学习；

8.2、deep learning训练过程

如果对所有层同时训练，时间复杂度会太高；如果每次训练一层，偏差就会逐层传递。这会面临跟上面监督学习中相反的问题，会严重欠拟合（因为深度网络的神经元和参数太多了）。

2006年，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步，一是每次训练一层网络，二是调优，使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致。方法是：

1）首先逐层构建单层神经元，这样每次都是训练一个单层网络。

2）当所有层训练完后，Hinton使用wake-sleep算法进行调优。

将除最顶层的其它层间的权重变为双向的，这样最顶层仍然是一个单层神经网络，而其它层则变为了图模型。向上的权重用于“认知”，向下的权重用于“生成”。然后使用Wake-Sleep算法调整所有的权重。让认知和生成达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。比如顶层的一个结点表示人脸，那么所有人脸的图像应该激活这个结点，并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。Wake-Sleep算法分为醒（wake）和睡（sleep）两个部分。

1）wake阶段：认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），并且使用梯度下降修改层间的下行权重（生成权重）。也就是“如果现实跟我想象的不一样，改变我的权重使得我想象的东西就是这样的”。

2）sleep阶段：生成过程，通过顶层表示（醒时学得的概念）和向下权重，生成底层的状态，同时修改层间向上的权重。也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念”。

deep learning训练过程具体如下：

1）使用自下上升非监督学习（就是从底层开始，一层一层的往顶层训练）：

采用无标定数据（有标定数据也可）分层训练各层参数，这一步可以看作是一个无监督训练过程，是和传统神经网络区别最大的部分（这个过程可以看作是feature learning过程）：

具体的，先用无标定数据训练第一层，训练时先学习第一层的参数（这一层可以看作是得到一个使得输出和输入差别最小的三层神经网络的隐层），由于模型capacity的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数；

2）自顶向下的监督学习（就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调）：

基于第一步得到的各层参数进一步fine-tune整个多层模型的参数，这一步是一个有监督训练过程；第一步类似神经网络的随机初始化初值过程，由于DL的第一步不是随机初始化，而是通过学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果；所以deep learning效果好很大程度上归功于第一步的feature learning过程。

❼ 牛顿有哪些发明了什么从那里的灵感

1、苍蝇-----小型气体分析仪。。
2。萤火虫-----人工冷光；
3。电鱼------伏特电池；
4。水母------水母耳风暴预测仪，
5。蛙眼------电子蛙眼
6。蝙蝠超声定位器的原理------探路仪”。
7。蓝藻-----光解水的装置，
8。人体骨胳肌肉系统和生物电控制的研究，——步行机。
9。动物的爪子------现代起重机的挂钩
10。动物的鳞甲------屋顶瓦楞
11。鱼的鳍------桨
12。螳螂臂，或锯齿草------锯子
13。苍耳属植物-------尼龙搭扣。
14。龙虾-------气味探测仪。
15。壁虎脚趾------粘性录音带
16。贝-----外科手术的缝合到补船等-
17。鲨鱼-----泳衣，
18。-鸟----飞机
19。鱼------潜水艇
鲁班从带锯齿的草发明了锯子；
从鸟类的飞行，莱特兄弟发明了飞机。人类的发明——来自动物的灵感
从苹果的下落，牛顿发现了万有引力；
船和潜艇来自人们对鱼类和海豚的模仿。
科学家根据野猪的鼻子测毒的奇特本领制成了世界上第一批防毒面具。
火箭升空利用的是水母、墨鱼反冲原理。
科研人员通过研究变色龙的变色本领，为部队研制出了不少军事伪装装备。
科学家研究青蛙的眼睛，发明了电子蛙眼。
美国空军通过毒蛇的“热眼”功能，研究开发出了微型热传感器。
人类还利用蛙跳的原理设计了蛤蟆夯(hang)。
人类模仿警犬的高灵敏嗅觉制成了用于侦缉的“电子警犬”。
根据蚂蚁的生活习性，和群居特点，编程领域出现了蚁群算法；
从生物的神经元分布和联系中，我们有了人工智能系统，出现人工神经网络；

❽ 人工神经网络会秒杀人类哪6大领域

人工神经网络会秒杀人类有关图像和物体识别、电子游戏、语音生成和识别、艺术品和风格的模仿、预测、网站设计修改这六大领域。

神经网络可以研究某一特定艺术作品的笔触、颜色和阴影的图案。在此基础上，它可以根据分析将原始的艺术作品转化为新的图像。

斯坦福大学的研究人员Timnit Gebru选取了5000万张谷歌街景图片，探索一个深度学习网络可以做些什么。结果是，计算机学会了定位和识别汽车。它检测到超过2200万辆汽车，包括它们的制造、型号、体型和年份。这一系统获得的洞见之一就是，选民队伍的起点和终点在哪里。根据这一分析，“如果在15分钟车程中遇到的轿车数量高于皮卡车的数量，那么这座城市可能会在下次总统选举中投票给民主党人(88%的几率)，”Timnit Gebru和他的合著者写道。

在网站生成器中集成的人工智能可以帮助网站更新，并对网站进行有用的修改，比人类更快速、更准确。这种系统的基本技术提供了关于网站外观的普通用户的意见，这可以告诉设计师网站设计的好坏。如今，网站建设者们要么利用深层网络来修改设计，要么计划在不久的将来使用它们。该技术可以分析不同的模式，并根据以前的转化率和其他重要指标，创造更好的结果。

❾ 人工智能和神经网络有什么联系与区别

联系：都是模仿人类行为的数学模型以及算法。神经网络的研究能促进或者加快人工智能的发展。

区别如下：

一、指代不同

1、人工智能：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

2、神经网络：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。

二、方法不同

1、人工智能：企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

2、神经网络：依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

三、目的不同

1、人工智能：主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。

2、神经网络：具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。