人工神經網路發明者

❶ 人工智慧的具體發展歷史是什麼

【1950-1956年是人工智慧的誕生年】
圖靈測試1950
Dartmouth 會議1956
（1956年夏季，以麥卡賽、明斯基、羅切斯特和申農等為首的一批有遠見卓識的年輕科學家在一起聚會，共同研究和探討用機器模擬智能的一系列有關問題，並首次提出了「人工智慧」這一術語，它標志著「人工智慧」這門新興學科的正式誕生。）

【1956-1974 年是人工智慧的黃金年】
第一個人工智慧程序LT邏輯理論家1958（西蒙和紐維爾）
LISP編程語言1958（約翰麥卡錫）
用於機器翻譯的語義網1960（馬斯特曼和劍橋大學同事）
模式識別-第一個機器學習論文發表（1963）
Dendral 專家系統1965
基於規則的Mycin醫學診斷程序1974

【1974-1980年是人工智慧第一個冬天】
人工智慧：綜合調查1973（來特希爾）
項目失敗，列強削減科研經費

【1980-1987年是人工智慧繁榮期】
AAAI在斯坦福大學召開第一屆全國大會1980
日本啟動第五代計算機用於知識處理1982
決策樹模型帶動機器學習復甦1980中期
ANN及多層神經網路1980中期

【1987-1993年是人工智慧第二個冬天】
Lisp機市場崩潰1987
列強再次取消科研經費1988
專家系統滑翔谷底1993
日本第五代機退場1990年代

【1993-現在突破期】
IBM深藍戰勝卡斯帕羅夫1997
斯坦福大學Stanley 贏得無人駕駛汽車挑戰賽2005
深度學習論文發表2006
IBM的沃森機器人問答比賽奪魁2011
谷歌啟動谷歌大腦2011
蘋果公司的Siri上線2012
微軟通用實時翻譯系統2012
微軟Cortana 上線2014
網路度秘2015
IBM發布truenorth晶元2014
阿爾法狗打敗人類棋手2016

❷ 新型神經網路晶元會對科技領域乃至整個世界產生什麼巨大影響

一、與傳統計算機的區別1946年美籍匈牙利科學家馮·諾依曼提出存儲程序原理，把程序本身當作數據來對待。此後的半個多世紀以來，計算機的發展取得了巨大的進步，但「馮·諾依曼架構」中信息存儲器和處理器的設計一直沿用至今，連接存儲器和處理器的信息傳遞通道仍然通過匯流排來實現。隨著處理的數據量海量地增長，匯流排有限的數據傳輸速率被稱為「馮·諾依曼瓶頸」——尤其是移動互聯網、社交網路、物聯網、雲計算、高通量測序等的興起，使得『馮·諾依曼瓶頸』日益突出，而計算機的自我糾錯能力缺失的局限性也已成為發展障礙。
結構上的缺陷也導致功能上的局限。例如，從效率上看，計算機運算的功耗較高——盡管人腦處理的信息量不比計算機少，但顯然而功耗低得多。為此，學習更多層的神經網路，讓計算機能夠更好地模擬人腦功能，成為上世紀後期以來研究的熱點。
在這些研究中，核心的研究是「馮·諾依曼架構」與「人腦架構」的本質結構區別——與計算機相比，人腦的信息存儲和處理，通過突觸這一基本單元來實現，因而沒有明顯的界限。正是人腦中的千萬億個突觸的可塑性——各種因素和各種條件經過一定的時間作用後引起的神經變化（可變性、可修飾性等），使得人腦的記憶和學習功能得以實現。

大腦有而計算機沒有的三個特性:低功耗（人腦的能耗僅約20瓦，而目前用來嘗試模擬人腦的超級計算機需要消耗數兆瓦的能量）；容錯性（壞掉一個晶體管就能毀掉一塊微處理器，但是大腦的神經元每時每刻都在死亡）；還有不需為其編製程序（大腦在與外界互動的同時也會進行學習和改變，而不是遵循預設演算法的固定路徑和分支運行。）

這段描述可以說是「電」腦的最終理想了吧。
註：最早的電腦也是模擬電路實現的，之後發展成現在的只有0、1的數字CPU。
今天的計算機用的都是所謂的馮諾依曼結構，在一個中央處理器和記憶晶元之間以線性計算序列來回傳輸數據。這種方式在處理數字和執行精確撰寫的程序時非常好用，但在處理圖片或聲音並理解它們的意義時效果不佳。
有件事很說明問題：2012年，谷歌展示了它的人工智慧軟體在未被告知貓是什麼東西的情況下，可以學會識別視頻中的貓，而完成這個任務用到了1.6萬台處理器。
要繼續改善這類處理器的性能，生產商得在其中配備更多更快的晶體管、硅存儲緩存和數據通路，但所有這些組件產生的熱量限制了晶元的運作速度，尤其在電力有限的移動設備中。這可能會阻礙人們開發出有效處理圖片、聲音和其他感官信息的設備，以及將其應用於面部識別、機器人，或者交通設備航運等任務中。

神經形態晶元嘗試在矽片中模仿人腦以大規模的平行方式處理信息：幾十億神經元和千萬億個突觸對視覺和聲音刺激物這類感官輸入做出反應。

作為對圖像、聲音等內容的反應，這些神經元也會改變它們相互間連接的方式，我們把這個過程叫做學習。神經形態晶元納入了受人腦啟發的「神經網路」模式，因此能做同樣的事。
人工智慧的頂尖思想家傑夫·霍金斯（Jeff Hawkins）說，在傳統處理器上用專門的軟體嘗試模擬人腦（谷歌在貓實驗中所做的），以此作為不斷提升的智能基礎，這太過低效了。
霍金斯創造了掌上電腦（Palm Pilot），後來又聯合創辦了Numenta公司，後者製造從人腦中獲得啟發的軟體。「你不可能只在軟體中建造它，」他說到人工智慧，「你必須在矽片中建造它。」
現有的計算機計算，程序的執行是一行一行執行的，而神經網路計算機則有所不同。
現行的人工智慧程式，基本上都是將大大小小的各種知識寫成一句一句的陳述句，再灌進系統之中。當輸入問題進去智能程式時，它就會搜尋本身的資料庫，再選擇出最佳或最近解。2011年時，IBM 有名的 Watson 智能電腦，便是使用這樣的技術，在美國的電視益智節目中打敗的人類的最強衛冕者。
（神經網路計算機）以這種非同步信號發送（因沒有能使其同步的中央時鍾而得名）處理數據的速度比同步信號發送更快，以為沒有時間浪費在等待時鍾發出信號上。非同步信號發送消耗的能量也更少，這樣便滿足了邁耶博士理想的計算機的第一個特點。如果有一個處理器壞了，系統會從另一路線繞過它，這樣便滿足了邁耶博士理想的計算機的第二個特點。正是由於為非同步信號發送編程並不容易，所以大多數計算機工程師都無視於此。然而其作為一種模仿大腦的方式堪稱完美。功耗方面：
硬體方面，近年來主要是通過對大型神經網路進行模擬，如 Google 的深度學習系統Google Brain，微軟的Adam等。但是這些網路需要大量傳統計算機的集群。比方說 Google Brain 就採用了 1000 台各帶 16 核處理器的計算機，這種架構盡管展現出了相當的能力，但是能耗依然巨大。而 IBM 則是在晶元上的模仿。4096 個內核，100 萬個「神經元」、2.56 億個「突觸」集成在直徑只有幾厘米的方寸（是 2011 年原型大小的 1/16）之間，而且能耗只有不到 70 毫瓦。
IBM 研究小組曾經利用做過 DARPA 的NeoVision2 Tower數據集做過演示。它能夠實時識別出用 30 幀每秒的正常速度拍攝自斯坦福大學胡佛塔的十字路口視頻中的人、自行車、公交車、卡車等，准確率達到了 80%。相比之下，一台筆記本編程完成同樣的任務用時要慢 100 倍，能耗卻是 IBM 晶元的 1 萬倍。

Ref: A million spiking-neuron integrated circuit with a scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642
因為需要擁有極多數據的Database 來做training以及需要極強大的計算能力來做prediction，現有的一些Deep learning如Andrew Ng的Google Brain、Apple的Siri等都需要連接網路到雲端的伺服器。

二、爭議：
雖然深度學習已經被應用到尖端科學研究及日常生活當中，而 Google 已經實際搭載在核心的搜尋功能之中。但其他知名的人工智慧實驗室，對於深度學習技術的反應並不一致。例如艾倫人工智慧中心的執行長 Oren Etzioni，就沒有考慮將深度學習納入當前開發中的人工智慧系統中。該機構目前的研究是以小學程度的科學知識為目標，希望能開發出光是看學校的教科書，就能夠輕松應付各類考試的智能程式。Oren Etzioni 以飛機為例，他表示，最成功的飛機設計都不是來自於模仿鳥的結構，所以腦神經的類比並無法保證人工智慧的實現，因此他們暫不考慮借用深度學習技術來開發這個系統。
但是從短期來看，情況也許並沒有那麼樂觀。
首先晶元的編程仍然是個大問題。晶元的編程要考慮選擇哪一個神經元來連接，以及神經元之間相互影響的程度。比方說，為了識別上述視頻中的汽車，編程人員首先要對晶元的模擬版進行必要的設置，然後再傳給實際的晶元。這種晶元需要顛覆以往傳統的編程思想，盡管 IBM 去年已經發布了一套工具，但是目前編程仍非常困難，IBM 團隊正在編制令該過程簡單一點的開發庫。（當然，如果我們回顧過去編程語言從匯編一路走來的歷史，這一點也許不會成為問題。）
其次，在部分專業人士看來，這種晶元的能力仍有待證實。
再者，真正的認知計算應該能從經驗中學習，尋找關聯，提出假設，記憶，並基於結果學習，而IBM 的演示里所有學習（training）都是在線下的馮諾依曼計算機上進行的。不過目前大多數的機器學習都是離線進行的，因為學習經常需要對演算法進行調整，而 IBM 的硬體並不具備調整的靈活性，不擅長做這件事情。

三、人造神經元工作原理及電路實現
人工神經網路
人工神經網路（artificial neural network，縮寫ANN），簡稱神經網路（neural network，縮寫NN），是一種模仿生物神經網路的結構和功能的數學模型或計算模型。
神經網路是一種運算模型，由大量的節點（或稱「神經元」，或「單元」）和之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激勵函數（activation function）。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重（weight），這相當於人工神經網路的記憶。網路的輸出則依網路的連接方式，權重值和激勵函數的不同而不同。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。Ref：Wikipedia： 人工神經網路
電路原理
神經遞質的分泌反過來又是對動作電位刺激的反應。然而神經元在接收到這些神經遞質信號中的一個後便不會再繼續發出動作電位。當然，它們會逐漸累加至一個極限值。在神經元接受了一定數量的信號並超過極限值後----從根本上講是一個模擬進程----然後它們會發出一個動作電位，並自行重置。Spikey的人造神經元也是這么做的，當它們每次受到激發時都會在電容中累積電荷，直至達到限值，電容再進行放電。具體電路結構和分析之後有機會的話再更新。
現階段硬體的實現方式有數電（IBM、Qualcomm）、模電、數模混合（學界）、GPUs等等，還有各種不是基於硅半導體製程製作的神經元等的device方面的研究。

四、歷史
Neuromorphic engineering由老祖宗Carver Mead提出
卡福·米德是加州理工學院的一名工程師，被公認為神經形態計算機之父（當然還發明了「神經形態學」這個詞）
神經形態晶元的創意可以追溯到幾十年前。加州理工大學的退休教授、集成電路設計的傳奇人物卡弗·米德（Carver Mead）在1990年發表的一篇論文中首次提出了這個名稱。
這篇論文介紹了模擬晶元如何能夠模仿腦部神經元和突觸的電活動。所謂模擬晶元，其輸出是變化的，就像真實世界中發生的現象，這和數字晶元二進制、非開即關的性質不同。

後來這（大腦研究）成為我畢生的工作，我覺得我可以有所貢獻，我嘗試離開計算機行業而專注大腦研究。首先我去了MIT的人工智慧研究院，我想，我也想設計和製作聰明的機器，但我的想法是先研究大腦怎麼運作。而他們說，呃，你不需要這樣做，我們只需要計算機編程。而我說，不，你應該先研究大腦。他們說，呃，你錯了。而我說，不，你們錯了。最後我沒被錄取。但我真的有點失望，那時候年輕，但我再嘗試。幾年後再加州的Berkley，這次我嘗試去學習生物方面的研究。我開始攻讀生物物理博士課程。我在學習大腦了，而我想學理論。而他們說，不，你不可以學大腦的理論，這是不可以的，你不會拿到研究經費，而作為研究生，沒有經費是不可以的。我的天。
八卦：老師說neural network這個方向每20年火一次，之前有很長一段時間的沉寂期，甚至因為理論的不完善一度被認為是江湖術士的小把戲，申請研究經費都需要改課題名稱才能成功。（這段為小弟的道聽途說，請大家看過就忘。後來看相關的資料發現，這段歷史可能與2006年Geoffrey E. Hinton提出深度學習的概念這一革命性工作改變了之前的狀況有關。）

五、針對IBM這次的工作：
關於 SyNAPSE
美國國防部先進研究項目局的研究項目，由兩個大的group組成：IBM team和HRL Team。
Synapse在英文中是突觸的意思，而SyNAPSE是Systems of Neuromorphic Adaptive Plastic Scalable Electronics的簡稱。
Cognitive computing: Neurosynaptic chips
IBM proces first working chips modeled on the human brain
另一個SyNAPSE項目是由IBM阿爾馬登實驗室（位於聖何塞）的達爾門德拉·穆德哈負責。與四所美國大學（哥倫比亞大學，康奈爾大學，加州大學默塞德分校以及威斯康辛-麥迪遜大學）合作，穆德哈博士及其團隊製造了一台神經形態學計算機的原型機，擁有256個「積分觸發式」神經元，之所以這么叫是因為這些神經元將自己的輸入累加（即積分）直至達到閾值，然後發出一個信號後再自行重置。它們在這一點上與Spikey中的神經元類似，但是電子方面的細節卻有所不同，因為它們是由一個數字儲存器而非許多電容來記錄輸入信號的。
Ref: A million spiking-neuron integrated circuit with a scalable communication network and interface. Paul A. Merolla et al. Science 345, 668 (2014); DOI: 10.1126/science.1254642

❸ 世界上第一台計算機的發明者是誰

1930年，美國科學家范內瓦·布希造出世界上首台模擬電子計算機。1946年2月14日，由美國軍方定製的世界上第一台電子計算機「電子數字積分計算機」（ENIAC Electronic Numerical And Calculator）在美國賓夕法尼亞大學問世。

電子計算機的產生是在自動理論的發展、電子技術的日益成熟和第二次世界大戰緊迫的計算任務的背景下的綜合結果。1943年正是世界大戰緊張進行的一年。

美國阿伯丁炮擊場和賓夕法尼亞大學一起承擔了為美國陸軍計算炮擊表的任務。當時只有一台原始的模擬計算機和一百多名計算員用手工計算，結果當然很糟。

差不多在同一時候，賓夕法尼亞大學電工系的工程師埃克特和物理學家莫齊利提出了一篇用電子元件造計算機的報告，這份報告送到了當時負責計算炮擊表的領導人----數學家戈德斯坦中尉手裡。

戈德斯坦慧眼識珠，大力爭取了美國軍方支持埃克特和莫齊利的方案，1943年4月6號報告獲得批准，研製計算機的工作開始了。

(3)人工神經網路發明者擴展閱讀

公認的人類歷史上第一台現代電子計算機是1946年在美國賓夕法尼亞大學誕生的ENIAC。盡管它比前面提到的那些機器晚誕生了一段時間，但它擁有了今天計算機的主要結構和功能，是通用計算機，並且是第一台與通用圖靈機等效的計算機。

雖然在今天看來，ENIAC的計算能力恐怕連小小的計算器、智能手機都比不上，但當時稱得上是功能強大。ENIAC體積非常龐大，占滿好幾個房間，全身上下擁有一大堆纏繞的電線和真空管。

它的耗電量也非常驚人，工作的時候，全城的人都知道，因為家家戶戶的電燈都變暗了。最初ENIAC的程序設置需靠人工移動開關、連接電線來完成，改動一次程序要花一星期時間。

為了提高效率，工程師們設想將程序與數據都放在存儲器中。數學家馮·諾依曼將這個思想以數學語言系統闡述，提出了存儲程序計算機模型，後人稱之為馮·諾依曼機。

❹ 人工智慧與神經網路之間有什麼關系

神馬？你接觸了神經網路？真了不起，人工智慧與神經網路沒有直接關系（神經元晶元出來後，會怎麼樣就不知勞），只是人工智慧模仿了神經網路的部分功能，過50年後，也許能夠完全模仿，期間計算機技術能按照現在的發展速度去發展話，是有可能的。真的實現的那一天，人類未日是不是就會到來？

❺ 人工神經網路是哪個流派的基礎

「純意念控制」人工神經康復機器人系統2014年6月14日在天津大學和天津市人民醫院共同舉辦的發表會上，由雙方共同研製的人工神經康復機器人「神工一號」正式亮相。
中文名
「純意念控制」人工神經康復機器人系統
發布時間
2014年6月14日
快速
導航
產品特色發展歷史
功能配置
「純意念控制」人工神經康復機器人系統在復合想像動作信息解析與處理、非同步腦——機介面訓練與識別、皮層——肌肉活動同步耦合優化、中風後抑鬱腦電非線性特徵提取與篩查等關鍵技術上取得了重大突破。
「純意念控制」人工神經康復機器人系統包括無創腦電感測模塊、想像動作特徵檢測模塊、運動意圖識別模塊、指令編碼介面模塊、刺激信息調理模塊、刺激電流輸出模塊6部分。
產品特色
「純意念控制」人工神經康復機器人系統最新研究成果將讓不少中風、癱瘓人士燃起重新獨立生活的希望。現已擁有包括23項授權國家發明專利、1項軟體著作權在內的自主知識產權集群，是全球首台適用於全肢體中風康復的「純意念控制」人工神經機器人系統。[1]
腦控機械外骨骼是利用被動機械牽引，非肌肉主動收縮激活。而「神工一號」則利用神經肌肉電刺激，模擬神經沖動的電刺激引起肌肉產生主動收縮，帶動骨骼和關節產生自主動作，與人體自主運動原理一致。
體驗者需要把裝有電極的腦電探測器戴在頭部，並在患病肢體的肌肉上安裝電極，藉助「神工一號」的連接，就可以用「意念」來「控制」自己本來無法行動的肢體了。[2]
發展歷史
「純意念控制」人工神經康復機器人系統技術歷時10年，是國家「863計劃「、「十二五」國家科技支撐計劃和國家優秀青年科學基金重點支持項目。
人工神經網路（Artificial Neural Network，即ANN ），是20世紀80 年代以來人工智慧領域興起的研究熱點。它從信息處理角度對人腦神經元網路進行抽象， 建立某種簡單模型，按不同的連接方式組成不同的網路。在工程與學術界也常直接簡稱為神經網路或類神經網路。神經網路是一種運算模型，由大量的節點（或稱神經元）之間相互聯接構成。每個節點代表一種特定的輸出函數，稱為激勵函數（activation function）。每兩個節點間的連接都代表一個對於通過該連接信號的加權值，稱之為權重，這相當於人工神經網路的記憶。網路的輸出則依網路的連接方式，權重值和激勵函數的不同而不同。而網路自身通常都是對自然界某種演算法或者函數的逼近，也可能是對一種邏輯策略的表達。
最近十多年來，人工神經網路的研究工作不斷深入，已經取得了很大的進展，其在模式識別、智能機器人、自動控制、預測估計、生物、醫學、經濟等領域已成功地解決了許多現代計算機難以解決的實際問題，表現出了良好的智能特性。
中文名
人工神經網路
外文名
artificial neural network
別稱
ANN
應用學科
人工智慧
適用領域范圍
模式分類
精品薦讀
「蠢萌」的神經網路
作者：牛油果進化論
快速
導航
基本特徵發展歷史網路模型學習類型分析方法特點優點研究方向發展趨勢應用分析
神經元
如圖所示
a1~an為輸入向量的各個分量
w1~wn為神經元各個突觸的權值
b為偏置
f為傳遞函數，通常為非線性函數。以下默認為hardlim()
t為神經元輸出
數學表示 t=f(WA'+b)
W為權向量
A為輸入向量，A'為A向量的轉置
b為偏置
f為傳遞函數
可見，一個神經元的功能是求得輸入向量與權向量的內積後，經一個非線性傳遞函數得到一個標量結果。
單個神經元的作用：把一個n維向量空間用一個超平面分割成兩部分（稱之為判斷邊界），給定一個輸入向量，神經元可以判斷出這個向量位於超平面的哪一邊。
該超平面的方程: Wp+b=0
W權向量
b偏置
p超平面上的向量
基本特徵
人工神經網路是由大量處理單元互聯組成的非線性、自適應信息處理系統。它是在現代神經科學研究成果的基礎上提出的，試圖通過模擬大腦神經網路處理、記憶信息的方式進行信息處理。人工神經網路具有四個基本特徵：
（1）非線性 非線性關系是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處於激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性關系。具有閾值的神經元構成的網路具有更好的性能，可以提高容錯性和存儲容量。
人工神經網路
（2）非局限性 一個神經網路通常由多個神經元廣泛連接而成。一個系統的整體行為不僅取決於單個神經元的特徵，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯想記憶是非局限性的典型例子。
（3）非常定性 人工神經網路具有自適應、自組織、自學習能力。神經網路不但處理的信息可以有各種變化，而且在處理信息的同時，非線性動力系統本身也在不斷變化。經常採用迭代過程描寫動力系統的演化過程。
（4）非凸性 一個系統的演化方向，在一定條件下將取決於某個特定的狀態函數。例如能量函數，它的極值相應於系統比較穩定的狀態。非凸性是指這種函數有多個極值，故系統具有多個較穩定的平衡態，這將導致系統演化的多樣性。
人工神經網路中，神經元處理單元可表示不同的對象，例如特徵、字母、概念，或者一些有意義的抽象模式。網路中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部世界的信號與數據；輸出單元實現系統處理結果的輸出；隱單元是處在輸入和輸出單元之間，不能由系統外部觀察的單元。神經元間的連接權值反映了單元間的連接強度，信息的表示和處理體現在網路處理單元的連接關系中。人工神經網路是一種非程序化、適應性、大腦風格的信息處理 ，其本質是通過網路的變換和動力學行為得到一種並行分布式的信息處理功能，並在不同程度和層次上模仿人腦神經系統的信息處理功能。它是涉及神經科學、思維科學、人工智慧、計算機科學等多個領域的交叉學科。
人工神經網路
人工神經網路是並行分布式系統，採用了與傳統人工智慧和信息處理技術完全不同的機理，克服了傳統的基於邏輯符號的人工智慧在處理直覺、非結構化信息方面的缺陷，具有自適應、自組織和實時學習的特點。[1]
發展歷史
1943年，心理學家W.S.McCulloch和數理邏輯學家W.Pitts建立了神經網路和數學模型，稱為MP模型。他們通過MP模型提出了神經元的形式化數學描述和網路結構方法，證明了單個神經元能執行邏輯功能，從而開創了人工神經網路研究的時代。1949年，心理學家提出了突觸聯系強度可變的設想。60年代，人工神經網路得到了進一步發展，更完善的神經網路模型被提出，其中包括感知器和自適應線性元件等。M.Minsky等仔細分析了以感知器為代表的神經網路系統的功能及局限後，於1969年出版了《Perceptron》一書，指出感知器不能解決高階謂詞問題。他們的論點極大地影響了神經網路的研究，加之當時串列計算機和人工智慧所取得的成就，掩蓋了發展新型計算機和人工智慧新途徑的必要性和迫切性，使人工神經網路的研究處於低潮。在此期間，一些人工神經網路的研究者仍然致力於這一研究，提出了適應諧振理論（ART網）、自組織映射、認知機網路，同時進行了神經網路數學理論的研究。以上研究為神經網路的研究和發展奠定了基礎。1982年，美國加州工學院物理學家J.J.Hopfield提出了Hopfield神經網格模型，引入了「計算能量」概念，給出了網路穩定性判斷。 1984年，他又提出了連續時間Hopfield神經網路模型，為神經計算機的研究做了開拓性的工作，開創了神經網路用於聯想記憶和優化計算的新途徑，有力地推動了神經網路的研究，1985年，又有學者提出了波耳茲曼模型，在學習中採用統計熱力學模擬退火技術，保證整個系統趨於全局穩定點。1986年進行認知微觀結構地研究，提出了並行分布處理的理論。1986年，Rumelhart, Hinton, Williams發展了BP演算法。Rumelhart和McClelland出版了《Parallel distribution processing: explorations in the microstructures of cognition》。迄今，BP演算法已被用於解決大量實際問題。1988年，Linsker對感知機網路提出了新的自組織理論，並在Shanon資訊理論的基礎上形成了最大互信息理論，從而點燃了基於NN的信息應用理論的光芒。1988年，Broomhead和Lowe用徑向基函數(Radial basis function, RBF)提出分層網路的設計方法，從而將NN的設計與數值分析和線性適應濾波相掛鉤。90年代初，Vapnik等提出了支持向量機(Support vector machines, SVM)和VC(Vapnik-Chervonenkis)維數的概念。人工神經網路的研究受到了各個發達國家的重視，美國國會通過決議將1990年1月5日開始的十年定為「腦的十年」，國際研究組織號召它的成員國將「腦的十年」變為全球行為。在日本的「真實世界計算（RWC）」項目中，人工智慧的研究成了一個重要的組成部分。
人工神經網路
網路模型
人工神經網路模型主要考慮網路連接的拓撲結構、神經元的特徵、學習規則等。目前，已有近40種神經網路模型，其中有反傳網路、感知器、自組織映射、Hopfield網路、波耳茲曼機、適應諧振理論等。根據連接的拓撲結構，神經網路模型可以分為：[1]
人工神經網路
前向網路
網路中各個神經元接受前一級的輸入，並輸出到下一級，網路中沒有反饋，可以用一個有向無環路圖表示。這種網路實現信號從輸入空間到輸出空間的變換，它的信息處理能力來自於簡單非線性函數的多次復合。網路結構簡單，易於實現。反傳網路是一種典型的前向網路。[2]
反饋網路
網路內神經元間有反饋，可以用一個無向的完備圖表示。這種神經網路的信息處理是狀態的變換，可以用動力學系統理論處理。系統的穩定性與聯想記憶功能有密切關系。Hopfield網路、波耳茲曼機均屬於這種類型。
學習類型
學習是神經網路研究的一個重要內容，它的適應性是通過學習實現的。根據環境的變化，對權值進行調整，改善系統的行為。由Hebb提出的Hebb學習規則為神經網路的學習演算法奠定了基礎。Hebb規則認為學習過程最終發生在神經元之間的突觸部位，突觸的聯系強度隨著突觸前後神經元的活動而變化。在此基礎上，人們提出了各種學習規則和演算法，以適應不同網路模型的需要。有效的學習演算法，使得神經網路能夠通過連接權值的調整，構造客觀世界的內在表示，形成具有特色的信息處理方法，信息存儲和處理體現在網路的連接中。
人工神經網路
分類
根據學習環境不同，神經網路的學習方式可分為監督學習和非監督學習。在監督學習中，將訓練樣本的數據加到網路輸入端，同時將相應的期望輸出與網路輸出相比較，得到誤差信號，以此控制權值連接強度的調整，經多次訓練後收斂到一個確定的權值。當樣本情況發生變化時，經學習可以修改權值以適應新的環境。使用監督學習的神經網路模型有反傳網路、感知器等。非監督學習時，事先不給定標准樣本，直接將網路置於環境之中，學習階段與工作階段成為一體。此時，學習規律的變化服從連接權值的演變方程。非監督學習最簡單的例子是Hebb學習規則。競爭學習規則是一個更復雜的非監督學習的例子，它是根據已建立的聚類進行權值調整。自組織映射、適應諧振理論網路等都是與競爭學習有關的典型模型。
分析方法
研究神經網路的非線性動力學性質，主要採用動力學系統理論、非線性規劃理論和統計理論，來分析神經網路的演化過程和吸引子的性質，探索神經網路的協同行為和集體計算功能，了解神經信息處理機制。為了探討神經網路在整體性和模糊性方面處理信息的可能，混沌理論的概念和方法將會發揮作用。混沌是一個相當難以精確定義的數學概念。一般而言，「混沌」是指由確定性方程描述的動力學系統中表現出的非確定性行為，或稱之為確定的隨機性。「確定性」是因為它由內在的原因而不是外來的雜訊或干擾所產生，而「隨機性」是指其不規則的、不能預測的行為，只可能用統計的方法描述。

❻ 深度學習與神經網路有什麼區別

深度學習與神經網路關系

2017-01-10

最近開始學習深度學習，基本上都是zouxy09博主的文章，寫的蠻好，很全面，也會根據自己的思路，做下刪減，細化。

五、Deep Learning的基本思想

假設我們有一個系統S，它有n層（S1,…Sn），它的輸入是I，輸出是O，形象地表示為： I =>S1=>S2=>…..=>Sn => O，如果輸出O等於輸入I，即輸入I經過這個系統變化之後沒有任何的信息損失（呵呵，大牛說，這是不可能的。資訊理論中有個「信息逐層丟失」的說法（信息處理不等式），設處理a信息得到b，再對b處理得到c，那麼可以證明：a和c的互信息不會超過a和b的互信息。這表明信息處理不會增加信息，大部分處理會丟失信息。當然了，如果丟掉的是沒用的信息那多好啊），保持了不變，這意味著輸入I經過每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示。現在回到我們的主題Deep Learning，我們需要自動地學習特徵，假設我們有一堆輸入I（如一堆圖像或者文本），假設我們設計了一個系統S（有n層），我們通過調整系統中參數，使得它的輸出仍然是輸入I，那麼我們就可以自動地獲取得到輸入I的一系列層次特徵，即S1，…, Sn。

對於深度學習來說，其思想就是對堆疊多個層，也就是說這一層的輸出作為下一層的輸入。通過這種方式，就可以實現對輸入信息進行分級表達了。

另外，前面是假設輸出嚴格地等於輸入，這個限制太嚴格，我們可以略微地放鬆這個限制，例如我們只要使得輸入與輸出的差別盡可能地小即可，這個放鬆會導致另外一類不同的Deep Learning方法。上述就是Deep Learning的基本思想。

六、淺層學習（Shallow Learning）和深度學習（Deep Learning）

淺層學習是機器學習的第一次浪潮。

20世紀80年代末期，用於人工神經網路的反向傳播演算法（也叫Back Propagation演算法或者BP演算法）的發明，給機器學習帶來了希望，掀起了基於統計模型的機器學習熱潮。這個熱潮一直持續到今天。人們發現，利用BP演算法可以讓一個人工神經網路模型從大量訓練樣本中學習統計規律，從而對未知事件做預測。這種基於統計的機器學習方法比起過去基於人工規則的系統，在很多方面顯出優越性。這個時候的人工神經網路，雖也被稱作多層感知機（Multi-layer Perceptron），但實際是種只含有一層隱層節點的淺層模型。

20世紀90年代，各種各樣的淺層機器學習模型相繼被提出，例如支撐向量機（SVM，Support Vector Machines）、 Boosting、最大熵方法（如LR，Logistic Regression）等。這些模型的結構基本上可以看成帶有一層隱層節點（如SVM、Boosting），或沒有隱層節點（如LR）。這些模型無論是在理論分析還是應用中都獲得了巨大的成功。相比之下，由於理論分析的難度大，訓練方法又需要很多經驗和技巧，這個時期淺層人工神經網路反而相對沉寂。

深度學習是機器學習的第二次浪潮。

2006年，加拿大多倫多大學教授、機器學習領域的泰斗Geoffrey Hinton和他的學生RuslanSalakhutdinov在《科學》上發表了一篇文章，開啟了深度學習在學術界和工業界的浪潮。這篇文章有兩個主要觀點：1）多隱層的人工神經網路具有優異的特徵學習能力，學習得到的特徵對數據有更本質的刻畫，從而有利於可視化或分類；2）深度神經網路在訓練上的難度，可以通過「逐層初始化」（layer-wise pre-training）來有效克服，在這篇文章中，逐層初始化是通過無監督學習實現的。

當前多數分類、回歸等學習方法為淺層結構演算法，其局限性在於有限樣本和計算單元情況下對復雜函數的表示能力有限，針對復雜分類問題其泛化能力受到一定製約。深度學習可通過學習一種深層非線性網路結構，實現復雜函數逼近，表徵輸入數據分布式表示，並展現了強大的從少數樣本集中學習數據集本質特徵的能力。（多層的好處是可以用較少的參數表示復雜的函數）

而為了克服神經網路訓練中的問題，DL採用了與神經網路很不同的訓練機制。傳統神經網路（這里作者主要指前向神經網路）中，採用的是back propagation的方式進行，簡單來講就是採用迭代的演算法來訓練整個網路，隨機設定初值，計算當前網路的輸出，然後根據當前輸出和label之間的差去改變前面各層的參數，直到收斂（整體是一個梯度下降法）。而deep learning整體上是一個layer-wise的訓練機制。這樣做的原因是因為，如果採用back propagation的機制，對於一個deep network（7層以上），殘差傳播到最前面的層已經變得太小，出現所謂的gradient diffusion（梯度擴散）。這個問題我們接下來討論。

八、Deep learning訓練過程

8.1、傳統神經網路的訓練方法為什麼不能用在深度神經網路

BP演算法作為傳統訓練多層網路的典型演算法，實際上對僅含幾層網路，該訓練方法就已經很不理想。深度結構（涉及多個非線性處理單元層）非凸目標代價函數中普遍存在的局部最小是訓練困難的主要來源。

BP演算法存在的問題：

（1）梯度越來越稀疏：從頂層越往下，誤差校正信號越來越小；

（2）收斂到局部最小值：尤其是從遠離最優區域開始的時候（隨機值初始化會導致這種情況的發生）；

（3）一般，我們只能用有標簽的數據來訓練：但大部分的數據是沒標簽的，而大腦可以從沒有標簽的的數據中學習；

8.2、deep learning訓練過程

如果對所有層同時訓練，時間復雜度會太高；如果每次訓練一層，偏差就會逐層傳遞。這會面臨跟上面監督學習中相反的問題，會嚴重欠擬合（因為深度網路的神經元和參數太多了）。

2006年，hinton提出了在非監督數據上建立多層神經網路的一個有效方法，簡單的說，分為兩步，一是每次訓練一層網路，二是調優，使原始表示x向上生成的高級表示r和該高級表示r向下生成的x'盡可能一致。方法是：

1）首先逐層構建單層神經元，這樣每次都是訓練一個單層網路。

2）當所有層訓練完後，Hinton使用wake-sleep演算法進行調優。

將除最頂層的其它層間的權重變為雙向的，這樣最頂層仍然是一個單層神經網路，而其它層則變為了圖模型。向上的權重用於「認知」，向下的權重用於「生成」。然後使用Wake-Sleep演算法調整所有的權重。讓認知和生成達成一致，也就是保證生成的最頂層表示能夠盡可能正確的復原底層的結點。比如頂層的一個結點表示人臉，那麼所有人臉的圖像應該激活這個結點，並且這個結果向下生成的圖像應該能夠表現為一個大概的人臉圖像。Wake-Sleep演算法分為醒（wake）和睡（sleep）兩個部分。

1）wake階段：認知過程，通過外界的特徵和向上的權重（認知權重）產生每一層的抽象表示（結點狀態），並且使用梯度下降修改層間的下行權重（生成權重）。也就是「如果現實跟我想像的不一樣，改變我的權重使得我想像的東西就是這樣的」。

2）sleep階段：生成過程，通過頂層表示（醒時學得的概念）和向下權重，生成底層的狀態，同時修改層間向上的權重。也就是「如果夢中的景象不是我腦中的相應概念，改變我的認知權重使得這種景象在我看來就是這個概念」。

deep learning訓練過程具體如下：

1）使用自下上升非監督學習（就是從底層開始，一層一層的往頂層訓練）：

採用無標定數據（有標定數據也可）分層訓練各層參數，這一步可以看作是一個無監督訓練過程，是和傳統神經網路區別最大的部分（這個過程可以看作是feature learning過程）：

具體的，先用無標定數據訓練第一層，訓練時先學習第一層的參數（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經網路的隱層），由於模型capacity的限制以及稀疏性約束，使得得到的模型能夠學習到數據本身的結構，從而得到比輸入更具有表示能力的特徵；在學習得到第n-1層後，將n-1層的輸出作為第n層的輸入，訓練第n層，由此分別得到各層的參數；

2）自頂向下的監督學習（就是通過帶標簽的數據去訓練，誤差自頂向下傳輸，對網路進行微調）：

基於第一步得到的各層參數進一步fine-tune整個多層模型的參數，這一步是一個有監督訓練過程；第一步類似神經網路的隨機初始化初值過程，由於DL的第一步不是隨機初始化，而是通過學習輸入數據的結構得到的，因而這個初值更接近全局最優，從而能夠取得更好的效果；所以deep learning效果好很大程度上歸功於第一步的feature learning過程。

❼ 牛頓有哪些發明了什麼從那裡的靈感

1、蒼蠅-----小型氣體分析儀。。
2。螢火蟲-----人工冷光；
3。電魚------伏特電池；
4。水母------水母耳風暴預測儀，
5。蛙眼------電子蛙眼
6。蝙蝠超聲定位器的原理------探路儀」。
7。藍藻-----光解水的裝置，
8。人體骨胳肌肉系統和生物電控制的研究，——步行機。
9。動物的爪子------現代起重機的掛鉤
10。動物的鱗甲------屋頂瓦楞
11。魚的鰭------槳
12。螳螂臂，或鋸齒草------鋸子
13。蒼耳屬植物-------尼龍搭扣。
14。龍蝦-------氣味探測儀。
15。壁虎腳趾------粘性錄音帶
16。貝-----外科手術的縫合到補船等-
17。鯊魚-----泳衣，
18。-鳥----飛機
19。魚------潛水艇
魯班從帶鋸齒的草發明了鋸子；
從鳥類的飛行，萊特兄弟發明了飛機。人類的發明——來自動物的靈感
從蘋果的下落，牛頓發現了萬有引力；
船和潛艇來自人們對魚類和海豚的模仿。
科學家根據野豬的鼻子測毒的奇特本領製成了世界上第一批防毒面具。
火箭升空利用的是水母、墨魚反沖原理。
科研人員通過研究變色龍的變色本領，為部隊研製出了不少軍事偽裝裝備。
科學家研究青蛙的眼睛，發明了電子蛙眼。
美國空軍通過毒蛇的「熱眼」功能，研究開發出了微型熱感測器。
人類還利用蛙跳的原理設計了蛤蟆夯(hang)。
人類模仿警犬的高靈敏嗅覺製成了用於偵緝的「電子警犬」。
根據螞蟻的生活習性，和群居特點，編程領域出現了蟻群演算法；
從生物的神經元分布和聯系中，我們有了人工智慧系統，出現人工神經網路；

❽ 人工神經網路會秒殺人類哪6大領域

人工神經網路會秒殺人類有關圖像和物體識別、電子游戲、語音生成和識別、藝術品和風格的模仿、預測、網站設計修改這六大領域。

神經網路可以研究某一特定藝術作品的筆觸、顏色和陰影的圖案。在此基礎上，它可以根據分析將原始的藝術作品轉化為新的圖像。

斯坦福大學的研究人員Timnit Gebru選取了5000萬張谷歌街景圖片，探索一個深度學習網路可以做些什麼。結果是，計算機學會了定位和識別汽車。它檢測到超過2200萬輛汽車，包括它們的製造、型號、體型和年份。這一系統獲得的洞見之一就是，選民隊伍的起點和終點在哪裡。根據這一分析，「如果在15分鍾車程中遇到的轎車數量高於皮卡車的數量，那麼這座城市可能會在下次總統選舉中投票給民主黨人(88%的幾率)，」Timnit Gebru和他的合著者寫道。

在網站生成器中集成的人工智慧可以幫助網站更新，並對網站進行有用的修改，比人類更快速、更准確。這種系統的基本技術提供了關於網站外觀的普通用戶的意見，這可以告訴設計師網站設計的好壞。如今，網站建設者們要麼利用深層網路來修改設計，要麼計劃在不久的將來使用它們。該技術可以分析不同的模式，並根據以前的轉化率和其他重要指標，創造更好的結果。

❾ 人工智慧和神經網路有什麼聯系與區別

聯系：都是模仿人類行為的數學模型以及演算法。神經網路的研究能促進或者加快人工智慧的發展。

區別如下：

一、指代不同

1、人工智慧：是研究、開發用於模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學。

2、神經網路：是一種模仿動物神經網路行為特徵，進行分布式並行信息處理的演算法數學模型。

二、方法不同

1、人工智慧：企圖了解智能的實質，並生產出一種新的能以人類智能相似的方式做出反應的智能機器，該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。

2、神經網路：依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。

三、目的不同

1、人工智慧：主要目標是使機器能夠勝任一些通常需要人類智能才能完成的復雜工作。

2、神經網路：具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環境的要求。同一網路因學習方式及內容不同可具有不同的功能。