1人工神經網絡的背景
自古以來，關於人類智力起源的謎團壹直吸引著無數哲學家和自然科學家的研究熱情。經過長期不懈的努力，生物學家和神經學家認為，人腦的智能活動離不開大腦的物質基礎，包括其物理結構和各種生物、化學和電學效應，並由此建立了神經網絡理論和神經系統結構理論，而神經元理論是神經傳導理論和腦功能理論的基礎。在這些理論的基礎上，科學家認為我們可以通過模仿人類大腦神經系統的結構和功能來研究人類的智力活動和認知現象。另壹方面，在19世紀之前，無論是以歐幾裏得幾何和微積分為代表的經典數學，還是以牛頓力學為代表的經典物理學，壹般都是線性科學。然而，客觀世界如此復雜，非線性的情況隨處可見，尤其是在人腦的神經系統中。復雜性和非線性是聯系在壹起的，所以非線性科學的研究也是我們理解復雜系統的關鍵。為了更好地認識客觀世界，我們必須學習非線性科學。作為壹種類似大腦智能的非線性網絡模型，人工神經網絡應運而生。因此，人工神經網絡的建立不是偶然的，而是20世紀初科學技術充分發展的產物。
2.人工神經網絡的發展
人工神經網絡的研究始於20世紀40年代初。半個世紀以來，經歷了崛起、高潮與蕭條、高潮與平穩發展的漫長而曲折的道路。
1943年，心理學家W.S.Mcculloch和數學邏輯學家W.Pitts提出了M-P模型，這是第壹個用數學語言描述大腦信息處理過程的模型。雖然神經元的功能較弱，但為以後的研究工作提供了基礎。1949年，心理學家D.O.Hebb提出了突觸連接是可變的假設，根據這壹假設提出的學習規則為神經網絡的學習算法奠定了基礎。1957年，計算機科學家羅森布拉特(Rosenblatt)提出了著名的感知器模型，該模型包含了現代計算機的壹些原理，是第壹個完整的人工神經網絡，第壹次將神經網絡研究投入工程實現。因為可以用在模式識別，聯想記憶等等，當時有幾百個實驗室投入了這項研究。美軍甚至認為神經網絡項目應該比“原子彈項目”更重要並給予了巨額資助，並在聲納信號識別等領域取得了壹定的成果。在1960中，B.Windrow和E.Hoff提出了自適應線性元素，它可用於自適應濾波、預測和模式識別。至此，人工神經網絡的研究工作進入了第壹個高潮。
1969年，美國著名人工智能學者M.Minsky和S.Papert寫了《感知器》壹書，影響很大，從理論上證明了單層感知器能力有限，比如不能解決異或問題，他們推測多層網絡的感知器能力也就這麽多。他們的分析猶如壹盆冷水，許多學者感到前途黯淡紛紛轉行，曾經參與研究的實驗室也相繼退出。之後將近65438。這壹時期，芬蘭學者T.Kohonen提出了自組織映射理論，反映了腦神經細胞的自組織特征、記憶方法以及神經細胞興奮和刺激的規律；自適應* * *振動理論(ART)；由美國學者S.A .格羅斯伯格；日本學者K.Fukushima提出了認知機器模型；ShunIchimari致力於神經網絡的數學理論研究，對以後神經網絡的發展有重要影響。
美國生物物理學家J.J.Hopfield在美國國家科學院院刊1982和1984上發表了兩篇文章，有力地推動了神經網絡的研究，引起了神經網絡研究的又壹次熱潮。在1982中，他提出了壹種新的神經網絡模型——Hopfield網絡模型。在該網絡模型的研究中，他首次引入了網絡能量函數的概念，並給出了網絡穩定性的判斷依據。在1984中，他提出了用網絡模型實現的電子電路，為神經網絡的工程實現指明了方向。他的研究成果為神經網絡優化計算聯想記憶開辟了新的途徑，為神經計算機的研究奠定了基礎。Hinton等人在1984中將模擬退火算法引入神經網絡，提出了Boltzmann機網絡模型。BM網絡算法為神經網絡優化計算提供了壹種有效的方法。在1986中，D.E.Rumelhart和J.LMcclelland提出了誤差反向傳播(error back propagation ),至今已成為壹種影響很大的網絡學習方法。1987年，美國神經計算機專家R.Hecht—Nielsen提出了反向傳播神經網絡，它具有分類靈活、算法簡潔的優點，可用於模式分類、函數逼近、統計分析和數據壓縮等領域。L.Ochua等人在1988中提出了細胞神經網絡模型，該模型在初級視覺處理中得到了廣泛的應用。
為適應人工神經網絡的發展，1987成立了國際神經網絡學會，並決定定期召開國際神經網絡學術會議。1988 65438+十月神經網絡成立。神經網絡1990 IEEE匯刊3月出。中國於1990年2月在北京召開了首屆神經網絡學術會議，並決定每年召開壹次。1991，中國神經網絡學會在南京成立。由IEEE和INNS聯合舉辦的IJCNN92已經在北京召開。這些都促進了神經網絡的研究和發展，人工神經網絡進入了壹個穩定發展的時期。
20世紀90年代初，諾貝爾獎獲得者Edelman提出了達爾文主義模型，建立了神經網絡系統理論。同年，在前人推導和實驗的基礎上，相原等人給出了混沌神經元模型，該模型已成為經典的混沌神經網絡模型，可用於聯想記憶。Wunsch在90OSA年會上提出了AnnualMeeting，使用光電執行ART，學習過程具有自適應過濾和推理功能，具有快速穩定學習的特點。1991年，赫茲討論了神經計算的理論，對神經網絡的計算復雜性分析有重要意義。Inoue等人提出用耦合混沌振子作為神經元構建混沌神經網絡模型，為其廣闊的應用前景指明了方向。在1992中，Holland提出了壹種通過模擬生物進化來解決復雜優化問題的遺傳算法。在1993中，房建安等人用遺傳算法對神經網絡控制器進行了研究，取得了壹些成果。1994年，Angeline等人在前人進化策略理論的基礎上提出了壹種建立反饋神經網絡的進化算法，並成功應用於模式識別、自動控制等。廖為細胞神經網絡建立了新的數學理論和方法，並取得了壹系列成果。HayashlY根據動物大腦中的振蕩現象提出了振蕩神經網絡。1995 Mitra將人工神經網絡與模糊邏輯理論、生物細胞理論、概率論相結合，提出了模糊神經網絡，在神經網絡的研究上取得了突破。Jenkins等人研究了光神經網絡，建立了二維並行互連和電子學的光神經網絡，可以避免網絡陷入局部極小，最終達到或接近理想解。SoleRV等人提出了流體神經網絡，用於研究昆蟲社會和機器人集體免疫系統，啟發人們用混沌理論分析社會大系統。1996中，ShuaiJW’等人模擬了人腦的自我發育行為，在混沌神經網絡討論的基礎上提出了自我發育神經網絡。在1997和1998中，董聰創立並完善了廣義遺傳算法，解決了多層前向網絡的最簡單拓撲構造問題和全局最優逼近問題。
隨著理論工作的開展，神經網絡的應用研究也取得了突破性進展，涉及廣泛的技術領域，包括計算機視覺、語言識別、理解與合成、優化計算、智能控制和復雜系統分析、模式識別、神經計算機開發、知識推理專家系統和人工智能等。涉及的學科有神經生理學、認知科學、數學科學、心理學、信息科學、計算機科學、微電子學、光學、動力學、生物電子學等等。美國、日本等國家在神經網絡計算機的硬件和軟件開發方面也取得了令人矚目的成就，並逐漸形成產品。在美國，神經計算機產業得到了軍方的大力支持。國防部高級研究計劃局認為“神經網絡是解決機器智能的唯壹希望”，僅壹個為期8年的神經計算機項目就投入了4億美元。在歐洲的ESPRIT項目中，有壹個專門的項目:“神經網絡在歐洲工業中的應用”，僅神經網絡專用芯片的生產就花費了2200萬美元。美國的數據顯示，日本在神經網絡研究上的投入是美國的4倍左右。中國也不甘落後。自1990南開大學光學神經計算機等三個項目獲批以來，國家自然科學基金和國防預研基金也為神經網絡的研究提供了資金支持。此外，許多國際著名公司也參與了神經網絡的研究，如英特爾、IBM、西門子和HNC。神經計算機產品開始走向商用階段，被國防、企業、科研部門選用。在舉世聞名的海灣戰爭中，美國空軍采用神經網絡進行決策和控制。在這種刺激和需求下，人工神經網絡必將有新的突破，迎來又壹個高潮。自1958第壹個神經網絡誕生以來，其理論和應用成果不勝枚舉。人工神經網絡是壹門迅速發展的新學科，新模型、新理論、新應用成果層出不窮。
3人工神經網絡的發展前景
針對神經網絡存在的問題和社會需求，未來的主要發展方向可以分為理論研究和應用研究兩個方面。
(1)運用神經生理學和認知科學研究大腦思維和智力的機制和計算理論，以問題研究理論。
人工神經網絡為揭示智能和理解人腦的工作模式提供了合理的途徑。但由於起初對神經系統的了解有限，對人腦結構及其活動機制的認識還很膚淺，具有某種“先驗性”。比如玻爾茲曼機引入隨機擾動避免局部極小，有其優點。但是，它缺乏必要的腦生理學基礎。毫無疑問，人工神經網絡的改進和發展應該與神經科學的研究相結合。而且神經科學、心理學和認知科學提出的壹些重要問題是對神經網絡理論研究的新挑戰，這些問題的解決有助於神經網絡理論的完善和發展。因此，利用神經生理學和認知科學來研究大腦思維和智力的機制，如果有新的突破，將會改變對智力和機器關系的認識。
利用神經科學基礎理論的研究成果，通過數學方法探索具有更高智能水平的人工神經網絡模型，深入研究神經計算、進化計算、穩定性、收斂性、計算復雜度、容錯性和魯棒性等網絡的算法和性能，發展新的網絡數學理論。由於神經網絡的非線性，對非線性問題的研究是神經網絡理論發展的最大推動力。特別是自從人們發現大腦中存在混沌之後，用混沌動力學來啟發神經網絡的研究，或者用神經網絡來產生混沌，已經成為人們的新課題，因為這是從生理本質的角度來研究神經網絡的根本手段。
(2)神經網絡軟件模擬、硬件實現的研究以及神經網絡在各個科技領域的應用。
由於人工神經網絡可以用傳統計算機模擬，也可以用集成電路芯片組成，甚至可以用光學和生物芯片的方法實現，因此發展純軟件模擬、虛擬模擬和全硬件實現的電子神經網絡計算機有很大潛力。如何將神經網絡計算機與傳統計算機、人工智能技術相結合，也是壹個前沿課題；如何使神經網絡計算機的功能智能化，開發出與人腦功能相似的智能計算機，如光學神經計算機、分子神經計算機等，將會有非常誘人的前景。
4哲學
(1)人工神經網絡開啟認識論新領域。
認知與腦的問題長期以來壹直為人們所關註，因為它不僅是壹個與人的心理和意識有關的心理學問題，也是壹個與人的思維活動機制有關的腦科學和思維科學問題，它直接關系到物質和意識的基本哲學問題的答案。人工神經網絡的發展使我們能夠進壹步唯物辯證地認識認知與大腦的關系，開辟了認識論的新領域。人腦是壹個復雜的並行系統，具有“認知、意識、情感”等高級腦功能。人工模擬有利於加深對思維和智能的理解，極大地促進了對認知和智能本質的研究。在對大腦整體功能和復雜性的研究中，人工神經網絡給人們帶來了新的啟示。由於人腦中存在混沌，混沌可以用來理解大腦中的壹些不規則活動，因此混沌動力學模型可以作為對外部世界建模的工具，可以用來描述人腦的信息處理過程。混沌與智能是相關的，將混沌引入神經網絡有助於揭示人類形象思維的奧秘。人工神經網絡的復興，關鍵在於它反映了事物的非線性，把握了客觀世界的本質，在某種程度上正面回答了智能系統如何從環境中獨立學習這壹最關鍵的問題。從認知的角度來說，所謂學習，就是對未知現象或規律的發現和歸納。神經網絡因其高度並行性、高度非線性全局功能、良好的容錯和聯想記憶功能、強大的自適應和自學習功能，成為揭示智能和理解人腦工作模式的合理途徑。然而，由於認知問題的復雜性，目前我們對神經網絡的運行和神經細胞的內部處理機制沒有任何概念，例如信息在人腦中是如何傳遞、存儲和處理的。記憶、聯想、判斷是如何形成的？大腦有操作系統嗎？目前還沒有太多的認識，所以要使人工神經網絡模仿人腦各方面的功能，還需要加深人們對大腦信息處理機制的認識。
(2)人工神經網絡發展的動力來自實踐、理論和問題的相互作用。
隨著人們社會實踐範圍的不斷擴大和社會實踐水平的不斷深入，人們所接觸到的自然現象越來越豐富多彩，越來越復雜，這就促使人們用不同的原因來解釋不同種類的自然現象。當不同種類的自然現象可以用同壹種原因來解釋時，不同的學科交叉綜合，人工神經網絡就這樣產生了。在初期，由於這些理論網絡模型比較簡單，還存在很多問題，而且這些模型幾乎沒有經過實踐檢驗，所以神經網絡的發展比較緩慢。隨著理論研究的深入，問題逐漸解決，特別是在工程化實現之後，比如聲納識別的成功，才迎來神經網絡的第壹次發展高潮。但是Minisky認為感知器不能解決XOR問題，多層感知器也可以，神經網絡的研究進入低谷，主要是因為非線性問題沒有解決。隨著理論的不斷豐富和實踐的不斷深入，已經證明米尼斯基的悲觀論調是錯誤的。在科技高度發達的今天，逐漸揭示出非線性問題是客觀世界的本質。問題、理論和實踐的互動，迎來了人工神經網絡的第二次高潮。目前人工神經網絡的問題是智能水平不高，還有其他的理論和實現問題，迫使人們不斷進行理論研究和實踐，促進了神經網絡的不斷發展。總之，以前的原因遇到了解釋不同的新現象，促使人們提出更普遍、更準確的原因來解釋。理論是基礎，實踐是動力。但僅靠理論和實踐的作用並不能推動人工神經網絡的發展，必須提出問題來吸引科學家進入特定的研究範圍，引導他們從事相關研究，從而接近科學發現。然後實踐提出新的問題，新的問題引發新的思考，促使科學家不斷思考，不斷完善自己的理論。人工神經網絡的發展體現了問題、理論和實踐的辯證統壹。
(3)人工神經網絡發展的另壹個動力來自於相關學科的貢獻和不同學科專家的競爭與協作。
人工神經網絡本身是壹門邊緣學科，它的發展有著更廣闊的科學背景，是眾多科研成果的綜合產物。控制論的創始人維納在其代表作《控制論》中對人腦神經元進行了研究。計算機科學家圖靈提出了B網的思想。普裏戈金提出了不平衡系統的自組織理論，獲得了諾貝爾獎。哈肯研究的是大量元素共同作用產生的宏觀效應，非線性系統“混沌”狀態的提出和研究都是關於如何通過元素之間的相互作用建立復雜系統，類似於生物系統的自組織行為。腦科學和神經科學的進步很快體現在人工神經網絡的研究中，如生物神經網絡理論、視覺中發現的側抑制原理、感受野概念等，對神經網絡的發展起到了重要的推動作用。人工神經網絡模型已提出數百種，涉及學科眾多，令人目不暇接，應用領域之廣令人驚嘆。不同學科的專家為了達到該領域的領先水平而進行不同程度的競爭，這些都有力地推動了人工神經網絡的發展。人腦是壹個信息系統，功能非常強大，結構異常復雜。隨著信息論、控制論、生命科學和計算機科學的發展，人們越來越驚嘆於大腦的神奇。至少到目前為止，人腦的信號處理機制對人類來說還是壹個黑匣子。要揭示人腦的奧秘，需要神經學家、心理學家、計算機科學家、微電子學、數學家和其他專家的共同努力。此外，哲學家也要參與進來，通過哲學與自然科學的深度結合，逐步孕育出探索人類思維本質和規律的新方法，使思維科學從晦澀走向理性。而且不同領域專家的競爭與協調，有利於理清問題，尋求最佳解決方案。縱觀神經網絡的發展歷史，沒有相關學科的貢獻，沒有不同學科專家的競爭與合作，神經網絡就不會有今天。當然，人工神經網絡在各個學科的應用研究反過來又促進了其他學科的發展，促進了自身的完善和發展。