人工神經網絡早期的研究工作應追溯至上世紀40年代。下面以時間順序,以著名的人物或某一方面突出的研究成果為線索,簡要介紹人工神經網絡的發展歷史。
1943年,心理學家W·Mcculloch和數理邏輯學家W·Pitts在分析、總結神經元基本特性的基礎上首先提出神經元的數學模型。此模型沿用至今,并且直接影響著這一領域研究的進展。因而,他們兩人可稱為人工神經網絡研究的先驅。
1945年馮·諾依曼領導的設計小組試制成功存儲程序式電子計算機,標志著電子計算機時代的開始。1948年,他在研究工作中比較了人腦結構與存儲程序式計算機的根本區別,提出了以簡單神經元構成的再生自動機網絡結構。但是,由于指令存儲式計算機技術的發展非常迅速,迫使他放棄了神經網絡研究的新途徑,繼續投身于指令存儲式計算機技術的研究,并在此領域作出了巨大貢獻。雖然,馮·諾依曼的名字是與普通計算機聯系在一起的,但他也是人工神經網絡研究的先驅之一。
50年代末,F·Rosenblatt設計制作了“感知機”,它是一種多層的神經網絡。這項工作首次把人工神經網絡的研究從理論探討付諸工程實踐。當時,世界上許多實驗室仿效制作感知機,分別應用于文字識別、聲音識別、聲納信號識別以及學習記憶問題的研究。然而,這次人工神經網絡的研究高潮未能持續很久,許多人陸續放棄了這方面的研究工作,這是因為當時數字計算機的發展處于全盛時期,許多人誤以為數字計算機可以解決人工智能、模式識別、專家系統等方面的一切問題,使感知機的工作得不到重視;其次,當時的電子技術工藝水平比較落后,主要的元件是電子管或晶體管,利用它們制作的神經網絡體積龐大,價格昂貴,要制作在規模上與真實的神經網絡相似是完全不可能的;另外,在1968年一本名為《感知機》的著作中指出線性感知機功能是有限的,它不能解決如異感這樣的基本問題,而且多層網絡還不能找到有效的計算方法,這些論點促使大批研究人員對于人工神經網絡的前景失去信心。60年代末期,人工神經網絡的研究進入了低潮。
另外,在60年代初期,Widrow提出了自適應線性元件網絡,這是一種連續取值的線性加權求和閾值網絡。后來,在此基礎上發展了非線性多層自適應網絡。當時,這些工作雖未標出神經網絡的名稱,而實際上就是一種人工神經網絡模型。
隨著人們對感知機興趣的衰退,神經網絡的研究沉寂了相當長的時間。80年代初期,模擬與數字混合的超大規模集成電路制作技術提高到新的水平,完全付諸實用化,此外,數字計算機的發展在若干應用領域遇到困難。這一背景預示,向人工神經網絡尋求出路的時機已經成熟。美國的物理學家Hopfield于1982年和1984年在美國科學院院刊上發表了兩篇關于人工神經網絡研究的論文,引起了巨大的反響。人們重新認識到神經網絡的威力以及付諸應用的現實性。隨即,一大批學者和研究人員圍繞著 Hopfield提出的方法展開了進一步的工作,形成了80年代中期以來人工神經網絡的研究熱潮。
1985年,Ackley、Hinton和Sejnowski將模擬退火算法應用到神經網絡訓練中,提出了Boltzmann機,該算法具有逃離極值的優點,但是訓練時間需要很長。
1986年,Rumelhart、Hinton和Williams提出了多層前饋神經網絡的學習算法,即BP算法。它從證明的角度推導算法的正確性,是學習算法有理論依據。從學習算法角度上看,是一個很大的進步。
1988年,Broomhead和Lowe第一次提出了徑向基網絡:RBF網絡。
總體來說,神經網絡經歷了從高潮到低谷,再到高潮的階段,充滿曲折的過程。
中科微震采用人工神經網絡算法,在微震爆破信號識別方面進行了深入的研究,使用的是卷積神經網絡的深度學習算法的一種,是基于基本深度神經網絡的衍生。CNN的卷積層和池化層是其不同于其他網絡的獨特之處,它們使CNN具有了局部連接、權值共享和池化三大特點,使CNN具有強大的泛化能力和魯棒性。模型結構如圖1所示,包括卷積、池化、激活函數、全連接和FP/BP原理等。
中科微震獲得了不少進展,識別率逐步提高,大大減少了人工篩選有用信號的難度,提高了工作效率,也為縮短預警時間提供了可靠的手段。
友情鏈接: 地壓監測綜合平臺
17771793878 萬經理
Copyright ? 2017-2024 湖北海震科創技術有限公司 版權所有 鄂ICP備18018194號
lhf@ssswzjc.com