時間:2023-08-24 09:27:41
緒論:在尋找寫作靈感嗎?愛發表網為您精選了8篇神經網絡研究現狀,愿這些內容能夠啟迪您的思維,激發您的創作熱情,歡迎您的閱讀與分享!
>> 大規模自組織人工神經網絡技術在智能建筑中的應用方法研究 基于自組織增量神經網絡的碼書產生方法在圖像分類中的應用 基于Matlab的自組織神經網絡在油氣層識別中的應用研究 基于自組織競爭神經網絡的地震預測 自組織競爭網絡在測井資料巖性識別中的應用 自組織特征映射網絡在探地雷達數據處理中的應用 氣體識別自組織神經網絡 一種基于自組織過程神經網絡的動態樣本半監督學習算法 自組織灰色神經網絡中的基于電力系統短期負荷預測方法應用研究 基于自組織映射神經網絡的邊坡樣本分析方法 基于SOM神經網絡技術的區域卷煙消費狀態自組織分類 人工神經網絡模型在水動力模型數據缺失中的應用 基于人工神經網絡的數據挖掘技術在臨床中應用進展 自組織特征映射網絡在壓縮編碼設計中的應用 液壓控制系統中自組織雙模糊神經網絡控制模型關鍵點研究 淺談人工神經網絡在林業中的應用 人工神經網絡在空調系統中的應用 一種改進的動態二叉樹的自組織神經網絡算法 基于SOM神經網絡技術的卷煙零售客戶自組織分類 基于自組織神經網絡SOM的汽車安全氣囊裝配故障診斷 常見問題解答 當前所在位置:百度百科 移動學習2012-12-7
[2] 葉成林 徐福蔭 許駿 移動學習研究綜述 電化教育研究 2004 No.3
[3] 陳偉超 國內移動學習研究現狀及發展建議[J].中國電力教育,2009 No.9
[4] 詞匯語義知識庫淺述 劉興林 福建電腦 2009 No.9
人工神經網絡屬于一種對人腦結構及功能進行反映的數學抽象模型,對人的思維以及存儲知識等功能進行模擬,從而完成某項工作。對于巖土工程來說,主要包括巖體和土體兩項內容,且這兩項內容均具備很高的復雜性。在巖土工程研究過程中,有必要借助人工神經網絡,從而使巖土工程的研究得到有效進步發展。本文在分析人工神經網絡的基礎上,進一步對人工神經網絡在巖土工程中的應用進行分析,以期為巖土工程研究的進展提供一些具有價值的參考建議。
關鍵詞:
人工神經網絡;巖土工程;應用
巖土工程的研究對象分為兩大類:其一為巖體;其二為土體。巖土工程涉及的介質存在兩大特性,即模糊性和隨機性,這兩大特性又統稱為不確定性。近年來,不少學者在巖土工程研究過程中,提出了人工神經網絡這一概念,即利用人工神經網絡,將其應用到巖土工程研究領域當中,從而為深入了解巖土工程的某些介質特征奠定有效基礎[1]。從巖土工程研究的優化及完善角度考慮,本文對“人工神經網絡在巖土工程中的應用”進行分析意義重大。
1人工神經網絡分析
1.1人工神經網絡概念
對于人工神經網絡來說,是一種對人腦結構與功能進行反映的數學抽象模型;主要通過數理策略,經信息處理,進一步對人腦神經網絡構建某種簡化模型,進一步采取大量神經元節點互連,從而形成復雜網絡,最終完成人類思維及儲存知識的能力的模擬。神經網絡無需構建反映系統物理規律的數學模型,與別的方法比較,在噪聲容忍度方面更強[2]。與此同時,還擁有很強的非線性映射功能,對于大量非結構性以及非精準性規律存在自適應能力,具備超強的計算能力,可完成信息的記憶以及相關知識的推理,且其自身還具備自主學習能力;與常規算法相比,優勢、特點突出。
1.2BP網絡簡述
從研究現狀來看,基于實際應用過程中,人工神經網絡模型大多數采取BP網絡。BP網絡即指的是多層前饋網絡,因多層前饋網絡的訓練通常使用誤差反向傳播算法,所以將BP網絡稱之為屬于一類誤差反向傳播的多層前饋網絡。對于其網絡而言,具備輸入節點和輸出節點,同時還具備一層隱層節點與多層隱層節點,基于同層節點當中不存在耦合狀態。其中的輸入信號從輸出層節點依次傳過各個隱層節點,進一步傳輸至輸出節點,每一層節點的輸出只對下一層的節點輸出產生影響。
2人工神經網絡在巖土工程中的應用分析
在上述分析過程中,對人工神經網絡的概念有一定的了解,由于其模型算法的優越性,可將其應用到巖土工程研究領域當中,從而為解決巖土工程問題提供有效憑據。從現狀來看,人工神經網絡在巖土工程中的應用主要體現在以下幾大方面。
2.1在巖石力學工程中的應用
巖石力學工程是巖土工程中尤為重要的一部分,將神經網絡應用到巖石力學工程當中,主要對巖石非線性系統加以識別,同時還能夠為工程巖體分類提供有效幫助,此外在爆破效應預測方面也具備一定的應用價值。對于人工神經網絡來說,存在從有限數據中獲取系統近似關系的優良特性,而巖石當中的各項參數之間又存在很復雜的關系,并且難以獲取完整的參數集。在這樣的情況下,使用人工神經網絡技術,便能夠使巖石非線性系統識別問題得到有效解決[3]。此外,有研究者將巖石抗壓強度、抗拉強度以及彈性能量指數等作為巖爆預測的評判指標,進一步對巖爆預測的神經網絡模型進行構建,然后預測了巖爆的發生與烈度。通過計算得出結論:采取人工神經網絡方法進行巖爆預測行之有效,值得采納借鑒。
2.2在邊坡工程中的應用
對于巖土工程中的邊坡工程來說,邊坡失穩狀況突出,且是由多因素造成的,比如邊坡失穩的地質形成條件、誘發因素的復雜性以及隨機性等。與此同時,由于邊坡動態監測技術從目前來看尚且不夠成熟,因此邊坡失穩在巖土工程研究領域一直視為是一項難以解決的工程項目。而對于神經網絡方法來說,因其具備非常好的預測功能,因此相關巖土工程研究工作者通常會采取人工神經網絡對巖土工程中的邊坡工程問題進行求解。并且,從現有研究成果來看,將人工神經網絡應用于巖土工程的成果突出。有學者對影響巖質邊坡的穩定性的相關因素進行了分析,包括地形因素、巖體因素以及外部環境因素等,并構建了邊坡穩定性分析的BP網絡模型[4]。此外,還有學者將大量水電邊坡工程的穩定狀況作為學習訓練樣本及預測樣本,對以人工神經網絡技術的邊坡巖體的穩定性進行了研究,結果顯示,采取人工神經網絡對邊坡巖體的穩定狀況進行預測可行性高。
2.3在基坑工程中的應用
采取人工神經網絡對基坑變形進行預測主要分為兩種情況:其一,對會影響基坑變形的各大因素及位移的神經網絡模型加以構建;其二,把變形監測數據作為一個時間序列,以歷史數據為依據,將系統演變規律查找出來,進一步完成系統未來發展趨勢的分析及預測。有學者針對基坑變形利用了人工神經網絡方法進行預測,結果表明:對前期實測結果加以應用,使用此方法能夠對后續階段的基坑變形實時預測出來,并且預測結果和實測結果保持一致性。此外,還有學者根據具體工程項目,采取人工神經網絡,對深基坑施工中地下連續墻的位移進行了深入分析及預測,結果顯示:使用人工神經網絡方法進行分析及預測,在精準度上非常高,值得在深基坑工程相關預測項目中使用[5]。
2.4在地鐵隧道工程中的應用
在地鐵隧道施工過程中,存在地表變形和隧道圍巖變形等狀況,為了深入了解這些狀況,可將人工神經網絡應用其中。有學者在對地層的影響因素進行分析過程中,列出了可能的影響因素:盾構施工參數、盾構物理參數以及地質環境條件,進一步利用人工神經網絡,構建了人工神經網絡模型,進一步針對盾構施工期間的地層移動進行實時動態預測,最終得到了不錯的預測成果。此外,還有學者對BP網絡算法進行改進,然后對某地鐵工程中隧道上方的地表變形進行了未來趨勢預測,結果表明:和其他地表變形預測方法相比,人工神經網絡預測方法的應用價值更為顯著。
3結語
通過本文的探究,認識到基于人工神經網絡模型的算法具備很高的優越性,由于巖土工程地質條件復雜,為了深入研究巖土工程,可將人工神經網絡應用其中。結合現狀研究成果可知,人工神經網絡在巖石力學工程、邊坡工程、基坑工程以及地鐵隧道工程中均具備顯著應用價值。例如:將人工神經網絡應用于巖石力學工程當中,能夠預測巖爆的發生與烈度;應用于邊坡工程當中,能夠邊坡工程的穩定性進行精準預測;應用于基坑工程當中,實現對基坑工程變形的實時動態監測;應用于地鐵隧道工程當中,能夠進一步了解地鐵工程中隧道上方的地表變形情況。
總而言之,人工神經網絡在巖土工程中的應用價值高,值得相關工作者采納應用。
作者:張洪飛 單位:山東正元建設工程有限責任公司
參考文獻
[1]鄭惠娜.章超樺.秦小明.肖秀春,等.人工神經網絡在食品生物工程中的應用[J].食品工程,2012(01):16-19.
[2]鄒義懷.江成玉.李春輝,等.人工神經網絡在邊坡穩定性預測中的應用[J].礦冶,2011(04):38-41.
[3]曹建智.張健.人工神經網絡在白洋淀水質評價中的應用[J].電子技術與軟件工程,2016(08):261-262.
【關鍵詞】壓電方程;BP神經網絡;預測
0 研究背景
材料從使用性能上可以分為結構材料和功能材料兩大類[1],其中結構材料以其強度、韌性、硬度、彈性等力學特性為 應用依據,功能材料以其電、磁、光、聲、熱等物理性能為基礎,用以制作有特殊功能的器件。壓電材料是實現機械能與電能相互轉換的功能材料[2],是一類對機、電、聲、光、熱敏感的電子材料,外力和電場之間的耦合為壓電材料提供了一種機制,用于感測力學載荷所誘發電位變化,并通過外部電場改變結構應。壓電材料的結構可靠性已引起越來越多的關注,因為它們大多是被應用在微機電系統中,而微機電系統的大量應用也決定了研究壓電材料的重要意義。
1 壓電材料的本構方程
2 神經網絡
人工神經網絡(簡稱神經網絡)是由人工神經元互連組成 的網絡,是一種非線性動力學系統,它采用類似于“黑箱”的方法,通過學習和記憶而不是假設,找出輸入、輸出變量之間的非線性關系(映射),在執行問題和求解的時候,將所獲取的數據輸入給訓練好的網絡,依據網絡學習的知識進行網絡推理,得出合理的答案與結果。其中BP神經網絡是目前發展比較成熟的一種人工神經網絡,約有80%的神經網絡系統采用BP網絡。它是一種反饋式全連接多層神經網絡,具有結構簡單,工作狀態穩定等優點,并且具有較強的聯想、記憶和推廣能力,可以以任意精度逼近任何非線性連接函數[4]。
3 壓電陶瓷平面方程驗證
本文將針對PZT-4壓電陶瓷的本構方程進行研究。對于此種壓電材料,本構方程里面的常系數c與ζ均為已知常數。此壓電材料屬于線性壓電材料的范疇,為減少數據量的運算,方便神經網絡的預測,本文將著重針對該材料的二維平面方程進行驗證。對于平面問題,不妨設坐標x2方向上的應力大小為0,則根據彈性力學中平面應力基本模型,此時可知坐標系x2方向上的電位移D2=0,且凡是下標帶有x2的應力與應變大小均為0。故可以得出以下關系式(3)。
4 結論
平面壓電本構方程中的線性常數已經給出,通過輸入多組輸入數據根據本構方程得到準確的輸出數據作為神經網絡的樣本訓練數據,借由神經網絡極強的模擬映射關系,訓練好的網絡可以預測出任意數據關系模型,包括此處的線性關系模型。本文通過神經網絡驗證壓電方程中數據之間的線性關系,是一種很好的驗證方法,具有一定的使用意義。
【參考文獻】
[1]蓋學周.壓電材料的研究發展方向和現狀[J].中國陶瓷,2008,5(44):9-13.
[2]裴先茹,高海榮.壓電材料的研究和應用現狀[D].鄭州:鄭州師范學院.
關鍵詞人工神經網絡;發展;應用
中圖分類號:TP183 文獻標識碼:A 文章編號:1671-7597(2014)12-0003-01
隨著科學技術的發展,各個行業和領域都在進行人工智能化的研究工作,已經成為專家學者研究的熱點。人工神經網絡就是在人工智能基礎上發展而來的重要分支,對人工智能的發展具有重要的促進作用。人工神經網絡從形成之初發展至今,經歷了不同的發展階段,并且在經濟、生物、醫學等領域得到了廣泛的應用,解決了許多技術上的難題。
1人工神經網絡概述
關于人工神經網絡,到目前為止還沒有一個得到廣泛認可的統一定義,綜合各專家學者的觀點可以將人工神經網絡簡單的概括為是模仿人腦的結構和功能的計算機信息處理系統[1]。人工神經網絡具有自身的發展特性,其具有很強的并行結構以及并行處理的能力,在實時和動態控制時能夠起到很好的作用;人工神經網絡具有非線性映射的特性,對處理非線性控制的問題時能給予一定的幫助;人工神經網絡可以通過訓練掌握數據歸納和處理的能力,因此在數學模型等難以處理時對問題進行解決;人工神經網絡的適應性和集成性很強,能夠適應不同規模的信息處理和大規模集成數據的處理與控制;人工神經網絡不但在軟件技術上比較成熟,而且近年來在硬件方面也得到了較大發展,提高了人工神經網絡系統的信息處理能力。
2人工神經網絡的發展歷程
2.1 萌芽時期
在20世紀40年代,生物學家McCulloch與數學家Pitts共同發表文章,第一次提出了關于神經元的模型M-P模型,這一理論的提出為神經網絡模型的研究和開發奠定了基礎,在此基礎上人工神經網絡研究逐漸展開。1951年,心理學家Hebb提出了關于連接權數值強化的法則,為神經網絡的學習功能開發進行了鋪墊。之后生物學家Eccles通過實驗證實了突觸的真實分流,為神經網絡研究突觸的模擬功能提供了真實的模型基礎以及生物學的依據[2]。隨后,出現了能夠模擬行為以及條件反射的處理機和自適應線性網絡模型,提高了人工神經網絡的速度和精準度。這一系列研究成果的出現為人工神經網絡的形成和發展提供了可能。
2.2 低谷時期
在人工神經網絡形成的初期,人們只是熱衷于對它的研究,卻對其自身的局限進行了忽視。Minskyh和Papert通過多年對神經網絡的研究,在1969年對之前所取得的研究成果提出了質疑,認為當前研究出的神經網絡只合適處理比較簡單的線性問題,對于非線性問題以及多層網絡問題卻無法解決。由于他們的質疑,使神經網絡的發展進入了低谷時期,但是在這一時期,專家和學者也并沒有停止對神經網絡的研究,針對他們的質疑也得出一些相應的研究成果。
2.3 復興時期
美國的物理學家Hopfield在1982年提出了新的神經網絡模型,并通過實驗證明在滿足一定的條件時,神經網絡是能夠達到穩定的狀態的。通過他的研究和帶動,眾多專家學者又重新開始了對人工神經網絡方面的研究,推動了神經網絡的再一次發展[3]。經過專家學者的不斷努力,提出了各種不同的人工神經網絡的模型,神經網絡理論研究不斷深化,新的理論和方法層出不窮,使神經網絡的研究和應用進入了一個嶄新的時期。
2.4 穩步發展時期
隨著人工神經網絡研究在世界范圍內的再次興起,我國也迎來了相關理論研究的熱潮,在人工神經網絡和計算機技術方面取得了突破性的進展。到20世紀90年代時,國內對于神經網絡領域的研究得到了進一步的完善和發展,而且能夠利用神經網絡對非線性的系統控制問題進行解決,研究成果顯著。隨著各類人工神經網絡的相關刊物的創建和相關學術會議的召開,我國人工神經網絡的研究和應用條件逐步改善,得到了國際的關注。
隨著人工神經網絡的穩步發展,逐漸建立了光學神經網絡系統,利用光學的強大功能,提高了人工神經網絡的學習能力和自適應能力。對非線性動態系統的控制問題,采取有效措施,提高超平面的光滑性,對其精度進行改進。之后有專家提出了關于人工神經網絡的抽取算法,雖然保證了精度,但也加大了消耗,在一定程度上降低了神經網絡的效率,因此在此基礎上又提出了改進算法FERNN。混沌神經網絡的發展也得到了相應的進步,提高了神經網絡的泛化能力。
3人工神經網絡的應用
3.1 在信息領域中的應用
人工神經網絡在信息領域中的應用主要體現在信息處理和模式識別兩個方面。由于科技的發展,當代信息處理工作越來越復雜,利用人工神經網絡系統可以對人的思維進行模仿甚至是替代,面對問題自動診斷和解決,能夠輕松解決許多傳統方法無法解決的問題,在軍事信息處理中的應用極為廣泛[4]。模式識別是對事物表象的各種信息進行整理和分析,對事物進行辨別和解釋的一個過程,這樣對信息進行處理的過程與人類大腦的思維方式很相像。模式識別的方法可以分為兩種,一種是統計模式識別,還有一種是結構模式識別,在語音識別和指紋識別等方面得到了廣泛的應用。
3.2 在醫學領域的應用
人工神經網絡對于非線性問題處理十分有效,而人體的構成和疾病形成的原因十分復雜,具有不可預測性,在生物信號的表現形式和變化規律上也很難掌握,信息檢測和分析等諸多方面都存在著復雜的非線性聯系,所以應用人工神經網絡決解這些非線性問題具有特殊意義[5]。目前,在醫學領域中的應用涉及到理論和臨床的各個方面,最主要的是生物信號的檢測和自動分析以及專家系統等方面的應用。
3.3 在經濟領域中的應用
經濟領域中的商品價格、供需關系、風險系數等方面的信息構成也十分復雜且變幻莫測,人工神經網絡可以對不完整的信息以及模糊不確定的信息進行簡單明了的處理,與傳統的經濟統計方法相比具有其無法比擬的優勢,數據分析的穩定性和可靠性更強。
3.4 在其他領域的應用
人工神經網絡在控制領域、交通領域、心理學領域等方面都有很廣泛的應用,能夠對高難度的非線性問題進行處理,對交通運輸方面進行集成式的管理,以其高適應性和優秀的模擬性能解決了許多傳統方法無法解決的問題,促進了各個領域的快速發展。
4總結
隨著科技的發展,人工智能系統將進入更加高級的發展階段,人工神經網絡也將得到更快的發展和更加廣泛的應用。人工神經網絡也許無法完全對人腦進行取代,但是其特有的非線性信息處理能力解決了許多人工無法解決的問題,在智能系統的各個領域中得到成功應用,今后的發展趨勢將向著更加智能和集成的方向發展。
參考文獻
[1]徐用懋,馮恩波.人工神經網絡的發展及其在控制中的應用[J].化工進展,1993(5):8-12,20.
[2]湯素麗,羅宇鋒.人工神經網絡技術的發展與應用[J].電腦開發與應用,2009(10):59-61.
[3]李會玲,柴秋燕.人工神經網絡與神經網絡控制的發展及展望[J].邢臺職業技術學院學報,2009(5):44-46.
本文建立相應的BP神經網絡模型,根據民生銀行信貸信用評級指標體系,選取BP神經網絡模型的訓練樣本和檢驗樣本。將訓練樣本輸入BP神經網絡進行訓練,BP神經網絡模型完成訓練后,用檢驗樣本對本文建立的BP神經網絡模型進行檢驗。完成訓練的BP神經網絡模型將根據企業的信用評級信息計算出企業信用得分的預測值,從而使商業銀行規避信貸過程中的信用風險,起到風險預警功能。
關鍵詞:
BP神經網絡;信貸信用;風險預警
我國一直沒有建立起符合市場規范的信用體系,信用風險是商業銀行面臨的最傳統最基本的風險形式,也是最難于控制和管理的風險形式。本文建立相應的BP神經網絡模型,根據民生銀行信貸信用評級指標體系,選取20個企業的信用評級信息作為BP神經網絡模型的訓練樣本,選取10個企業的信用評級信息作為BP神經網絡模型的檢驗樣本。將訓練樣本輸入BP神經網絡,讓BP神經網絡根據信貸企業信用得分的輸出值與真實值之間的誤差不斷調節各個神經元之間的權值與閥值,當誤差滿足要求時,BP神經網絡模型完成訓練。BP神經網絡模型完成訓練后,對本文建立的BP神經網絡模型進行檢驗[1]。完成訓練的BP神經網絡模型將根據企業的信用評級信息計算出企業信用得分的預測值,為商業銀行信貸過程中的信用風險進行預測評價,從而使商業銀行規避信貸過程中的信用風險,起到風險預警功能。
一、BP神經網絡理論
BP神經網絡理論是學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時,輸入樣本從輸入層傳人,經各隱層逐層處理后,傳向輸出層。若輸出層的實際輸出與期望的輸出(教師信號)不符,則轉入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳,并將誤差分攤給各層的所有單元,從而獲得各層單元的誤差信號,此誤差信號即作為修正各單元權值的依據。這種信號正向傳播與誤差反向傳播的各層權值調整過程是周而復始地進行的[2]。權值不斷調整的過程,也就是網絡的學習訓練過程。此過程一直進行到網絡輸出的誤差減少到可接受的程度,或進行到預先設定的學習次數為止。
(一)BP網絡模型
采用BP算法的多層感知器是至今為止應用最廣泛的神經網絡,在多層感知器的應用中,單隱層網絡的應用最為普遍。一般習慣將單隱層感知器稱為三層感知器,所謂三層包括了輸入層、隱層和輸出層。三層感知器中,輸入向量為()T12,,...,,...,inX=xxxx;隱層輸出向量為()T12,,...,,...,jmY=yyyy;輸出層輸出向量為()T12,,...,,...,klO=oooo;期望輸出向量為()T12,,...,,...,kld=dddd。輸入層到隱層之間的權值矩陣用V表示,()T12,,...,,...,jmV=VVVV,其中列向量jV為隱層第j個神經元對應的權向量;隱層到輸出層之間的權值矩陣用W表示,()T12,,...,,...,kiW=WWWW,其中列向量kW為輸出層第k個神經元對應的權向量[3]。下面分析各層信號之間的數學關系。對于輸出層,有:(net)kko=fk=1,2,...,l(1)0netmkjkjjwy==∑k=1,2,...,l(2)對于隱層,有:(net)jjy=fj=1,2,...,m(3)0netnjijiivx==∑j=1,2,...,m(4)以上兩式中,轉移函數f(x)均為單極性Sigmoid函數:1()1xfxe−=+(5)f(x)具有連續、可導的特點,且有:f′(x)=f(x)[1−f(x)](6)根據應用需要,也可以采用雙極性Sigmoid函數(或稱雙曲線正切函數):1()1xxefxe−−−=+(7)式(1)~式(7)共同構成了三層感知器的數學模型。
(二)網絡訓練與檢驗
網絡設計完成后,要應用訓練樣本進行訓練。訓練時對所有樣本正向運行一輪并反向修改權值一次稱為一次訓練。在訓練過程中要反復使用樣本集數據,但每一輪最好不要按固定的順序取數據,通常訓練一個網絡需要很多次。網絡的性能好壞主要看其是否具有很好的泛化能力,而對泛化能力的測試不能用訓練集的數據進行,要用訓練集以外的測試數據來進行檢驗[4]。一般的做法是,將收集到的可用樣本隨機地分為兩部分,一部分作為訓練樣本,另一部分作為檢驗樣本。
二、基于BP神經網絡的民生銀行信用風險評價研究
(一)建立保險公司投資風險評價指標體系
貸款信用評級財務指標包括貸款企業經營管理能力、貸款企業債務償還能力和貸款企業持續發展能力。貸款企業經營管理能力包括五個指標,分別是資產報酬率、流動資產周轉率、應收賬款周轉率、主營收入現金含量、成本費用利潤率;貸款企業債務償還能力包括五個指標,分別是流動比率、利息保障倍數、資產負債率、現金流與流動負債比、凈資產與貸款余額比;貸款企業持續發展能力包括三個指標,分別是凈資產增長率、主營利潤增長率、工資福利增長率。貸款信用評級非財務指標包括五個指標,分別財務報表質量評價、企業員工能力、企業經營者履歷、企業經營者信譽、行業現狀及前景。
(二)BP神經網絡模型訓練
選取20個企業的信用評級信息作為BP神經網絡模型的訓練樣本。根據民生銀行信貸信用評級指標體系,訓練樣本的輸入向量X由18個指標組成,分別是資產報酬率1x、流動資產周轉率2x、應收賬款周轉率3x、主營收入現金含量4x、成本費用利潤率5x、流動比率6x、利息保障倍數7x、資產負債率8x、現金流與流動負債比9x、凈資產與貸款余額比10x、凈資產增長率11x、主營利潤增長率12x、工資福利增長率13x、財務報表質量評價14x、企業員工能力15x、企業經營者履歷16x、企業經營者信譽17x、行業現狀及前景18x。訓練樣本的輸入向量T121718X=(x,x,,x,x)。訓練樣本的輸出向量為Y,代表企業的信用得分。輸入BP神經網絡模型的訓練樣本如表1所示。建立的BP神經網絡模型為三層網絡,拓撲結構為18-5-1。將20個訓練樣本輸入BP神經網絡進行訓練,讓BP神經網絡根據信貸企業信用得分的輸出值與真實值之間的誤差不斷調節各個神經元之間的權值與閥值[5]。采用MATLAB7.0神經網絡工具箱進行運算,當誤差平方和小于10-5時,訓練終止。訓練樣本中各個信貸企業的真實信用得分和BP神經網絡模型輸出值。
(三)BP神經網絡模型檢驗
由表1可以看出BP神經網絡模型輸出值與信貸企業真實信用得分的誤差很小,下面對本文設計的BP神經網絡模型進行檢驗。BP神經網絡模型采用10個企業的信用評級信息作為檢驗樣本。對本文建立的BP神經網絡模型進行檢驗,將10個企業的信用評級信息作為檢驗樣本輸入完成訓練的BP神經網絡模型,完成訓練的BP神經網絡模型將根據10個企業的信用評級信息計算出企業信用得分的預測值。檢驗樣本中各個信貸企業的真實信用得分和BP神經網絡模型預測值如表2所示。根據表2的數據,得到信貸企業的真實信用得分和BP神經網絡模型預測值之間誤差曲線。檢驗樣本中信貸企業的真實信用得分和BP神經網絡模型預測值的擬合度較高,部分樣本真實值與預測值基本重合。檢驗樣本中信貸企業的真實信用得分和BP神經網絡模型預測值誤差值整體較小,最大誤差11.7%,最小誤差0.27%。假設以絕對誤差小于5%為容忍度,那么本文建立的BP神經網絡模型的準確率為70%。假設以絕對誤差小于10%為容忍度,那么本文建立的BP神經網絡模型的準確率為90%。
三、結論
1、檢驗樣本中信貸企業的真實信用得分和BP神經網絡模型預測值的擬合度較高,樣本21、26、28的真實值與預測值基本重合,樣本24、25的真實值與預測值偏差較大。
2、檢驗樣本中信貸企業的真實信用得分和BP神經網絡模型預測值誤差值整體較小,最大誤差11.7%,最小誤差0.27%。
3、假設以絕對誤差小于5%為容忍度,那么本文建立的BP神經網絡模型的準確率為70%。假設以絕對誤差小于10%為容忍度,那么本文建立的BP神經網絡模型的準確率為90%。計算結果表明本文建立的BP神經網絡模型準確率較高,可以為商業銀行信貸過程中的信用風險進行預測評價,從而使商業銀行規避信貸過程中的信用風險,起到風險預警功能。
參考文獻:
[1]許美玲,齊曉娜,李倩等.基于BP神經網絡的村鎮銀行信用風險預警模型的構建[J].河南科技,2014(22).
[2]黃夢宇.基于BP神經網絡的手機銀行風險預警模型研究[J].時代金融(下旬),2014(4).
[3]遲國泰,陳國斌,遲楓等.基于神經網絡的中國商業銀行效率綜合評價[J].哈爾濱工業大學學報,2006,38(4).
[4]于彤,李海東.基于BP神經網絡的客戶信用風險評價[J].現代電子技術,2014(10).
關鍵詞:深度學習;機器學習;卷積神經網絡
1概述
深度學習(Deep Learning)是人工智能、圖像建模、模式識別、神經網絡、最優化理論和信號處理等領域的交叉學科,主要構建和模擬人腦進行分析學習,它屬于機器學習的新興領域。
2大數據與深度學習
目前,光學檢測、互聯網、用戶數據、互聯網、金融公司等許多領域都出現了海量數據,采用BP算法對于訓練神經網絡出現了梯度越來越稀疏、收斂到局部最小值只能用有標簽的數據來訓練等缺點。Hinton于2006年提出了深度學習的概念,Lecun等人提出了卷積神經網絡,卷積神經網絡利用空間關系減少參數數目以提高訓練性能。
CPU和GPU計算能力大幅提升,為深度學習提供了硬件平臺和技術手段,在海量大數據處理技術上解決了早期神經網絡訓練不足出現的過擬合、泛化能力差等問題。
大數據和深度學習必將互相支撐,推動科技發展。
3深度學習模型
深度學習模型實際上是一個包含多個隱藏層的神經網絡,目前主要有卷積神經網絡,深深度置信神經網絡,循環神經網絡。
1)卷積神經網絡
在機器學習領域,卷積神經網絡屬于前饋神經網絡的一種,神經元不再是全連接的模式,而是應用了局部感受區域的策略。然而傳統的神經網絡使用神經元間全連接的網絡結構來處理圖像任務,因此,出現了很多缺陷,導致模型⑹急劇增加,及其容易過擬合。
在卷積神經網絡中,網絡中的神經元只與前一層的部分神經元連接,利用圖像數據的空間結構,鄰近像素間具有更強的相關性,單個神經元僅對局部信息進行響應,相鄰神經元感受區域存在重疊,因此,綜合所有神經元可以得到全局信息的感知。
另外,一個卷積層中的所有神經元均由同一個卷積核對不同區域數據響應而得到,即共享同一個卷積核,使得卷積層訓練參數的數量急劇減少,提高了網絡的泛化能力。
一般在卷積層后面會進行降采樣操作,對卷積層提取的特征進行聚合統計。降采樣區域一般不存在重疊現象。降采樣簡化了卷積層的輸出信息,進一步減少了訓練參數的數量,增強了網絡的泛化能力。
卷積神經網絡實現了局部特征的自動提取,使得特征提取與模式分類同步進行,適用于處理高分辨率的圖像數據。目前,卷積神經網絡在圖像分類、自然語言處理等領域得到廣泛應用。
2)深度置信網絡
深度置信網絡是一種生成模型,網絡中有若干隱藏層,同一隱藏層內的神經元沒有連接,隱藏層間的神經元全連接。神經網絡經過“反向運行”得到輸入數據。
深度置信網絡可以用做生成模型,通過前期的逐層無監督學習,神經網絡可以較好的對輸入數據進行描述,然后把訓練好的神經網絡看作深度神經網絡,最后得到分類任務的深度神經網絡。
深度置信網絡可以用于圖像識別、圖像生成等領域,深度置信網絡可以進行無監督或半監督的學習,利用無標記數據進行預訓練,提高神經網絡性能。但近幾年由于卷積神經網絡的飛速發展,深度置信網絡已經很少被提及。
3)循環神經網絡
循環神經網絡是一種專門用于處理時序數據的神經網絡,它與典型的前饋型神經網絡最大區別在于網絡中存在環形結構,隱藏層內部的神經元是互相連接的,可以存儲網絡的內部狀態,其中包含序列輸入的歷史信息,實現了對時序動態行為的描述。這里的時序并非僅僅指代時間概念上的順序,也可以理解為序列化數據間的相對位置。如語音中的發音順序,某個英語單詞的拼寫順序等。序列化輸入的任務都可以用循環神經網絡來處理。如語音、視頻、文本等。對于序列化數據,每次處理時輸入為序列中的一個元素,比如單個字符、單詞、音節,期望輸出為該輸入在序列數據中的后續元素。循環神經網絡可以處理任意長度的序列化數據。
循環神經網絡可以用于機器翻譯、連寫字識別、語音識別等。循環神經網絡和卷積網絡結合,將卷積神經網絡用于檢測并識別圖像中的物體,循環神經網絡用于識別出物體的名稱為輸入,生成合理的語句,從而實現對圖像內容的描述。
4深度學習應用
1)語音識別
語音識別技術主要包括特征提取技術、模式匹配準則及模型訓練技術三個方面。其應用領域主要有語音輸入系統、語音控制系統和智能對話查詢系統,語音識別極大地推動了人工智能的快速發展。1952年Davis等人研究了世界上第一個能識別10個英文數字發音的實驗系統。大規模的語音識別研究是在20世紀70年代以后,在小詞匯量、孤立詞的識別方面取得了實質性的進展。2012年,微軟研究院使用深度神經網絡應用在語音識別上將識別錯誤率降低了20%,取得了突破性的進展。2015年11月17日,浪潮集團聯合全球可編程芯片巨頭Altera,以及中國最大的智能語音技術提供商科大訊飛,共同了一套DNN語音識別方案。
2)圖像分析
圖像是深度學習最早嘗試的應用領域。1989年,LeCun和他的同事們就發表了卷積神經網絡的工作。2012年10月,Hinton和他的兩個學生用更深的CNN在ImageNet挑戰上獲得了第一名,使圖像識別向前躍進了一大步。
自2012年以來,深度學習應用于圖像識別使得準確率大大上升,避免了消耗人工特征抽取的時間,極大地提升了效率,目前逐漸成為主流的圖像識別與檢測方法。
關鍵詞:人工神經網絡模型;衛生人力;人力資源測算
衛生人力是指經過專業培訓、在衛生系統工作、提供衛生服務的人員,包括直接從事醫療、衛生、保健服務的衛生技術人員以及管理、工勤等其他人員。由于衛生系統本身具有復雜性和時變性的雙重特性,因此衛生人力受許多因素影響,如人口、經濟、社會與文化、資源利用效率、健康狀況等等,而且多個因素間相互作用、相互影響。
我國的衛生事業雖然取得了很大的發展,但卻存在明顯的衛生人力資源失衡現象,突出表現在:衛生人員總量過剩、人員地區分布不均衡尤其是城鄉差距較大、衛生人員總體素質不高。因而迫切需要加強衛生人力預測研究,使其更合理地從數量上、質量上和分布上調整現有存量、優化增量,以推動整個衛生事業的發展進程[1,2]。
人工神經網絡作為一種綜合信息處理和模擬技術,其特有的非線性適應性信息處理能力,克服了傳統方法的局限性,而且還具有學習預測精度高、容錯能力強和預測速度快的特點[3]。本研究基于人工神經網絡方法,構建出一套合理、有效的測算衛生人力需求量的指標體系。
1人工神經網絡簡介
人工神經網絡基本組成單位是神經元(節點),神經元之間按一定的方式相互連接,構成神經網絡系統,可以通過預先提供的一批相互對應的輸入--輸出數據,分析掌握兩者之間潛在的規律,最終根據這些規律,用新的輸入數據來推算輸出結果[4,5]。
迄今為止,已有多種人工神經網絡模型被開發和應用。本文應用較為成熟的誤差反向傳播學習算法人工神經網絡(BP-ANN)。BP神經網絡從模擬生物的神經網絡出發[6],其最基本的結構是3層前饋網絡,即輸入層、隱含層、輸出層(見圖1),層與層之間多采用全互連方式,同一層單元間不存在相互連接。
圖1 人工神經網絡結構
BP網絡模型的應用過程包括訓練和預測兩個過程。訓練時,輸入信息從輸入層經隱含層逐層處理,并傳向輸出層。如果輸出層得不到期望的輸出,則將誤差信號沿原來的連接通道返回,通過修改各層神經元的連接權值,使得誤差最小。網絡重復以上過程進行迭代計算,直至收斂,由此構成了非線性映射模型,掌握了隱含在樣本內部各元素間的特殊關系[7]。經訓練后的人工神經網絡不僅對擬合過的樣本有效,而且對未經擬合的樣本也可以較準確地預測。人工神經網絡以其獨特的信息儲存方式、良好的容錯性、大規模的非線性并行處理方式[8]以及強大的自組織自擬合和自適應能力,已應用于信號處理、模式識別、綜合評價、預測分析等領域。
2指標篩選
本文的研究對象是衛生人力的數量。人工神經網絡要求選擇那些影響輸出的主要因素作為輸入層,選定的輸入變量數必須足夠且具有代表性[9,10],基于這一點,經過文獻評閱分析及專家小組討論,本研究對于輸入變量,即測算指標的選擇主要從以下幾方面進行:
2.1人口數量變化 人口數量的變化是影響衛生人力需求量的最重要的因素。人口的增減會引起衛生服務需求量的增減,從而引起衛生人力需求量的波動。對應的變量選擇了總人口數、就診人次數、住院人次數。
2.2經濟發展水平 隨著社會經濟迅猛發展,居民的生活水平不斷提高,人們對生活質量要求也逐步提高,而健康是衡量生活質量的重要指標之一,所以隨著居民對健康意識的增強,衛生服務需求量將會加大,衛生人力的需求量也隨之增加[11,12]。對應的變量選擇了衛生總費用、人均衛生費用、人均國民生產總值。
2.3醫院發展規模 醫院規模直接影響整個衛生人力需求量和衛生人力內部構成。醫院規模的大小通常是以病床數來衡量的,而病床數又是人員編配的重要標準[13]。對應的變量選擇了醫院機構數、總床位數。
2.4衛生人力供給 每年都有大量的醫學生走向工作崗位,為醫療系統注入新的血液。對應的變量選擇了高等醫學院校畢業生數、中等醫學院校畢業生數[14]。
3結果與討論
得到衛生人力的測算指標包括總人口數(萬人)、就診人次數(億次)、住院人次數(萬人)、衛生總費用(億元)、人均衛生費用(元)、人均國民生產總值(元)、醫院機構數、總床位數(萬張)、高等醫學院校畢業生數、中等醫學院校畢業生數10項指標。鑒于年鑒收錄自國家及各省市地方統計局的歷年統計資料,具有資料翔實,信息密集的特點,所有數據均從統計年鑒中獲取,按照年份順序進行整理,過濾缺失的數據,建立起從1990~2008年的有關衛生人力資源的數據庫。
參考文獻:
[1]薛婭,高歌,沈月平.常州市衛生人力需要量統計預測研究[J].中國衛生統計,2007,24(3):287.
[2]Francis Omaswa. Human resources for global health: time for action is now[J].The Lancet.2008,371:625.
[3]蔣宗禮.人工神經網絡導論[M].北京:高等教育出版社,2002.
[4]任宏,姜慶五.人工神經網絡及其在預防醫學領域的應用[J].上海預防醫學,2003,15(1):22.
[5]黎衍云,李銳,張勝年.人工神經網絡及其在疾病篩查中的應用前景[J].環境與職業醫學,2006,23(1):71.
[6]錢玲,施侶元,程茂金.應用人工神經網絡預測糖尿病/糖耐量異常[J].中國公共衛生,2003,19(10):1272.
[7]Qian AI,Shrestha GB.An ANN based load model for fast transient stability calculations[J].Elec Power Syst Res,2006,76:217.
[8]RiccardoB,DarioG,LauroC,works and robust Bayesian classfiers for risk stratification following uncomplicated myocardial infarction[J].Int J Cardiol,2005,101:481.
[9]薛婭,高歌. 衛生人力需求量預測研究綜述[J].上海預防醫學雜志,2005,17(12):589.
[10]鐘珞,饒文碧,鄒承明.人工神經網絡及其融合應用技術[M].北京:科學出版社,2007:12.
[11]陳力凌.江蘇省衛生人力資源現狀及需要量預測研究[D].碩士學位論文,2006:23.
[12]左延莉.廣西衛生人力資源配置現狀與預測研究[D].碩士學位論文,2002:12.
關鍵詞:
中圖分類號: TP391.4文獻標識碼:A文章編號:2095-2163(2011)03-0043-04
Analysis of Training Results based on the Selection of
Parameters Influencing BP Neural Network
HAN Xue
Abstract: Pattern recognition includes two aspects : sample training and sample recognition. And sample training is the premise of sample recognition.Of course, there are lots of training samples and the samples are representative, whichis good, but not the more the better. In the process of training the neural network, it is very important how to determine various parameters that is beneficial to the training efficiency such as the weights and threshold values. This paper is aimed at the use of a simple sample for neural network training, changes parameter values for observing the training effect, thus obtains the different output results and the diagrams. Further study and comparison are carried outto find out the optimal parameter settings. And the experiment method and the conclusion are helpful for application in other identification system development.
Key words:
0引言
在對BP神經網絡進行訓練的過程中,很多時候,一些基本參數和訓練函數參數是隨機生成的,但是訓練效率并不高。對于BP神經網絡所應用的不同領域,這些參數的設置也有所區別。怎樣才能使得訓練網絡的效率更高,就需要了解參數的變化對于訓練結果的影響。本文要解決的問題就是變化其中的各項參數值,對得到的不同訓練結果進行對比分析,并找出相關規律。
1研究現狀
“神經網絡”的研究內容主要包括人工神經網絡、生物神經網絡、認知科學和混沌。
在研究方法上,對于神經網絡的研究已經收獲了很多不同的研究方法,比較重要且已有一定成果的研究有多層網絡 BP算法、Hopfield網絡模型、自適應共振理論和自組織特征映射理論等。
在研究領域上也可以分為理論研究和應用研究兩大方面。理論研究包括兩個方面:其一是理論上的深入研究,通過對已有算法的性能分析來探索功能更完善、效率更高的神經網絡模型,包括對穩定性、收斂性、容錯性、魯棒性等各個性能的最優化研究;其二是朝著智能的方向發展,利用神經生理與認知科學對人類思維和智能機理進行研究。應用研究也包含了兩個方面,分別是神經網絡的軟硬件研究和神經網絡在各個領域中應用的研究,其中包括:模式識別、信號處理、知識工程、專家系統、優化組合、機器人控制等[1]。
BP神經網絡是當前最流行、應用最廣泛的神經網絡模型之一。但是仍存在一些缺陷,如訓練速度較慢,所以很多學者正在尋找快速有效的BP學習算法,而且也取得了一些成效,最重要的幾種快速變體有QuickProp[Fah88]、 SuperSAB [Tol90]和共軛梯度法[Bat92][1]。
除了收斂速度較慢之外,BP神經網絡還存在一些缺點:容易在優化的過程中產生局部最優解而不是全局最優解;在對新樣本訓練的同時容易遺忘舊的樣本。基于對以上缺陷的改進,目前已有了一些行之有效的解決方法。
為了提高網絡訓練速度,在調整權值時增加了動量項,從而對某時刻前后的梯度方向都進行了必要的考慮;為了加快算法收斂速度,采用了自適應學習率調節的方法,如VLBP神經網絡,后面的實驗中還會進一步比較介紹。
目前,BP神經網絡作為很重要的神經網絡模型之一,在很多應用領域中發揮著重要的作用,包括圖像壓縮編碼、人臉識別、分類、故障診斷、最優預測等。
2算法原理
BP神經網絡的基本思想是通過不斷地訓練權值,并設有一個標準的輸出,每次訓練以后得到的實際輸出與標準的輸出比較,設置一個最小誤差,達到這個誤差就表示網絡訓練好了,否則繼續訓練;經過一定的訓練次數后,若還沒有達到這個誤差標準,就表示網絡的設置有問題。本實驗通過對參數的改變,尋找出最優參數設置的規律。
3算法實現
使用matlab開發平臺,程序編寫分為定義輸入向量和目標向量、創建 BP網絡設置訓練函數、初始化權值閾值、設置訓練函數參數、訓練神經網絡五個部分。進行對比實驗時,只需將相關參數進行修改即可。對基本的BP神經網絡進行訓練時,設置基本參數:權值、閾值;訓練函數參數:學習率、最后達到的均方誤差、最大步長。分別對學習率、均方誤差、初始權值、初始閾值進行修改,對比實驗結果;基本的BP神經網絡中無法對學習率實現事先最優,所以用VLBP神經網絡進行改進。
程序如下:
netbp.trainParam.goal=0.0001//設置最后達到的均方誤差為 0.0001
netbp.trainParam.epochs=5000 //設置最大訓練步長
[netbp,tr]=train(netbp,p,t)
4實驗結果
初始訓練樣本的輸入設為[1;3],期望輸出設為[0.95;0.05],第一層的權值設為[1 2;-2 0],第二層的權值設為[1 1;0 -2],第一層的閾值設為[-3;1],第二層的閾值設為[2;3],學習率設為1,均方差設為0.0001。其實驗仿真圖如圖1所示。
4.1改變學習率
只改變學習率的訓練函數參數時,運行程序后的對比結果如表1所示。
從表1中的實驗結果可見:在其他條件不變、學習率增大的情況下,所需的訓練步長變短,即誤差收斂速度快。但是學習率不可以無限制地增大,增大到一定程度后,誤差收斂速度將減慢,甚至有可能達不到誤差范圍內,進入局部穩定狀態。
表1中的各組實驗仿真圖如圖2-圖7所示。
4.2改變均方差
將均方差由原來的0.0001變為0.001后與原初始樣本參數對比結果如表2所示。
均方差變為0.001后的仿真圖如圖8所示。
可見,在其他條件一樣的前提下,將最后要達到的均方誤差值設置較大時,網絡訓練步長變短,誤差收斂速度慢些,最后的輸出結果較為精確些。
4.3改變初始權值
將初始權值改變后的對比結果如表3所示。
改變初始權值后的仿真圖如圖9所示。
可見,后者的初始權值比較合適些,因此訓練的時間變短,誤差收斂速度明顯快些。
4.4改變初始閾值
將初始閾值改變后的對比結果如表4所示。
改變初始閾值后的仿真圖如圖10所示。
可見,后者的初始閾值比較合適些,因此訓練的時間變短,誤差收斂速度明顯快些。
4.5學習率可變的VLBP神經網絡
用最基本的 BP 算法來訓練 BP神經網絡時,學習率、均方誤差、權值、閾值的設置都對網絡的訓練均有影響。選取合理的參數值會有利于網絡的訓練。在最基本的 BP算法中,學習率在整個訓練過程是保持不變的。學習率過大,算法可能振蕩而不穩定;學習率過小,則收斂速度慢,訓練時間長。而在對網絡進行訓練之前是無法選擇最佳學習率的。
雖說學習率在訓練前無法選最優,但是在訓練的過程中能否可變呢?因此BP神經網絡的一種改進算法VLBP可派上用場。也就是說,另外設置學習增量因子和學習減量因子,當誤差以減少的方式趨于目標時,說明修正方向正確,可以使步長增加,因此學習率乘以增量因子k,使學習率增加;而修正過頭時,應減少步長,可以乘以減量因子k,使學習率減小。
程序設計中加入下列語句:
netbp=newff([-1 1;-1 1],[2 2],‘logsig’ ‘logsig’,‘traingdx’)
netbp.trainParam.lr_inc=1.1//增量因子設為1.1
netbp.trainParam.lr_dec=0.65 //減量因子設為0.65
經過訓練后最后的輸出結果為[0.963 8;0.050 0],訓練步長為50,訓練后第一層的權值為[1.004 5 2.013 5;-1.408 4 1.774 8],訓練后第二層的權值為[0.766 9 0.768 3;-1.544 7 -2.865 0]。
VLBP神經網絡訓練仿真圖如圖11所示。
觀察網絡的收斂速度,采用學習率可變的VLBP算法要比學習率不變BP算法收斂速度提高很多。以上兩種算法都是沿著梯度最陡的下降方向修正權值,誤差減小的速度最快。
5結束語
通過上述驗證性實驗,可以看出參數的選取對網絡的訓練結果有著很大的影響,當然BP算法還很多,但沒有一個算法適合所有 BP 網絡。在實際運用時,需根據網絡自身的特點、誤差要求、收斂速度要求、存儲空間等來做具體選擇。
參考文獻:
[ 1 ] http://blog.csdn.net/zrjdds/archive/2008/01/02/2010730.aspx.
[ 2 ] 陳兆乾,周志華,陳世福. 神經計算研究現狀及發展趨勢. 南京
大學計算機軟件新技術國家重點實驗室,2008:3-7.
[ 3 ] 趙艷. 神經計算與量子神經計算的研究綜述[J]. 計算機與信息