[發明專利]一種計算機中采用剪枝方法改進的神經網絡

在審

• 申請號: 201710083101.3
• 申請日: 2017-02-16
• 公開（公告）號: CN106779075A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 黃書劍;竇子軼;戴新宇;陳家駿;張建兵
• 申請（專利權）人: 南京大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 江蘇圣典律師事務所32237
• 代理人: 胡建華,于瀚文

技術領域

本發明涉及一種計算機中對神經網絡的剪枝方法，特別是一種計算機中采用剪枝方法改進的神經網絡。

背景技術

神經網絡是近期的機器學習研究熱點，它是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統的復雜程度，通過調整內部大量結點之間相互連接的關系，從而達到處理信息的目的。其功能之一是可以自動學習原始特征的組合關系。這種組合關系往往會有益于進行分類或預測(如判斷當前圖像是否為貓，當前語音信號是否為給定單詞等)。然而，雖然傳統的神經網絡功能強大，但是大型的神經網絡系統會消耗大量的內存以及計算資源。另外，由于參數過多，我們很容易在參數學習中停滯在局部最優解。鑒于此，有學者希望研究如何利用關聯分析的方法限制神經網絡結構，降低網絡中的參數數量，從而減小陷入局部最優解的可能性，達到提高學習效率和性能的目的。研究的內容分為關聯分析以及應用分析結果限制神經網絡結構。

與之相應的，深度學習的在各種場景中的應用已經越來越廣泛，從圖像識別領域、語音識別領域到機器翻譯領域，深度學習無處不在。然而，為了得到較好的效果，越來越多的人開始使用更復雜的神經網絡，所用的參數數量可以達到幾百萬甚至幾十億，會帶來巨大的計算和內存消耗，所以，需要減小參數數量，從而達到提高運行效率的目的。

最常用的對神經網絡的剪枝方法為權衰減法以及靈敏度計算方法。其中，權衰減法屬于正則化方法，通過在網絡目標函數中引入表示結構復雜性的正則化項來達到減低網絡結構復雜性的目的。由于正則化項的剪枝特性，訓練過程中一些冗余的連接權將衰減到零，從而達到剪枝的目的。靈敏度計算方法是指在網絡進行訓練時，或在網絡訓練結束后，計算結點或連接權對網絡誤差的貢獻，刪除那些貢獻最小的結點或權。另外，還有最簡單的、直接將邊權重小于一定閾值的邊刪去的方法，以及在這個基礎上繼續增加正則化項的方法。

發明內容

為了得到較好的效果，越來越多復雜的神經網絡被用于解決文本、圖像等領域的問題。網絡的參數數量可以達到幾百萬甚至幾十億。這樣雖然可能會得到令人滿意的結果，但是同時會帶來巨大的計算和內存消耗。當將神經網絡遷移到手機等移動設備上時，常常面臨移動設備的有限內存和計算資源方面的限制。為此，減小參數數量有可能達到提高運行效率、使神經網絡能夠運用到移動端設備上的目的。

為了解決上述技術問題，也就是壓縮神經網絡，本發明公開了一種利用改進的實用頻繁項集挖掘的方法解決神經網絡剪枝問題的方法，將神經網絡的剪枝問題轉化為頻繁項集挖掘的問題，包括，從現有的網絡參數中構造項集，定義一個項集的重要性指標，以改進的Apriori近似算法進行重要項集搜索，并從重要項集集合重新構建神經網絡等。

本發明包括如下步驟：

步驟1，用戶輸入已訓練的神經網絡的網絡結構和網絡參數等信息，通過輸入的神經網絡的結構及其參數構造項集集合；

步驟2，利用步驟1得到的項集集合對神經網絡進行剪枝，即刪去結點與結點之間冗余的連接，增強網絡的稀疏性；

步驟3，對于剪枝后的神經網絡進行重新訓練，得到輸出神經網絡的參數，確保能夠讓輸出的神經網絡有更好的效果。

其中，步驟1中所述神經網絡包括至少兩層的兩個以上結點，所述層的第一層是輸入層，最后一層是輸出層，輸出層的結點形成用于提供輸出數據的輸出信道，所述輸出數據是處理輸入數據的結果，在輸入層的結點和輸出層的結點之間提供連接，輸出層的各結點將從輸入層接收的輸入數據變換成輸出數據。

本發明步驟1包括如下步驟：

步驟1-1，輸入已訓練好的神經網絡的網絡結構及其參數，參數包括剪枝的閾值、訓練的樣本集合、神經網絡的層數、層與層之間結點的連接情況、結點與結點的連接權重，以及各層的數據變換函數，層與層之間結點的連接情況用0-1矩陣表示；

步驟1-2，利用神經網絡的網絡結構及其參數構造出項集集合，以便于進行重要項集挖掘。

本發明步驟1-2包括如下步驟：

步驟1-2-1，計算神經網絡中每一層的情況，對于每層的輸出結點，取出與其相連的輸入結點作為一組，其中每個輸入結點從數字1開始賦予數字，作為輸入結點的關鍵字，將關鍵字集合加入項集集合中。

步驟1-2-2，計算項集集合中的每一個項集的每一項，若是其與輸出結點的連接權重小于用戶輸入的閾值，則刪除這一項。

本發明步驟2包括如下步驟：

步驟2-1，對步驟1得到的項集集合利用改進的Apriori算法進行重要項集挖掘；