[發明專利]一種寬度學習系統網絡模型壓縮方法

在審

• 申請號: 202010430858.7
• 申請日: 2020-05-20
• 公開（公告）號: CN111598236A
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 褚菲;王光輝;梁濤;陳俊龍;王雪松;程玉虎;馬小平
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京淮海知識產權代理事務所(普通合伙) 32205
• 代理人: 孟潔

本發明公開一種寬度學習系統網絡模型壓縮方法，包括以下步驟：獲得輸入數據和輸出數據；生成增廣輸入矩陣；構建出含有L1正則化項和L1?fusion項的目標函數。利用L1正則化項的約束實現輸出權值稀疏，使得貢獻度小的節點對應的輸出權值為零，選擇出貢獻度大的節點；利用L1?fusion項約束相鄰輸出權值之間的差異，使得具有相關性的節點對應的輸出權值變化平滑，從而被一起選擇；求出經上述約束的輸出權值，得到一個CBLS網絡模型；根據測試集均方根誤差的大小和網絡結構壓縮率來評估模型的預測精度和壓縮效果，選擇最優的網絡模型，作為壓縮后的網絡模型。本發明能夠在保持精度損失不大的同時，呈現出非常好的壓縮效果。

技術領域

本發明涉及一種神經網絡壓縮方法，尤其涉及一種寬度學習系統網絡模型壓縮方法，屬于網絡模型壓縮技術領域。

背景技術

寬度學習系統是一種不需要深度結構的高效增量學習系統，在人臉識別，時序預測和工業過程建模等實際應用中都有不錯的成績。作為一種學習深層結構的替代方法，寬度神經網絡結構沒有層與層之間的耦合關系，而是通過原始輸入在“特征節點”中轉換為隨機特征，并且在“增強節點”中廣義地擴展結構來拓寬網絡。寬度學習系統可描述為：輸入數據首先通過一些特征映射轉化為隨機特征，形成“特征節點”，之后這些“特征節點”通過非線性激活函數進一步連接，形成“增強節點”。然后，將“特征節點”和“增強節點”的輸出連接到輸出層，在輸出層中，通過系統方程的快速偽逆來確定輸出層的權重。相對深度神經網絡，給我們的計算帶來了極大的方便。

標準寬度學習系統(broad learning system,BLS)的高效性和泛化性使得其在許多識別和回歸問題上取得了不錯的成績，但是仍然存在一些問題限制了它的進一步發展。比如，標準的寬度學習系統網絡模型所需要的節點數量是通過多次實驗才確定的，這個過程不僅需要消耗很長的時間，而且并非所有節點對整體的網絡結構都有著不可或缺的作用，對我們有用的一部分節點對網絡預測輸出的貢獻度很大，而另外一部分節點幾乎沒有什么貢獻，甚至對網絡的預測起著負面的影響，這些節點的存在使得標準的寬度網絡模型有著嚴重的冗余，不僅導致建立的模型過于復雜而且可能因為過擬合而降低模型的泛化性。

發明內容

針對上述現有技術存在的問題，本發明提供了一種寬度學習系統網絡模型壓縮方法，能夠精簡網絡，避免網絡的節點冗余問題，且在壓縮網絡模型的同時，減少精度損失。

為達到上述目的，本發明提出一種寬度學習系統網絡模型壓縮方法，包括以下步驟：

步驟1：將從開源數X＝[X₁,X₂...X_S]^T∈R^s×f據集中獲得的數據按照設定的比例分為訓練集和測試集，訓練集輸入數據為，訓練集輸出數據為Y＝[Y₁,Y₂...Y_S]^T∈R^s×c，測試集輸入數據為Xt＝[X1,X2...Xq]^T∈R^q×f，測試集輸出數據為Y_t＝[Y₁,Y₂...Y_q]^T∈R^q×c；

其中s表示訓練集數據樣本的個數，q表示測試集數據樣本的數目，f表示輸入數據的維度，c表示輸出矢量對應的維度，T表示矩陣的轉置，R表示實數域；

步驟2：訓練開始，首先求解增廣輸入矩陣，具體步驟如下：

步驟2.1：利用公式(1)來構造特征節點矩陣Zⁿ＝[Z₁,Z₂...Z_n]