[發明專利]一種寬度學習系統網絡模型壓縮方法

在審

• 申請號: 202010430858.7
• 申請日: 2020-05-20
• 公開（公告）號: CN111598236A
• 公開（公告）日: 2020-08-28
• 發明（設計）人: 褚菲;王光輝;梁濤;陳俊龍;王雪松;程玉虎;馬小平
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京淮海知識產權代理事務所(普通合伙) 32205
• 代理人: 孟潔

1.一種寬度學習系統網絡模型壓縮方法，其特征在于，包括以下步驟：

步驟1：將從開源數據集中獲得的數據按照設定的比例分為訓練集和測試集，訓練集輸入數據為X＝[X₁,X₂...X_S]^T∈R^s×f，訓練集輸出數據為Y＝[Y₁,Y₂...Y_S]^T∈R^s×c，測試集輸入數據為X_t＝[X₁,X₂...X_q]^T∈R^q×f，測試集輸出數據為Y_t＝[Y₁,Y₂...Y_q]^T∈R^q×c；

其中，s表示訓練集數據樣本的個數，q表示測試集數據樣本的數目，f表示輸入數據的維度，c表示輸出矢量對應的維度，T表示矩陣的轉置，R表示實數域；

步驟2：訓練開始，首先求解增廣輸入矩陣，具體步驟如下：

步驟2.1：利用公式(1)來構造特征節點矩陣Zⁿ＝[Z₁,Z₂...Z_n]

其中，W_ei和β_ei是隨機產生的權值和偏置，表示做非線性映射，將結果映射到高維特征空間，n為特征節點的組數，X為步驟1中獲得的訓練集的輸入數據；

步驟2.2：利用公式(2)來構造增強節點矩陣H^m＝[H₁,H₂...H_m]

H_i＝ξ(ZⁿW_hj+β_hj),j＝1,...,m (2)

其中，W_hi和β_hi是隨機產生的權值和偏置，ξ(*)是增強節點的激活函數，采用sigmod函數來表示，x＝ZⁿW_hj+β_hj，m為增強節點的組數；

步驟2.3：將特征節點矩陣和增強節點矩陣合并成一個整體，得到增廣輸入矩陣A＝[Zⁿ|H^m]；

步驟3：構建目標函數，求解輸出權值，至此訓練過程結束，得到精簡的寬度學習系統網絡模型，具體步驟如下：

步驟3.1：構建目標函數：

其中，||Y-AW||₁為最小絕對值誤差的損失函數項，λ₁||W||₁為L1正則化項，λ₁為L1正則化項懲罰參數，Y為步驟1中獲得的訓練集的輸出數據，A為步驟2中得到的增廣輸入矩陣，W為要求解的輸出權值，為L1-fusion項，λ₂為L1-fusion項參數，P是輸出權值的維度，i＝2,3…P。

步驟3.2：在訓練過程中，根據公式(3)中L1正則化項和L1-fusion項的約束，使得寬度網絡自動選擇出在建立模型的過程中所需的節點，并求解經過約束的輸出權值W，具體方法如下：

步驟3.2.1：將公式(3)用公式(4)表示：

其中，為n+m維矩陣；

步驟3.2.2：利用增廣拉格朗日乘子法將公式(4)轉換成公式(5)：

其中，E₁,E₂,E₃是拉格朗日乘子，表示正標量；

通過以下方式求解公式(5)，獲得輸出權值W：

其中，K為公式迭代的次數；

W_k+1由公式(7)得到：

其中，得到

W_K+1＝(A^TA+D^TD+I)^-1(A^TF+G-D^TP) (8)

B_k+1由公式(9)得到：

其中，得到

C_k+1由公式(11)得到：

其中，得到

Q_kt1由公式(13)得到：

其中，得到

由公式(15)迭代計算得到：

當公式(6)的迭代次數達到所給出最大迭代次數時，迭代過程結束同時使得W＝W_k+1得到最終的輸出權值，同時得到了精簡的寬度學習系統網絡模型，否則重復公式(6)的迭代計算；

步驟4：根據測試集均方根誤差的大小和網絡結構壓縮率來評估模型的預測精度和壓縮效果，選擇出最優的精簡的寬度學習系統網絡模型，作為壓縮后的寬度學習系統網絡模型。

2.根據權利要求1所述的一種寬度學習系統網絡模型壓縮方法，其特征在于，步驟4中的測試集均方根誤差和網絡結構壓壓縮率由以下公式得出：

測試集均方根誤差

其中,Y_t為實際獲得的測試集的輸出數據，X_t為實際獲得的測試集的輸入數據，W是訓練時求解的輸出權值，X_tW為網絡模型的預測值，n是樣本個數；節點數量_BLS為標準BLS經過搜索得到的最佳節點數量，節點數量_CBLS為壓縮過后的節點數量。