[發明專利]一種基于L1和L2范數的簡化寬度學習系統

在審

• 申請號: 202010547848.1
• 申請日: 2020-06-16
• 公開（公告）號: CN111680846A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 褚菲;蘇嘉銘;胡天澤;付俊;陳俊龍;王雪松;程玉虎;馬小平
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q10/06;G06Q50/04;G06N20/00
• 代理公司: 北京淮海知識產權代理事務所(普通合伙) 32205
• 代理人: 劉振祥

1.一種基于L1和L2范數的簡化寬度學習系統，其特征在于，包括以下步驟：

步驟1：獲取訓練輸入數據與訓練輸出數據獲取測試輸入數據與測試輸出數據

其中，N₁、N₂分別為訓練測試數據樣本數目，T₁、T₂分別為輸入和輸出數據的維度；

步驟2：構建寬度模型；

步驟2.1：根據標準寬度學習系統，通過公式(1)計算第i個映射特征Z_i：

其中，權重和偏差是隨機生成的，φ_i是默認的線性變換函數；

步驟2.2：根據公式(2)將N₁組特征節點連接為一個整體；

步驟2.3：根據公式(3)由變換得到增強節點；

其中，ξ_j是非線性激活函數，權重和偏差是隨機生成的；

步驟2.4：根據公式(4)連接所有H_j得到增強層總輸出；

H^m@[H₁,H₂,...,H_m] (4)；

步驟3：獲取新的目標函數；

將L1和L2范數替換標準寬度學習系統目標函數中的正則項以此作為新的目標函數，其中

步驟4：對于新的目標函數，采用增廣拉格朗日乘子法迭代求解輸出權重W；

步驟5：根據公式(17)得到簡化的寬度學習系統的輸出Y；

其中，W^m為連接特征節點層與增強節點層到輸出層的權值整體，由W連接所得。

2.根據權利要求1所述的一種基于L1和L2范數的簡化寬度學習系統，其特征在于，在步驟三中，替換目標函數的正則項分為兩種方法進行；當使用L₁范數時，正則項λ||W||₁替換正則項得到新的目標函數如公式(5)所示；

當使用L₁和L₂組合范數時，正則項替換正則項得到新的目標函數如公式(6)所示；

其中λ₁、λ₂分別為L₁和L₂的正則項參數。

3.根據權利要求2所述的一種基于L1和L2范數的簡化寬度學習系統，其特征在于，在步驟4中：當使用L₁范數時，通過增廣拉格朗日乘子法迭代優化來處理，先引入稀疏變量Q代替W得到新的目標函數如公式(7)所示；

再使用增廣拉格朗日乘子法得到目標函數如公式(8)所示；

其中，C是拉格朗日乘子，μ≥0是懲罰參數。

4.根據權利要求2所述的一種基于L1和L2范數的簡化寬度學習系統，其特征在于，在步驟4中：當使用L1和L2組合范數時，通過增廣拉格朗日乘子法迭代優化來處理，先引入稀疏變量Q代替W得到新的目標函數如公式(12)所示；

再使用增廣拉格朗日乘子法得到目標函數如公式(13)所示；

其中，C是拉格朗日乘子，μ≥0是懲罰參數。

5.根據權利要求3所述的一種基于L1和L2范數的簡化寬度學習系統，其特征在于，利用以下方法對原始變量W、Q和C進行優化；

S1：固定其它變量，去除不相關項，對公式(9)進行求解；

其中，解得W如公式(10)所示:

W＝(μI+2A^TA)^-1(2A^TY+μF) (13)；

S2：當W和C固定，去除不相關變項，優化問題轉化為其中Q由公式(11)給出：

S3：更新參數C，在每次迭代中C更新為：C+μ(Q-W)。

6.根據權利要求4所述的一種基于L1和L2范數的簡化寬度學習系統，其特征在于，利用以下方法對原始變量W、Q和C進行優化；

S1：固定其它變量，去除不相關項，對公式(14)進行求解；

其中解得W如公式(15)所示:

W＝(μI+2λ₂I+2A^TA)^-1(2A^TY+μF) (16)；

S2：當W和C固定，去除不相關項，將優化問題轉化為其中Q由公式(16)給出：

S3：更新參數C，在每次迭代中C更新為：C+μ(Q-W)。