[發明專利]一種基于L1和L2范數的簡化寬度學習系統

在審

• 申請號: 202010547848.1
• 申請日: 2020-06-16
• 公開（公告）號: CN111680846A
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 褚菲;蘇嘉銘;胡天澤;付俊;陳俊龍;王雪松;程玉虎;馬小平
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q10/06;G06Q50/04;G06N20/00
• 代理公司: 北京淮海知識產權代理事務所(普通合伙) 32205
• 代理人: 劉振祥

一種基于L1和L2范數的簡化寬度學習系統，具體方法如下：步驟1：獲取訓練輸入數據與訓練輸出數據獲取測試輸入數據與測試輸出數據其中，N₁、N₂分別為訓練測試數據樣本數目，T₁、T₂分別為輸入和輸出數據的維度；步驟2：構建寬度模型；步驟3：替換標準寬度學習系統目標函數中的正則項以此作為新的目標函數，其中步驟4：對于新的目標函數，采用增廣拉格朗日乘子法迭代求解輸出權重W；步驟5：根據公式得到簡化的寬度學習系統的輸出Y；其中，W^m為連接特征節點層與增強節點層到輸出層的權值整體，由W連接所得。該系統能有效簡化寬度學習系統的網絡結構，可有效去除與結果相關性低的節點，能適應復雜工業過程中相關指標的預測需求。

技術領域

本發明屬于工業過程建模技術領域，具體涉及一種基于L1和L2范數的簡化寬度學習 系統。

背景技術

人工神經網絡持續性的高速發展使數據分析達到了人們前所未有的高度，通過機器學 習方法，一系列復雜工業過程的控制與優化的問題有了良好的解決方案。其中最熱門的方 法當屬深度學習，然而深度學習的網絡輸入節點多，網絡層次深。甚至為了提高準確度， 更需要更多的網絡層數和大量的超參數，不斷地迭代運算。這對于算法的結構來講，這種 方法會使算法結構非常復雜，分析這種結構的工作將變得繁瑣。對于訓練來講，大量的運 算導致訓練時間增加和對計算機計算能力要求持續的增加。

現有技術中出現了一種新的方法——寬度學習系統(BLS)，一種不需要深度結構的高 效增量學習系統。寬度學習是一種用于替代深度學習的方法，不需要消耗大量的人力物力 來優化大量的參數，其層數是單隱層，網絡具有扁平化優點。寬度學習也不存在過多的層 次數增加網絡的復雜性，這樣，系統所需的訓練時間就非常的短。而且在有網絡擴增需求 時，寬度學習也可以通過增量學習快速重新搭建，這是深度學習所不能達到的。

BLS及其變體在分類、回歸、聚類和預測中表現優異，但是BLS現階段依舊存在一些問 題。比如，在一些模型中存在著對預測結果作用較小的節點，甚至其中一部分對結果而言 毫無作用。這樣的節點存在于網絡中，不但會使模型過于復雜導致訓練過程耗時，并且存 在降低模型泛化性的風險。這一問題阻礙了其在一些領域的發展與應用，因此尋找一種網 絡結構簡化方法以提高訓練效率同時使BLS結構簡化易于分析是很有必要的。

發明內容

針對上述現有技術存在的問題，本發明提供一種基于L1和L2范數的簡化寬度學習系 統，該系統能有效簡化寬度學習系統的網絡結構，可有效去除與結果相關性低的節點，能 適應復雜工業過程中相關指標的預測需求。

為了實現上述目的，本發明提供一種基于L1和L2范數的簡化寬度學習系統，包括以下 步驟：

步驟1：獲取訓練輸入數據與訓練輸出數據獲取測試輸入數據與測試輸出數據

其中，N₁、N₂分別為訓練測試數據樣本數目，T₁、T₂分別為輸入和輸出數據的維度；

步驟2：構建寬度模型；

步驟2.1：根據標準寬度學習系統，通過公式(1)計算第i個映射特征Z_i：

其中，權重和偏差是隨機生成的，φ_i是默認的線性變換函數；

步驟2.2：根據公式(2)將N₁組特征節點連接為一個整體；

步驟2.3：根據公式(3)由變換得到增強節點；

其中，ξ_j是非線性激活函數，權重和偏差是隨機生成的；