[發明專利]一種單層Bp神經網絡的等效方程組模型構造方法

在審

• 申請號: 202210089537.4
• 申請日: 2022-01-25
• 公開（公告）號: CN114298248A
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 黃雄奕;蘇仁杰;于揚新
• 申請（專利權）人: 重慶醫科大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06F17/12;G06V10/764;G06V10/774;G06V10/82
• 代理公司: 北京權智天下知識產權代理事務所(普通合伙) 11638
• 代理人: 盧超

本發明公開了一種單層Bp神經網絡的等效方程組模型構造方法，包括以下步驟：對數據集進行預處理；載入訓練集；讀取神經網絡結構；構造無約束條件下的等效方程組模型，并進行求解，然后驗證無約束條件下的等效方程組模型與單層Bp神經網絡的等效性；構造線性約束條件下的等效方程組模型，并進行求解；利用測試集測試帶有線性約束條件方程組的解。本發明在無約束條件下，該模型能達到與單層BP神經網絡識幾乎相同的識別率；在復雜線性約束條件下，該模型能夠清晰表達約束條件，解決單層BP神經網絡難以編寫程序求解的優化問題。

技術領域

本發明屬于人工神經網絡領域，具體地說，涉及一種單層Bp神經網絡的等效方程組模型構造方法。

背景技術

現有的Bp神經網絡利用BP算法優化系數矩陣達到學習訓練集樣本的目的。而希望神經網絡在某種約束性條件下進行優化系數矩陣，就必須在構建的損失函數后加入約束條件。現有的模型有兩種做法，一是添加正則化項，另一種是利用拉格朗日乘子法重新設計損失函數。正則化有L0范數、L1范數、L2范數幾種，加入正則化項作為約束條件后能解決神經網絡過擬合問題。但由于程序要求使用矩陣形式表達系數矩陣更新公式，如果是遇到較為復雜的線性約束性條件的優化問題，則難用簡單清晰的程序去表達Bp算法過程中求梯度的過程。而利用拉格朗日乘子法重新設計損失函數，同樣會遇見數學上證明可行，但程序上優化系數矩陣困難的問題。通過Bp算法構造損失函數求解帶有線性約束性條件的優化問題始終繞不開程序編寫困難的問題。

因此，有必要提供一種新的單層Bp神經網絡的等效方程組模型構造方法。

發明內容

有鑒于此，本發明針對帶有約束條件的單層Bp神經網絡Bp算法程序中求解下降梯度程序難以編寫的問題，提供了一種單層Bp神經網絡的等效方程組模型構造方法，本方明利用等效方程組模型，使用者能方便地將約束條件加入到方程組中，并且利用該方法能夠用程序極其方便地實現對該方程組的求解。

為了解決上述技術問題，本發明公開了一種單層Bp神經網絡的等效方程組模型構造方法，包括以下步驟：

步驟1、對數據集進行預處理；

步驟2、載入訓練集；

步驟3、讀取神經網絡結構；

步驟4、構造無約束條件下的等效方程組模型，并進行求解，然后驗證無約束條件下的等效方程組模型與單層Bp神經網絡的等效性；

步驟5、構造線性約束條件下的等效方程組模型，并進行求解；

步驟6、利用測試集測試帶有線性約束條件方程組的解。

可選地，所述步驟1中的對數據集進行預處理具體為：將數據集的訓練集和測試集中的圖像數據變形為行向量，然后按列進行存放；通過上述預處理后將訓練集和測試集圖像樣本分別集命名為“F_train”和“F_test”；訓練集和測試集標簽集對應于圖像樣本集分別集命名為“B_train”和“B_test”，將測試集的圖片和標簽獨立封裝；所述的數據集為MNIST數據集；包含60000份訓練集圖片及其對應標簽和10000份測試集圖片及其對應標簽。

可選地，所述步驟2中的載入訓練集具體為：將訓練集和測試集圖片集和標簽集載入到軟件工作區。

可選地，所述步驟3中的讀取神經網絡結構具體為：輸入層神經元個數等于訓練集圖片總像素點數；輸出層神經元個數為分類類別數。

可選地，所述步驟4中的構造無約束條件下的等效方程組模型，并進行求解，然后驗證無約束條件下的等效方程組模型與單層Bp神經網絡的等效性，具體為：

步驟4.1、在無約束性條件情況下，根據線性非齊次方程組形式：AX＝B，利用單層BP神經網絡對應的輸入圖像和標簽值，編寫程序求解方程組模型，具體為：