[發明專利]一種BP神經網絡回歸模型的訓練測試方法及其應用系統

有效

• 申請號: 201710749951.2
• 申請日: 2017-08-28
• 公開（公告）號: CN107633301B
• 公開（公告）日: 2018-10-19
• 發明（設計）人: 陳達權;黃運保;李海艷
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62
• 代理公司: 佛山市禾才知識產權代理有限公司 44379
• 代理人: 史亮亮

1.一種BP神經網絡回歸模型的訓練測試方法，用于橡木激光切割系統切口寬度預測，其特征在于，包括如下步驟：

a.獲取數據：得到N個實驗樣本的已標定五維數據集R，其中一共包含M組實驗數據及其對應實驗結果；

b.數據預處理：對所述已標定五維數據集R利用PCA降維一維，并進行歸一化處理，得到已標定四維數據集S；

c.數據分組：將所述已標定四維數據集S分為訓練集D和測試集T兩類數據；

d.尋優BP神經網絡超參數并初始化：創建一個三層BP神經網絡，找到隱藏層最佳神經元個數，按照實際需要設定學習率、神經元激活函數、訓練最小均方誤差目標、訓練最小性能梯度及最大訓練次數等；

e.BP神經網絡第一次訓練：訓練出泛化能力滿足用戶實際需求的BP神經網絡所有權值和閾值，若該BP神經網絡經第一次訓練后，該BP神經網絡泛化能力滿足用戶實際需，則該BP神經網絡訓練完成，直接用于預測橡木激光切割系統不同參數下的切口寬度，否則，對該BP神經網絡進行第二次訓練；

f.BP神經網絡第二次訓練：通過微調，增強BP神經網絡經第一次訓練后的泛化能力，使該BP神經網絡泛化能力滿足用戶實際需，若該BP神經網絡泛化能力仍未滿足用戶實際需，則重新執行步驟a，增加實驗樣本數量從而增大所述訓練集D，并繼續執行步驟b至步驟f直至完成第二次訓練的BP神經網絡泛化能力滿足用戶實際需，此時BP神經網絡訓練完成；

g.BP神經網絡訓練完成，預測橡木激光切割系統不同參數下的切口寬度；

所述步驟b中數據預處理包括如下步驟：

b1.定義所述已標定五維數據集R中的第一維為激光能量，記為x；第二維為切割速度，記為y；第三維為離焦量，記為z；第四維為橡木含水率，記為r₁；第五維為橡木氣干密度，記為r₂；

b2.分別對所述已標定五維數據集R求解每一維上的均值和方差，并對所述已標定五維數據集R中每一組的實驗數據分別減去對應維數上的均值，組成行數為M、列數為5的樣本矩陣Q；

b3.求解所述已標定五維數據集R的五維協方差矩陣K，即：

b4.求解所述五維協方差矩陣K的5個特征值γ₁、γ₂、γ₃、γ₄、γ₅，由大到小排序獲得其中前四個特征值γ₁'、γ₂'、γ₃'、γ₄'，并求解所述五維協方差矩陣K分別對應γ₁'、γ₂'、γ₃'、γ₄'的特征向量β₁、β₂、β₃、β₄，所述特征向量β₁、β₂、β₃、β₄均為單位化的五維列向量，并組成映射矩陣T＝[β₁，β₂，β₃，β₄]；

b5.將所述樣本矩陣Q和映射矩陣T相乘獲得矩陣Y，所述矩陣Y中的每一行即為所述已標定五維數據集R降維一維后的一組實驗數據，從而獲得已標定四維數據集S；

b6.對所述已標定四維數據集S進行歸一化處理為均值為0方差為1的數據；

所述步驟d中尋優BP神經網絡超參數并初始化包括：

創建一個三層BP神經網絡，分別為輸入層、隱藏層和輸出層，輸入層神經元個數為4，輸出層神經元個數為1；

隱藏層神經元個數設定范圍在0.75×4到5×4之間(包括兩個端點值3和20)；依次設定隱藏層神經元個數為所述隱藏層神經元個數設定范圍內的所有整數，按遍歷搜索的方式尋找隱藏層最佳神經元個數，此處尋找隱藏層最佳神經元個數過程中每次BP神經網絡的訓練中，訓練集均為從所述訓練集D中隨機抽取其中的20％組成訓練集Dp，測試集均為從所述測試集T中隨機抽取其中一個數據集組成測試集Tp；隱藏層神經元個數從設置為3開始，利用所述訓練集Dp進行第一次訓練，訓練完成后預測所述測試集Tp的數據，將所述測試集Tp的預測值與實驗值進行對比，計算出均方根誤差RMSE01，重新初始化所有權值和閾值并利用所述訓練集Dp進行第二次訓練，訓練完成后預測所述測試集Tp的數據，將所述測試集Tp的預測值與實驗值進行對比，計算出均方根誤差RMSE02，重新初始化所有權值和閾值并利用所述訓練集Dp進行第三次訓練，訓練完成后預測所述測試集Tp的數據，將所述測試集Tp的預測值與實驗值進行對比，計算出均方根誤差RMSE03，比較RMSE01、RMSE02和RMSE03的大小，得到其中的最小值RMSE(1)作為BP神經網絡隱藏層神經元個數為3時所對應的該模型預測效果；重復上述步驟找到BP神經網絡隱藏層神經元個數分別為4、5、6……20時所對應的RMSE(2)、RMSE(3)…RMSE(18)，找出RMSE(1)、RMSE(2)…RMSE(18)中的最小值RMSEm所對應的隱藏層神經元個數nn，則BP神經網絡隱藏層最優神經元個數為nn，若有多個隱藏層神經元個數所對應的模型預測效果為RMSEm，則取其中隱藏層神經元個數最少的個數作為BP神經網絡隱藏層最優神經元個數；

以隱藏層神經元個數為nn，創建一個三層BP神經網絡，利用高斯分布隨機數初始化BP神經網絡的所有權值和閾值；學習率初始化為0.01；所有神經元激活函數均采用tansig；訓練最小均方誤差目標設置為1e-3；訓練最小性能梯度設置為1e-6；最大訓練次數設置為50000；訓練算法選取貝葉斯正則化算法；

所述步驟e中BP神經網絡第一次訓練包括如下步驟：

e1.根據步驟d的尋優結果創建BP神經網絡并進行超參數初始化；

e2.從所述測試集T中編號為2的數據集中隨機抽取50％的樣本數據組成數據集T1，從所述測試集T中抽取除編號為1的數據集和編號為2的數據集外的其他樣本數據組成數據集T2，所述測試集T中除去所述數據集T1和所述數據集T2外剩余的樣本數據組成訓練集D”，將所述數據集T1、所述數據集T2和所述訓練集D組成訓練集D'；

e3.利用所述訓練集D'通過貝葉斯正則化算法對步驟e1所創建的BP神經網絡進行訓練，直至滿足訓練均方誤差達到訓練最小均方誤差目標或訓練性能梯度達到訓練最小性能梯度或訓練次數達到最大訓練次數中任意一條訓練結束條件后，完成該BP神經網絡的第一次訓練；

e4.該BP神經網絡的第一次訓練完成后，利用該完成第一次訓練的BP神經網絡分別對所述測試集T中nt個數據集分別對其中數據樣本進行預測得到預測值，并將該預測值與對應的實驗值進行對比，按所述測試集T中nt個數據集的編號順序計算nt個數據集的預測值對應其實驗值的均方根誤差RMSE_1、RMSE_2…RMSE_nt及可決系數(亦稱確定系數)R^2_1、R^2_2…R^2_nt；

e5.根據RMSE_2、RMSE_3…RMSE_nt結合R^2_2、R^2_3…R^2_nt判斷完成第一次訓練的BP神經網絡的訓練結果是否過擬合及過擬合程度，并根據RMSE_1和R^2_1判斷完成第一次訓練的BP神經網絡的泛化能力；若完成第一次訓練的BP神經網絡滿足用戶要求的過擬合和泛化能力要求，則保存該完成第一次訓練的BP神經網絡的所有權值W和閾值B，該BP神經網絡訓練完成，可直接用于預測橡木激光切割系統不同參數下的切口寬度，否則，對該BP神經網絡進行第二次訓練。