[發明專利]一種自適應選擇深度特征的隨機權神經網絡集成建模方法

有效

• 申請號: 201810174267.0
• 申請日: 2018-03-02
• 公開（公告）號: CN108445752B
• 公開（公告）日: 2021-08-17
• 發明（設計）人: 湯健;喬俊飛;韓紅桂;李曉理
• 申請（專利權）人: 北京工業大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

1.一種自適應選擇深度特征的隨機權神經網絡集成建模方法，其特征在于，包括：首先，進行工業過程易檢測過程變量與難檢測過程參數采集，預設定深度特征層數和集成模型尺寸閾值為J和J_thresh；接著，構建以易檢測過程變量為輸入和輸出的神經網絡自編碼器并提取第1層特征，建立以易檢測過程變量為輸入和難檢測過程參數為輸出的第1個候選子模型；然后，構建以第1層特征為輸入和輸出的神經網絡自編碼器并提取獲得第2層特征，建立以第1層特征為輸入和難檢測過程參數為輸出的第2個候選子模型；重復上述過程，直到獲得第J層特征和第J個候選子模型；最后，基于全部J個候選子模型，耦合分支定界優化算法和模型加權算法獲取集成尺寸為2～J_thresh的全部選擇性集成模型，并將預測誤差最小的作為最終的難檢測過程參數預測模型。

2.一種自適應選擇深度特征的隨機權神經網絡集成建模方法，其特征在于，包括以下步驟：

步驟1、非監督深度特征提取

針對RWNN網絡，構建以易檢測過程變量為輸入和輸出的第1層自編碼器，輸出權重為：

其中，X為訓練數據集，表示基于隨機輸入權重和偏置的第1個隱含層映射矩陣，可表示為：

其中，表示第1個隱含層映射矩陣的第n個節點；

進一步，提取得到易檢測過程變量的第1層非監督特征：

采用相同的方法，構建以易檢測過程變量的第1層特征為輸入和輸出的自編碼器，所提取的第2層非監督特征為：

其中，

其中，公式(17)、(18)、(19)中各符號的含義同公式(16)、(14)、(15)相同，只是采用上標或下標“2”表示對應于第2層特征的相應矩陣或變量；

類似的，以易檢測過程變量的第j-1層特征為輸入和輸出構建自編碼器，所提取的第j層非監督特征為：

其中，

由上可知，所提取的第J層非監督特征為：

其中，

綜合上述過程，可實現對易檢測過程變量的不同層深度特征的非監督提取；

步驟2、深度特征候選子模型構建

首先構建以易檢測過程變量為輸入和難檢測過程參數為輸出的第1個候選子模型；第1個候選子模型的輸出可表示為：

其中，表示第1個候選子模型的輸出權重，采用下式計算：

類似，構建以第1層特征為輸入和難檢測過程參數為輸出的第2個候選子模型，其輸出可表示為：

其中，表示第2個候選子模型的輸出權重，采用下式計算：

其中，公式(28)、(29)中各符號的含義同公式(26)、(27)相同，只是采用上標或下標“2”表示對應于第2個候選子模型的相應矩陣或變量，

再然后，重復上述過程，第j個候選子模型的輸出可表示為：

其中，

最后，建立以J-1層特征為輸入和難檢測過程參數為輸出的第J個候選子模型，其輸出為：

其中，

綜合上述過程，實現了基于不同層非監督深度特征的候選子模型的構建；

步驟3、預測模型構建

將J個基于不同層深度特征的候選子模型的集合S^Can表示為：

將基于集成尺寸J_sel的選擇性集成模型的全部集成子模型表示為：

其中，j_sel＝1,2,…,J_sel，J_sel表示選擇性集成模型的集成尺寸，即所選擇的集成子模型數量，

可知，集成子模型和候選子模型間的關系可表示為且J_sel≤J_thresh，J_threshJ，J_thresh為集成模型尺寸閾值；

首先預先選定集成子模型的加權算法，基于該算法可以獲得集成子模型的加權系數，為便于表述，當選定的集成子模型為自適應加權算法時，利用下式計算權系數，

其中，是第j_sel個集成子模型所對應的加權系數；為第j_sel個集成子模型輸出值的標準差，

將上述集成尺寸為J_sel的選擇性集成模型的均方根誤差表示為：

其中，K為樣本個數；y^k為第k個樣本的真值；為集成尺寸為J_sel的選擇性集成模型對第k個樣本的預測值；為第j_sel個集成子模型對第k個樣本的預測值，

考慮工業實際，建立集成尺寸為J_sel的選擇性集成模型的過程需要確定集成子模型數量、集成子模型及其加權系數公式(37)可進一步表述為如下優化問題：

其中，θ_th是為保證求最大化極值問題所設定的閾值；

由于事先未知集成子模型及其數量，并且子模型的加權系數需要在集成子模型確定后才能通過加權算法獲得的，此處將公式(38)的復雜優化問題進行分解和簡化，

(1)首先，給定集成子模型數量為J_sel，采用BB組合優化算法選擇集成子模型并同時計算加權系數，計算得的集成尺寸為J_sel的選擇性集成模型的輸出可用下式表示：

其中，

(2)接著，考慮到J_sel的取值范圍在2和閾值J_thresh之間，重復上述構建集成尺寸為J_sel的選擇性集成模型的過程J_thresh-1次，得到的全部選擇性集成模型可表示為

(3)最后，選擇這些選擇性集成模型中預測性能最佳的作為最終的難以檢測參數預測模型，可用如下公式表示：

其中，分別表示最后優選的集成子模型、集成子模型的預測輸出及權重系數。