[發明專利]一種基于LSTM和生物激勵神經網絡的重型燃機控制系統控制器模塊智能BIT設計方法

有效

• 申請號: 202010926704.7
• 申請日: 2020-09-07
• 公開（公告）號: CN112000015B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 黃從智;王亞松;侯國蓮;張建華
• 申請（專利權）人: 華北電力大學
• 主分類號: G05B13/04
• 分類號: G05B13/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于LSTM和生物激勵神經網絡的重型燃機控制系統控制器模塊智能BIT設計方法，其特征在于，具體步驟為：

步驟1：收集指定時間段內的控制器模塊運行的特征狀態參數的數據，形成歷史數據矩陣集，所述特征參數選擇網絡狀態、溫度、CPU負荷、內層負荷，以代表重型燃機控制器模塊的運行狀態；

步驟2：從所采集運行數據中篩選出控制器模塊的歷史正常數據和歷史故障數據，將數據進行歸一化處理，并將正常數據分為訓練集和測試集；

步驟3：針對各個特征狀態參數設計LSTM神經網絡，預測下個單位時間的參數狀態數據，利用歷史正常數據對網絡進行訓練和測試，評估模型誤差，誤差大于預先設定的閾值時重新訓練模型；

步驟4：在訓練LSTM神經網絡時采用改進的萬有引力算法來優化神經網絡的初始權重和閾值，從而提高模型的精確度和可靠性，減小預測誤差；

步驟5：在步驟4的模型訓練好之后，從采集的歷史運行數據中篩選出控制器模塊不同運行狀態下的數據并分類，將歸一化處理后的數據輸入步驟4訓練好的LSTM神經網絡模型；

步驟6：得到重型燃機控制器模塊不同運行狀態下的模型輸出數據，計算預測值和實際值之間的差值，形成殘差矩陣；

步驟7：針對步驟6獲得的差值，結合差值和控制器模塊狀態的對應關系，設計生物激勵神經網絡實現重型燃機控制器模塊智能BIT綜合診斷；

根據所述步驟3中，LSTM神經網絡包含輸入層、隱含層和輸出層，其中包含多個隱含層結構； LSTM神經網絡的訓練過程如下：

以均方差定義誤差函數，誤差反向傳遞降低損失，設置學習率α作為權值更新參數，采用改進的萬有引力算法優化得出神經網絡初始的權重和閾值，設置單次訓練的數據批次及迭代次數，具體訓練過程如下：

(1)針對某一特征狀態參數的正常數據，利用前5個時間序列預測下一個時間序列的值，即將作為神經網絡的輸入，作為神經網絡的輸出；

(2)選定好數據訓練批次后，作為神經網絡的輸入，作為神經網絡的輸出，則下一組訓練數據為作為神經網絡的輸入，作為神經網絡的輸出，依次類推訓練神經網絡達到反映動態特性的效果；

(3)將訓練數據輸入至LSTM的輸入層后傳遞到隱含層，隱含層結構主要包括遺忘門、輸入門和輸出門； 隱含層的主要計算過程為：

遺忘門：f_t＝σ(W_f·[h_t-1,a_t]+b_f)

W_f代表遺忘門的權重參數，b_f代表遺忘門的偏差參數，h_t-1表示隱含層上一時刻的狀態，a_t表示輸入的時間序列數據，σ表示Sigmoid函數；

輸入門：

i_t＝σ(W_i·[h_t-1,a_t]+b_i)

W_c和W_i代表輸入門的權重參數，b_c和b_i代表輸入門的偏差參數，h_t-1表示隱含層上一時刻的狀態，a_t表示輸入的時間序列數據，σ表示Sigmoid函數，tanh表示三角正切函數；

輸出門：o_t＝σ(W_o·[h_t-1,a_t]+b_o)

h_t＝o_t*tanh(C_t)

W_o代表輸入門的權重參數，b_o代表輸入門的偏差參數，h_t-1表示隱含層上一時刻的狀態，σ表示Sigmoid函數，tanh表示三角正切函數；

(4)根據輸出門得到的預測值與實際值的計算均方誤差函數MSE, 如果該誤差大于給定誤差，則采用RMSProp算法優化神經網絡的權重參數W,如果誤差小于給定誤差，則獲得可靠神經網絡模型；

根據所述步驟4中，采用改進的萬有引力算法優化初始權重，初始化的主要過程為：

(1)采用Tent映射算法來混沌初始化粒子群的位置；

x_k+1＝1-2|x_k-0.5|,0≤x_k≤1

k是混沌迭代的次數，x_k是第k次迭代的初始值； 當x_k＝0,0.25,0.5,0.75或x_k＝x_k-m時,m＝{0,1,2,3,4},則x_k的值按照以下過程重新分配，α表示0到1之間的隨機數；

x_k+1＝1-2|x_k+0.1α-0.5|

(2)確定所需優化的權重和閾值數量，默認LSTM神經網絡為單隱含層結構，則輸入節點m_i個數為5，輸出節點m_o個數為1，其中隱含層的節點m_h根據經驗公式來確定：c為1到10之間的整數； 用S代表所需要的優化的權重和閾值的數量，則

S＝4m_i·m_h+m_o·m_h+3m_h·m_h+3m_h

m_i表示輸入層節點個數，m_h表示隱含層節點個數，m_o表示輸出層節點個數； 具體權重為輸入層與隱含層之間的權重、隱含層與輸出層之間的權重、輸入門的權重、遺忘門的權重、輸出門的權重； 具體閾值為輸入門、遺忘門和輸出門的閾值；

(3)在萬有引力算法優化過程中，粒子的質量M通過適應度值求出，具體方法為：

fit_i(n)表示第i個粒子在第n次迭代時的適應度值，worst(n)表示粒子在第n次迭代時的最差適應度值，N表示粒子規模的大小；

根據萬有引力定律，在第n次迭代時，粒子之間的引力為：

M_i(n)和M_j(n)表示在第n次迭代時兩個粒子的慣性質量，由粒子質量來表示； G(n)表示在第n次迭代時的引力常量，R_i,j(n)表示兩個粒子間的歐式距離；

R_i,j(n)＝||x_j(n),x_i(n)||₂

G₀表示引力常量初始值，n_max表示最大迭代次數，α表示衰減因子；

在優化過程中，采用隨機方式計算粒子受到的所有外力作用，具體過程為：

r_j代表0至1之間的隨機數；

第i個粒子在第n次迭代的加速度為：

每個粒子的位置和速度在每次迭代后都會進行更新，其速度更新過程如下：

v_i(n+1)＝λv_i(n)+a_i(n)

位置更新過程如下：

x_i(n+1)＝x_i(n)+v_i(n+1)

λ表示0至1之間的隨機數，即λ∈[0,1]；

使用改進的萬有引力算法優化LSTM神經網絡的初始權重和閾值，取LSTM的前項傳播過程為對象，適應度函數取LSTM神經網絡的預測結果與真實值的均方差的倒數，即

a_i(n)和分別代表第n次迭代時LSTM神經網絡的訓練數據的實際值和模型預測值，M表示訓練數據的樣本個數；

當適應度函數fit(n)的值大于上一次迭代的值時，則根據粒子更新公式對各粒子進行更新，否則保持現現狀繼續迭代，最終取適應度函數值最大的一組粒子的位置來表示LSTM神經網絡的初始權重和閾值；

根據所述步驟7中，利用殘差矩陣E和重型燃機控制器模塊狀態訓練生物激勵神經網絡，采用生物激勵神經網絡對殘差數據進行處理，其分為F₀和F₁兩層神經網絡結構，具體過程為：

(1)其中F₀層采用簡單的神經元模型，具體方法為：

I表示殘差矩陣E的某一行；A⁰表示生物激勵常量，選取0到100間的常數；x表示第一層激活函數矩陣；

研究激活矩陣x(t)與激勵殘差矩陣E之間的關系，其中拉普拉斯的初始條件為：

其中X(s)和I(s)分別是x(t)和I(t)的拉普拉斯變換，其中

根據上式可以得出第一層的神經元輸出的激活等式，即

則F₀層的輸出可以表示為：

(2)第一層神經元的輸出傳遞至第二層神經元,該層建立了各特征參數的當前信號值與先前值的關系，并根據輸入的一致性采用生物激勵結構實現F₀與F₁層之間的聯系，具體方式如下：

W表示F₁層神經元的權重，I表示殘差矩陣E的某一行，y表示第二層神經元的激活函數矩陣；

當遺忘因子A¹的初始狀態為0時，則積分的等式可以換算成為

當遺忘因子A¹的初始狀態不為0時，則過去累積的激活狀態將逐漸消失，可以表示為一段時間內的激活狀態被重新選擇； 具體方法為：

將生物激勵神經網絡的自相關函數可以定義為：

自相關函數受激勵信號和延時激勵信號的影響，和輸出呈正比關系； 數學公式表示為：

(3)采用不同的特征向量表示重型燃機控制器模塊的不同運行狀態，將殘差矩陣的每一行作為生物激勵神經網絡的輸入，其對應的向量作為輸出，設置循環迭代次數，根據實際輸入輸出情況設置F₀與F₁層的神經元個數，利用生物激勵神經網絡的向量輸出和實際向量的均方差作為模型評判指標，當均方差大于給定誤差，則采用RMSProp算法優化神經網絡的權重參數，當均方差小于給定誤差，則獲得生物激勵神經網絡模型； 均方差計算過程為：

N表示特征向量中的元素個數，a_i表示神經網絡向量的第i個元素，表示實際特征向量的i個元素。