[發明專利]基于二維穩健LSTM的聚合反應過程質量預測方法

在審

• 申請號: 202210673203.1
• 申請日: 2022-06-15
• 公開（公告）號: CN115062542A
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 劉毅;劉橋;許亮峰;高增梁
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06Q10/06;G06N3/04;G06N3/08;G06F111/08;G06F119/10;G06F119/02
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 周紅芳

1.基于二維穩健LSTM的聚合反應過程質量預測方法，其特征在于，包括以下步驟：

(1)獲取聚乙烯工業生產過程變量數據集：

獲取聚乙烯工業生產過程變量，過程變量數據集包括輸入變量和輸出變量，取聚乙烯生產過程中的一個反應器內的一組變量為輸入變量，該反應器的產品質量變量記為MI，取MI為輸出變量；

(2)數據集的預處理、數據重構及數據集劃分：

對步驟(1)中獲取的聚乙烯工業生產過程變量數據集進行數據標準化處理，使其變成無量綱數據集，然后，將數據集進行重構，最后將重構后的無量綱數據集按設定比例劃分為訓練集和測試集；

(3)建立MCC-CNN-LSTM神經網絡模型并訓練：

建立基于最大相關熵準則MCC的CNN-LSTM融合的神經網絡，將訓練集輸入所建立的MCC-CNN-LSTM神經網絡進行訓練；

(4)對MCC-CNN-LSTM神經網絡訓練所建立的模型進行性能評估：

將聚乙烯工業生產數據集送入軟測量模型中進行訓練預測評估；采用均方根誤差RMSE與最大絕對誤差MAE作為評價指標對模型進行評估，驗證MCC-CNN-LSTM神經網絡的性能。

2.如權利要求1所述的基于二維穩健LSTM的聚合反應過程質量預測方法，其特征在于，所述步驟(2)的具體過程如下：

步驟2.1：為消除過程變量之間因量綱帶來的差異性，對數據進行歸一化處理，公式如下：

其中：x′為標準化處理后的數據集，x為所采集的原始數據集；x_min為原始過程變量數據的最小值，x_max為原始過程變量數據的最大值；

步驟2.2：歸一化處理后，將時間序列數據進行重構，重構后的輸入矩陣如下所示：

式中：X_t是重構后的輸入矩陣數據，q的上標數字代表不同的過程變量，t表示時間間隔，M代表滑動窗口；

步驟2.3：數據重構后將數據集劃分為測試集與訓練集；

3.如權利要求1或2所述的基于二維穩健LSTM的聚合反應過程質量預測方法，其特征在于，所述步驟(3)的具體過程如下：

步驟3.1：建立MCC-CNN-LSTM神經網絡：

針對CNN-LSTM模型，以X＝[x_T+1,x₂,…,x_T+M]^T∈R^M×N表示模型的輸入矩陣，其中x代表每個時間間隔的特征向量，下標T代表時間，M代表時間序列的長度，N代表時間序列的特征個數；輸入數據第d次卷積運算公式為：

p_d＝f_d(X⊙W_d+b_d)

其中：⊙為卷積運算，卷積核W_d∈R^J×N是權值向量，其中J為卷積核尺寸，即提取時間序列特征的時間窗寬度，b_d為該層的偏置項，f_d(·)表示卷積層激活函數，p_d為卷積核的特征映射矩陣；

通過L個過濾器得到多個特征為P＝[p₁,p₂,…,p_L]，池化層的作用就是對輸入特征進行降采樣，同時對眾多特征進行過濾篩選，強化部分顯著特征；最大池化層具體公式如下：

G＝maxpooling(P)

其中：G＝[g₁,g₂…g_D]^T∈R^D×F為全局最大池化后的新構成的時間序列矩陣，D代表新生成的時間序列的長度，F代表時間序列的特征個數，maxpooling為最大池化操作；

池化后新構成的時間序列矩陣G作為LSTM層的輸入矩陣，三個門的具體計算如下所示：

f_t＝σ₂(W_fxg_t+W_fhh_t-1+b_f)

i_t＝σ₂(W_ixg_t+W_ihh_t-1+b_i)

o_t＝σ₂(W_oxg_t+W_ohh_t-1+b_o)

其中f_t、i_t、o_t分別為遺忘門、輸入門與輸出門，σ₂為非線性激活函數，sigmoid函數用作門的激活函數，g_t與h_t-1分別表示采樣時刻t的輸入向量、和采樣時刻t-1的隱藏向量；式中，b_f、b_i、b_o為相應門單元的偏置項，W_fx、W_fh、W_ix、W_ih、W_ox、W_oh對應門單元的連接權值；

在長短期記憶LSTM神經網絡內部，生成一個中間狀態C_(t)為：

C_t＝tanh(W_cxg_t+W_chh_t-1+b_c)

其中，tanh表示非線性tanh激活函數，W_cx、W_ch為中間狀態的連接權值，用于表示Hadamard乘積；

CNN-LSTM最終的輸出y_t表示為：

y_t＝L(Vh_t+b_l)

其中L(·)代表預測函數的映射，V與b_l分別代表對應的連接權重與偏置項；

相關熵用于信號除噪場景，其能夠處理非高斯噪聲和脈沖噪聲；相關熵定義為描述兩個隨機變量Q和R之間的局部相似度，表示為：

其中：為兩個隨機變量Q和R之間的局部相似度，是一個核函數，E(·)是一個求期望運算；

根據相關熵的定義，最大相關熵準則MCC定義為：

其中，e_i是系統在監督學習過程中產生的誤差，即代表預測值，y_i代表真實值，B代表樣本數，w是一組可調整的模型參數；

在CNN-LSTM的模型優化策略中，最大相關熵準則MCC構建以高斯核函數為核心的損失函數，取代常用的損失函數MSE來增加模型的魯棒性，并通過Adam優化算法進行模型參數求解；對MCC準則進行等效轉化為求最小值問題，即目標函數f(w)，如下所示：

其中σ₁代表內核寬度；

過程構建了CNN-LSTM神經網絡，整個網絡采用最大相關熵準則MCC作為損失函數進行訓練；

步驟3.2：網絡結構及參數設置

MCC-CNN-LSTM神經網絡結構由輸入層，兩層卷積層、最大池化層、長短期記憶LSTM層與全連接層構成；通過網格選擇的方式確定時間窗口大小，內核參數寬度，并采用自適應矩估計算法優化器對網絡參數進行訓練；為防止模型過擬合，在MCC-CNN-LSTM神經網絡中添加dropout層；

步驟3.3：利用自適應矩估計算法訓練模型

利用自適應矩估計算法優化模型參數，首先定義α表示初始學習率，它控制參數的更新比率，定義較大的值在更新過程中會有更快的更新速度，網絡會更快的收斂，而定義較小的值時參數的更新速度會相應變慢，但網絡會收斂到更好的性能；定義β₁表示一階矩估計指數衰減率；定義β₂表示二階矩估計指數衰減率；定義m表示梯度的一階矩；定義n表示梯度的二階矩；定義t表示時間步；自適應矩估計算法的優化流程可歸納如下：

1)初始化相關參數：在0時刻，令α＝0.001，β₁＝0.9，β₂＝0.999，m＝0，n＝0，不斷優化θ，直到目標函數f(θ)滿足求解要求；

2)更新一階矩和二階矩：在任意時刻，只要目標函數f(θ)不滿足求解要求，就會在下一時刻更新一階矩和二階矩，具體過程如下：

其中：g_t是t時刻權值的梯度，是求梯度符號，θ_t-1是t-1時刻的權值矩陣；

m_t＝β₁·m_t-1+(1-β₁)·g_t

上面兩個式子分別對一階矩和二階矩進行更新；

上面兩個式子分別對一階矩和二階矩進行偏差校正；其中：和分別是校正后的一階矩和二階矩；

3)更新網絡參數：具體過程如下所示：

其中：θ_t是t時刻更新后的權值矩陣，θ_t-1是t-1時刻待更新的權值矩陣，同時為了避免分母為零，令參數ε＝10^-8；

若θ_t滿足求解要求，則停止優化并輸出結果，否則跳回2)繼續優化。

4.如權利要求1或2所述的基于二維穩健LSTM的聚合反應過程質量預測方法，其特征在于，所述步驟(4)的過程為：

MCC-CNN-LSTM網絡模型經過訓練后對其進行性能評估，滿足要求后才能使用；評估指標采用均方根誤差RMSE與最大絕對誤差MAE，計算公式如下：

其中：為軟測量模型預測值，y_i為目標域測試集真實值，B_test為測試集的樣本數。