[發(fā)明專(zhuān)利]用于水質(zhì)參數(shù)預(yù)測(cè)的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010914340.0
• 申請(qǐng)日: 2020-09-03
• 公開(kāi)（公告）號(hào): CN112149799A
• 公開(kāi)（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 夏文澤;劉杰;林甲;馮驍;許雪喬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京首創(chuàng)股份有限公司;北京華展匯元信息技術(shù)有限公司
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/08;G06Q50/26
• 代理公司: 北京凱特來(lái)知識(shí)產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;付久春

1.一種用于水質(zhì)參數(shù)預(yù)測(cè)的基于RNN的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型，其特征在于，包括：

若干個(gè)RNN類(lèi)神經(jīng)網(wǎng)絡(luò)，分別部署在污水處理全流程的不同測(cè)量點(diǎn)；

處于前后兩端的RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的中間層的輸入端只與相鄰一側(cè)的RNN類(lèi)神經(jīng)網(wǎng)絡(luò)中間層的輸出端相連接；

前后兩端之間的任一個(gè)RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的中間層的輸入端同時(shí)與兩側(cè)相鄰的兩個(gè)RNN類(lèi)神經(jīng)網(wǎng)絡(luò)中間層的輸出端相連接；

前后兩端的RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的一側(cè)各對(duì)應(yīng)設(shè)置一個(gè)高斯函數(shù)模塊和一個(gè)乘法模塊；

前后兩端之間的任一個(gè)RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的兩側(cè)都對(duì)應(yīng)設(shè)置一個(gè)高斯函數(shù)模塊和一個(gè)乘法模塊；

每個(gè)高斯函數(shù)模塊的輸入端與對(duì)應(yīng)的RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的輸入端相連接，該高斯函數(shù)模塊的輸出端與對(duì)應(yīng)的乘法模塊的一個(gè)輸入端相連接，所述乘法模塊的另一個(gè)輸入端與對(duì)應(yīng)的所述RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的中間層的輸出端相連接，該乘法模塊的輸出端與相鄰的RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的中間層的輸入端相連接。

2.根據(jù)權(quán)利要求1所述的用于水質(zhì)參數(shù)預(yù)測(cè)的基于RNN的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型，其特征在于，所述模型中，每個(gè)高斯函數(shù)模塊的輸入端與對(duì)應(yīng)的RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的輸入端相連接的對(duì)應(yīng)的RNN類(lèi)神經(jīng)網(wǎng)絡(luò)是指：該高斯函數(shù)模塊所屬的RNN類(lèi)神經(jīng)網(wǎng)絡(luò)；

所述乘法模塊的輸出端與相鄰的RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的中間層的輸入端相連接是：處于中間的RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的兩側(cè)的乘法模塊的輸出端與中間的RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的中間層的輸入端相連；最前端的RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的乘法模塊的輸出端與該RNN類(lèi)神經(jīng)網(wǎng)絡(luò)后一個(gè)RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的中間層的輸入端相連；最后端RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的乘法模塊的輸出端與該RNN類(lèi)神經(jīng)網(wǎng)絡(luò)前一個(gè)RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的中間層的輸入端相連。

3.根據(jù)權(quán)利要求1或2所述的用于水質(zhì)參數(shù)預(yù)測(cè)的基于RNN的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型，其特征在于，所述模型中，前后兩端之間的任一個(gè)RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的中間層的輸入包括：

該RNN類(lèi)神經(jīng)網(wǎng)絡(luò)當(dāng)前的輸入、該RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的中間層上一時(shí)刻的輸出、相鄰的前一個(gè)RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的中間層上一時(shí)刻的輸出與對(duì)應(yīng)高斯函數(shù)模塊輸出的高斯系數(shù)和對(duì)應(yīng)系數(shù)矩陣的乘積、相鄰的后一個(gè)RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的中間層上一時(shí)刻的輸出與對(duì)應(yīng)高斯函數(shù)模塊輸出的高斯系數(shù)和對(duì)應(yīng)系數(shù)矩陣的乘積。

4.根據(jù)權(quán)利要求1或2所述的用于水質(zhì)參數(shù)預(yù)測(cè)的基于RNN的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型，其特征在于，所述RNN類(lèi)神經(jīng)網(wǎng)絡(luò)采用RNN神經(jīng)網(wǎng)絡(luò)、LSTM神經(jīng)網(wǎng)絡(luò)、GRU門(mén)控循環(huán)神經(jīng)網(wǎng)絡(luò)、deepRNN深度循環(huán)神經(jīng)網(wǎng)絡(luò)中的至少一種。

5.一種用于水質(zhì)參數(shù)預(yù)測(cè)的基于RNN的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法，其特征在于，用于權(quán)利要求1至4任一項(xiàng)所述的聯(lián)合神經(jīng)網(wǎng)絡(luò)模型，包括以下步驟：

步驟1，將所有需要訓(xùn)練的參量隨機(jī)初始化；

步驟2，將所有歷史數(shù)據(jù)送入所述聯(lián)合神經(jīng)網(wǎng)絡(luò)模型；

步驟3，通過(guò)損失函數(shù)計(jì)算總的網(wǎng)絡(luò)損失，所述損失函數(shù)的數(shù)學(xué)表達(dá)式為：該式中，為第i個(gè)RNN類(lèi)神經(jīng)網(wǎng)絡(luò)在t時(shí)刻的預(yù)測(cè)輸出；為第i個(gè)RNN類(lèi)神經(jīng)網(wǎng)絡(luò)在t時(shí)刻的真實(shí)輸出；T為訓(xùn)練集數(shù)據(jù)時(shí)間長(zhǎng)度；N為RNN類(lèi)神經(jīng)網(wǎng)絡(luò)的數(shù)量；

步驟4，計(jì)算所有需要訓(xùn)練的參量相對(duì)于總網(wǎng)絡(luò)損失的梯度值，所有參量的梯度值計(jì)算公式為：

其中，T為訓(xùn)練集數(shù)據(jù)時(shí)間長(zhǎng)度，t為時(shí)間序號(hào)，N為RNN子模塊的數(shù)量，i和j為子模塊的序號(hào)，L為訓(xùn)練集總誤差，L^(t)為對(duì)應(yīng)第t時(shí)刻的訓(xùn)練集總誤差，L^(t)_i/j為對(duì)應(yīng)第t時(shí)刻和第i/j個(gè)子模塊的訓(xùn)練集總誤差，U_i、W_i、P^R_i-1、P^L_i+1、V_i、b_i和c_i為對(duì)應(yīng)第i個(gè)子模塊的權(quán)重參數(shù)，均為可訓(xùn)練參數(shù)，為對(duì)應(yīng)第t時(shí)刻和第j個(gè)子模塊的中間層輸出值；

步驟5，利用所述步驟4計(jì)算得到的梯度值更新所有參量；

步驟6，判斷所有參量的值是否發(fā)生改變或者達(dá)到最大迭代次數(shù)，若否，則重復(fù)進(jìn)行所述步驟2至所述5步驟，若是，則結(jié)束訓(xùn)練。