[發(fā)明專(zhuān)利]一種自適應(yīng)選擇深度特征的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)集成建模方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810174267.0
• 申請(qǐng)日: 2018-03-02
• 公開(kāi)（公告）號(hào): CN108445752B
• 公開(kāi)（公告）日: 2021-08-17
• 發(fā)明（設(shè)計(jì)）人: 湯健;喬俊飛;韓紅桂;李曉理
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類(lèi)號(hào): G05B13/04
• 分類(lèi)號(hào): G05B13/04
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 張慧

本發(fā)明公開(kāi)一種自適應(yīng)選擇深度特征的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)集成建模方法，首先，預(yù)設(shè)定深度特征層數(shù)和集成模型尺寸閾值為J和J_thresh；接著，構(gòu)建以易檢測(cè)過(guò)程變量為輸入和輸出的神經(jīng)網(wǎng)絡(luò)自編碼器并提取第1層特征，建立以易檢測(cè)過(guò)程變量為輸入和難檢測(cè)過(guò)程參數(shù)為輸出的第1個(gè)候選子模型；然后，構(gòu)建以第1層特征為輸入和輸出的神經(jīng)網(wǎng)絡(luò)自編碼器并提取獲得第2層特征，建立以第1層特征為輸入和難檢測(cè)過(guò)程參數(shù)為輸出的第2個(gè)候選子模型；重復(fù)上述過(guò)程，直到獲得第J層特征和第J個(gè)候選子模型；最后，基于全部J個(gè)候選子模型，耦合分支定界優(yōu)化算法和模型加權(quán)算法獲取集成尺寸為2～J_thresh的全部選擇性集成模型，并將預(yù)測(cè)誤差最小的作為最終的難檢測(cè)過(guò)程參數(shù)預(yù)測(cè)模型。

技術(shù)領(lǐng)域

本發(fā)明屬于工業(yè)控制技術(shù)領(lǐng)域，尤其涉及一種自適應(yīng)選擇深度特征的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)集成建模方法。

背景技術(shù)

連續(xù)實(shí)時(shí)地檢測(cè)與生產(chǎn)質(zhì)量、效率及安全密切相關(guān)的關(guān)鍵過(guò)程參數(shù)對(duì)有效工業(yè)過(guò)程實(shí)施運(yùn)行優(yōu)化與控制策略至關(guān)重要。受限于工業(yè)過(guò)程的綜合復(fù)雜特性和眾多因素的強(qiáng)耦合性，某些關(guān)鍵過(guò)程參數(shù)值的難以在線檢測(cè)和機(jī)理建模。目前主要依靠?jī)?yōu)秀領(lǐng)域?qū)＜覒{經(jīng)驗(yàn)估計(jì)或人工定時(shí)采樣、實(shí)驗(yàn)室離線化驗(yàn)或檢測(cè)的方法取得這些參數(shù)值，存在依賴性大、準(zhǔn)確度低、檢測(cè)滯后、耗時(shí)等缺點(diǎn)，成為制約復(fù)雜工業(yè)過(guò)程節(jié)能降耗、綠色化生產(chǎn)的主要因素之一。基于離線的易檢測(cè)過(guò)程變量構(gòu)建難檢測(cè)過(guò)程參數(shù)的預(yù)測(cè)模型是一種行之有效的解決方法[1]。

針對(duì)工業(yè)過(guò)程中的易檢測(cè)過(guò)程變量間的共線性和非線性問(wèn)題，特征提取和特征選擇技術(shù)是基于不同機(jī)理的兩種處理策略。特征選擇是選擇最重要的某些相關(guān)特征，未被選擇的特征可能會(huì)降低估計(jì)模型的泛化性能[2]。特征提取是采用線性或是非線性的方式確定合適的低維潛在特征替代原始高維特征，如主成分分析(PCA)[3]和潛變量映射(PLS)[4]及其核版本，但這些方法難以提取易檢測(cè)過(guò)程變量所蘊(yùn)含的深層次特征。理論上，深度學(xué)習(xí)可充分模擬人類(lèi)大腦的神經(jīng)連接結(jié)構(gòu)，通過(guò)組合低層特征可實(shí)現(xiàn)數(shù)據(jù)的分層特征表示[5]。近年來(lái)，基于生物大腦認(rèn)知圖像機(jī)理設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)在視頻圖像識(shí)別領(lǐng)域成功應(yīng)用[6,7]。針對(duì)難以獲取足夠有標(biāo)簽數(shù)據(jù)的工業(yè)過(guò)程，文獻(xiàn)[8]認(rèn)為深度神經(jīng)網(wǎng)絡(luò)可作為潛變量模型描述過(guò)程變量間的高相關(guān)性，也可對(duì)工業(yè)過(guò)程的大量無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行無(wú)監(jiān)督特征提取，文獻(xiàn)[9]提出基于受限玻爾茲曼機(jī)的深度特征構(gòu)建軟測(cè)量模型。文獻(xiàn)[10]提出多尺度深度特征提取方法，文獻(xiàn)[11]提出處理不確定性信息的深度學(xué)習(xí)算法，文獻(xiàn)[12]提出同時(shí)考慮高層次和低層次特征的部分跨接神經(jīng)網(wǎng)絡(luò)用于人臉性別分類(lèi)，文獻(xiàn)[13]提出基于全層次深度特征的全跨接深度網(wǎng)絡(luò)，文獻(xiàn)[14]提出進(jìn)行同層單元連接的深度信念網(wǎng)絡(luò)模型提取圖像特征；以上文獻(xiàn)對(duì)如何使深度特征能夠蘊(yùn)含建模對(duì)象的內(nèi)在機(jī)理，如何自適應(yīng)確定深度層次和深度特征數(shù)量未做深入探討。文獻(xiàn)[15]綜述了面向時(shí)間序列建模的非監(jiān)督特征學(xué)習(xí)和深度學(xué)習(xí)，文獻(xiàn)[16]綜述了深度學(xué)習(xí)在控制領(lǐng)域的應(yīng)用研究現(xiàn)狀，指出其在深度特征提取方向上具有突出的潛力和優(yōu)勢(shì)。但是，以上這些深度學(xué)習(xí)策略均需要多次精調(diào)隱含層的眾多學(xué)習(xí)參數(shù)，導(dǎo)致訓(xùn)練過(guò)程繁瑣和耗時(shí)。隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)(RWNN)是一類(lèi)具有快速學(xué)習(xí)速度和較好泛化能力的單隱層神經(jīng)網(wǎng)絡(luò)[17,18,19]，其特點(diǎn)是對(duì)隨機(jī)產(chǎn)生的隱含層輸入權(quán)重和偏置不進(jìn)行調(diào)整，只是對(duì)輸出權(quán)重采用最小二乘算法進(jìn)行調(diào)節(jié)。研究表明，基于自編碼的深度網(wǎng)絡(luò)可提取原始建模數(shù)據(jù)所蘊(yùn)含的有價(jià)值深度特征[20]。文獻(xiàn)[21]提出了基于RWNN自編碼器進(jìn)行逐層非監(jiān)督學(xué)習(xí)的多層神經(jīng)網(wǎng)絡(luò)，具有快速提取非監(jiān)督深度特征的特性。綜上可知，如何自適應(yīng)選擇深度特征，即如何確定深度特征的層數(shù)，一直未有行之有效的方法。另外，理論上講，不同層的深度特征在表征能力和可解釋性方面也具有差異性。