[發明專利]基于主動學習神經網絡模型的工業過程半監督軟測量建模方法

在審

• 申請號: 201810005183.4
• 申請日: 2018-01-03
• 公開（公告）號: CN108334943A
• 公開（公告）日: 2018-07-27
• 發明（設計）人: 葛志強;李浩;宋執環
• 申請（專利權）人: 浙江大學
• 主分類號: G06N3/06
• 分類號: G06N3/06;G06N3/08;G06K9/62
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于主動學習神經網絡模型的半監督軟測量建模方法，它是由主動學習算法和神經網絡模型組成；主動學習算法迭代調用神經網絡模型，通過神經網絡模型從大量的無標簽樣本中選擇出有價值的樣本，進行標定并添加到有標簽樣本集中，使得有標簽數據集不斷更新，直到建立的模型滿足精度要求，最終實現軟測量模型的建立。本發明可以有效地解決有標簽樣本少、無標簽樣本多導致的軟測量建模不準的問題。

技術領域

本發明屬于工業過程預測與控制領域，涉及一種基于主動學習神經網絡模型的工業過程半監督軟測量建模方法。

背景技術

在實際的工業生產過程中，往往存在或多或少的關鍵過程變量無法實現在線檢測，為了解決這個難題，通過采集過程中比較容易檢測的變量，根據某種最優準側，構造出一種以這些變量為輸入，關鍵過程變量為輸出的數學模型，實現對關鍵過程變量的在線估計，這便是工業過程中常用的軟測量建模。

統計過程軟測量建模的發展對于大規模的工業數據的需求極為顯著。然而，軟測量建模目前還存在很多問題。在工業過程中系統的復雜程度也是日益提高，過程數據中的非線性關系越來越突出，如果仍然利用傳統的線性方法建立軟測量模型，無疑不能勝任變量準確預測的任務，針對非線性過程特性，有神經網絡核方法等模型，在眾多模型中極限學習機模型由于它的計算速度快、建模效果準確，從而得到了越來越多的關注與應用。

與此同時，許多情況下機器學習問題中的有標簽樣本極為珍貴且非常稀少，無標簽樣本容易獲得但人工標記過程又困難重重。

發明內容

針對目前工業過程中有標簽樣本少、無標簽樣本多和過程非線性嚴重等問題，本發明提出了一種基于主動學習神經網絡模型的半監督軟測量建模方法，該方法將主動學習思想和神經網絡模型相結合，實現了關鍵過程變量的精確在線估計。

本發明具體技術方案如下：

一種基于主動學習神經網絡模型的工業過程半監督軟測量建模方法，其中，

所述的神經網絡模型分為三層，第一層為輸入層，第二層為隱藏層，第三層為輸出層，輸入層到隱藏層的權重和偏置分別為ω₁和b₁，隱藏層到輸出層的權重和偏置分別為ω₂和b₂，該模型對應數據的輸入變量為x，輸出變量為y，模型的輸出，即預測值為

所述的半監督軟測量建模方法步驟如下：

步驟一：收集歷史工業過程的數據組成建模用的訓練數據集，所述的訓練數據集既包括包含主導變量也包含輔助變量的有標簽數據集L，L∈R^n×d，也包括僅包含輔助變量的無標簽數據集U，U∈R^N×M，n表示有標簽數據集的數據樣本個數，d表示過程變量個數，R為實數集，N表示無標簽數據集的數據樣本個數，M表示無標簽數據集的輔助變量的個數；

步驟二：將步驟一中收集到的訓練數據集標準化，即將過程變量化成均值為0、方差為1的新的數據集和

步驟三：運用主動學習算法不斷更新有標簽樣本集

(1)利用標準化后的有標簽樣本集訓練神經網絡模型：

首先進行前向傳播計算出隱藏層神經元的輸出a，a＝σ(ω₁x+b₁)，σ表示非線性激活函數；同理可以計算輸出層的神經元輸出其中權重和偏置是初始化時隨機賦值的；完成前向傳播之后，可以通過反向傳播算法完成兩層權重和偏置的梯度求解；最后通過梯度下降算法不斷更新參數，從而使得模型不斷更新，直到符合建模要求，完成神經網絡建模過程，得到訓練后的神經網絡模型；

(2)利用訓練后的神經網絡模型按照距離準則，從標準化后的無標簽樣本集中挑選出與有標簽樣本集中所有樣本距離之和最大的N個無標簽樣本，然后將這N個無標簽樣本打上標簽，添加到有標簽樣本集中更新有標簽樣本集