[發明專利]帶遺忘因子的在線時序多隱含層極限學習機的應用方法

在審

• 申請號: 201710577695.3
• 申請日: 2017-07-15
• 公開（公告）號: CN107330294A
• 公開（公告）日: 2017-11-07
• 發明（設計）人: 肖冬;李北京;毛亞純;柳小波
• 申請（專利權）人: 東北大學
• 主分類號: G06F19/00
• 分類號: G06F19/00
• 代理公司: 沈陽優普達知識產權代理事務所(特殊普通合伙)21234
• 代理人: 李曉光

技術領域

本發明涉及一種學習機，具體為一種帶遺忘因子的在線時序多隱含層極限學習機的應用方法。

背景技術

由于間歇過程的變量間存在著很強的非線性和耦合性，且很多實時數據都隨時間變化，具有很強的時效性，而傳統的單隱層極限學習機或者多隱層極限學習機都是事先根據建立好的模型預測結果輸出，不能根據數據結構上的變化來調整模型的變化，模型太過僵硬；單隱層的極限學習機對模型結構參數的優化不夠徹底，不能有效的減少噪聲的干擾，無法保證最終的隱藏輸出更接近預期的隱藏輸出。因此需要使用集成的在線時序單隱層極限學習機(EOS-ELM)，或者帶遺忘機制的集成的在線時序單隱層極限學習機(FOS-ELM)，它們可以根據數據結構上的變化調整模型變化，適應不同的時間階段，達到更好地效果；由于實時變化的數據都帶有一系列的不可避免噪聲信號的干擾。

目前，能夠滿足上述要求的在線時序學習機尚未見報道。

發明內容

針對現有技術中單隱層極限學習機或者多隱層極限學習機存在不能根據數據結構上的變化來調整模型變化等不足，本發明要解決的問題是提供一種既能根據數據結構上的變化來調整模型，也可以對模型參數進行深度優化的帶遺忘因子的在線時序多隱含層極限學習機的應用方法。

為解決上述技術問題，本發明采用的技術方案是：

本發明一種帶遺忘因子的在線時序多隱含層極限學習機的應用方法，包括以下步驟：

1)求一個具有多隱含層的極限學習機模型，得到該多隱含層極限學習機模型的輸出表達式；

2)對上述多隱含層極限學習機模型進行實時更新，輸出更新后模型的表達式。

步驟1)中，求一個具有多隱含層的極限學習機模型，得到該多隱含層極限學習機模型的輸出表達式，具體為：

11)給定樣本和多個隱含層的網絡結構，隱含層的激活函數為g，網絡輸出為g(a,b,X)，其中a為輸入層和第一隱含層之間的權重，b為第一隱層的偏差，X為輸入矩陣；

12)假設數據分批次變化，且每一批次都持續S個單位時間，在第k-th個單位時間的數據表示為N_j為j批次數據的個數；χ_k在[k k+s]的范圍內有效，j＝0,1,…k.，t_i為標志變量，在第(k+1)-th個單位時間的數據表示為k為任意大的正整數，x_i為輸入樣本，t_i為樣本標志量，th為批次。

13)假設k≥s-1，訓練數據的個數遠大于隱藏層節點的數目，Z_k+1為第(k+1)-th個單位時間預測出的結果，設l＝k-s+1,k-s+2,…k；數據在l-th時刻網絡第一個隱含層的輸出為：

(a_i,b_i)為輸入層和第一個隱含層之間的權值與閾值，i＝1,...L.隨機初始化；G為隱含層激活函數，T為[k-s+1，k]內批數據樣本的標志量，T_l為第l批數據樣本的標志量；l為在[k-s+1，k]內的一個正整數；

得到最終隱含層的輸出權值β為：

且

14)假設第二個隱含層的權值和偏差為W₁,B₁，則第二個隱含層的輸出為：

15)假設W_HE＝[B₁ W₁]，則第二個隱含層的權值和偏差通過計算且假設H_E＝[1 H]^T，1為元素全為1的一維行向量，g^-1(x)為激活函數的g(x)反函數，W_HE和HE為假設的變量；

16)更新第二個隱含層的輸出為H₂＝g(W_HEH_E)；更新最終隱含層的輸出權值β為

17)假設第三個隱含層的權值和偏差為W₂,B₂，則第三個隱含層的輸出為