[發明專利]帶遺忘因子的在線時序多隱含層極限學習機的應用方法

在審

• 申請號: 201710577695.3
• 申請日: 2017-07-15
• 公開（公告）號: CN107330294A
• 公開（公告）日: 2017-11-07
• 發明（設計）人: 肖冬;李北京;毛亞純;柳小波
• 申請（專利權）人: 東北大學
• 主分類號: G06F19/00
• 分類號: G06F19/00
• 代理公司: 沈陽優普達知識產權代理事務所(特殊普通合伙)21234
• 代理人: 李曉光

1.一種帶遺忘因子的在線時序多隱含層極限學習機的應用方法，其特征在于包括以下步驟：

1)求一個具有多隱含層的極限學習機模型，得到該多隱含層極限學習機模型的輸出表達式；

2)對上述多隱含層極限學習機模型進行實時更新，輸出更新后模型的表達式。

2.根據權利要求1所述的帶遺忘因子的在線時序多隱含層極限學習機的應用方法，其特征在于：

步驟1)中，求一個具有多隱含層的極限學習機模型，得到該多隱含層極限學習機模型的輸出表達式，具體為：

11)給定樣本和多個隱含層的網絡結構，隱含層的激活函數為g，網絡輸出為g(a,b,X)，其中a為輸入層和第一隱含層之間的權重，b為第一隱層的偏差，X為輸入矩陣；

12)假設數據分批次變化，且每一批次都持續S個單位時間，在第k-th個單位時間的數據表示為N_j為j批次數據的個數；χ_k在[k k+s]的范圍內有效，j＝0,1,…k.，t_i為標志變量，在第(k+1)-th個單位時間的數據表示為k為任意大的正整數，x_i為輸入樣本，t_i為樣本標志量，th為批次。

13)假設k≥s-1，訓練數據的個數遠大于隱藏層節點的數目，Z_k+1為第(k+1)-th個單位時間預測出的結果，設l＝k-s+1,k-s+2,…k；數據在l-th時刻網絡第一個隱含層的輸出為：

(a_i,b_i)為輸入層和第一個隱含層之間的權值與閾值，i＝1,...L.隨機初始化；(G為隱含層激活函數，T為[k-s+1，k]內批數據樣本的標志量，T_l為第l批數據樣本的標志量；l為在[k-s+1，k]內的一個正整數；

得到最終隱含層的輸出權值β為：

β(k)=Hk-s+1...Hk+Tk-s+1...Tk=PkHk-s+1...HkTTk-s+1...Tk]]>

且

14)假設第二個隱含層的權值和偏差為W₁,B₁，則第二個隱含層的輸出為：

H1=Tk-s+1...Tkβ(k)+;]]>

15)假設W_HE＝[B₁ W₁]，則第二個隱含層的權值和偏差通過計算且假設H_E＝[1 H]^T，1為元素全為1的一維行向量，g^-1(x)為激活函數的g(x)反函數，W_HE和HE為假設的變量；

16)更新第二個隱含層的輸出為H₂＝g(W_HEH_E)；更新最終隱含層的輸出權值β為

17)假設第三個隱含層的權值和偏差為W₂,B₂，則第三個隱含層的輸出為

H3=Tk-s+1...Tkβnew+---(1)]]>

18)假設W_HE1＝[B₂ W₂]，則第三個隱含層的權值和偏差通過計算且H_E1＝[1 H₂]^T，1為元素全為1的一維行向量；g^-1(x)為激活函數的g(x)反函數；W_HE1、HE1為為假設的變量；

更新第三個隱含層的輸出為：

H₄＝g(W_HE1H_E1)(2)

19)更新最終隱含層的輸出權值β為：

βnew1=H4+Tk-s+1...Tk---(3)]]>

則最終的輸出為f＝β_new1H₄。