[發(fā)明專利]一種基于預界機制的在線加權極限學習機方法

在審

• 申請?zhí)枺?/td>: 201810593832.7
• 申請日: 2018-06-11
• 公開（公告）號: CN108875961A
• 公開（公告）日: 2018-11-23
• 發(fā)明（設計）人: 宋允全;宋曉欣;梁錫軍;漸令
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06N99/00
• 分類號: G06N99/00;G06N3/04;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于預界機制的在線加權極限學習機方法，其特征在于：含有以下步驟：

(一)確定預界取值，對樣本進行歸一化處理。

(二)按照預界隨機初始化有效樣本集合(active set)，建立Weighted ELM模型，通過Weighted ELM模型的KKT條件，對模型進行求解，得到分類器。

(三)以mini-batch的形式采集數(shù)據(jù)流，采用分類器對數(shù)據(jù)流中的樣本進行分類。

(四)將錯誤分類樣本加入有效樣本集合(active set)，并按照最大值判定準則從有效樣本集合中剔除相應數(shù)量樣本，維持預界。

(五)利用矩陣校正技術以及Sherman-Morrison-Woodbury公式更新Weighted ELM模型，得到在線分類器，通過在線分類器對數(shù)據(jù)流進行在線預測。

2.根據(jù)權利要求1所述的基于預界機制的在線加權極限學習機方法，其特征在于：步驟(一)中，確定預界取值及樣本歸一化處理的具體步驟為：

(1)根據(jù)實際問題特征確定有效樣本集合的預界值n。

(2)確定訓練樣本集合和測試樣本集合；為降低各個輸入特征在數(shù)量級上的差異對模型性能所產(chǎn)生的影響，采用如下歸一化處理方式對樣本數(shù)據(jù)進行預處理，其中表示原始采集數(shù)據(jù)，m(x^j)表示第j個特征的平均值，σ(x^j)表示第j個特征的標準差。

3.根據(jù)權利要求1所述的基于預界機制的在線加權極限學習機方法，其特征在于：步驟(二)中，得到分類器的具體步驟為：

(1)按照確定的預界n隨機選取樣本構(gòu)造有效樣本集合，建立Weighted ELM模型：

其中，(x_i,y_i)為第i個訓練樣本點，N表訓練樣本總量，h(w,b,x_i)為隱層關于x_i的特征映射向量，w是連接輸入層和隱層節(jié)點的權重向量，b是隱層節(jié)點的基，極限學習機模型中w和b隨機初始化且在訓練過程中保持不變，ξ_i＝[ξ_i,1,...,ξ_i,m]^T為實際輸出y_i和預測輸出h(w,b,x_i)β的訓練誤差向量，C為平衡最小化誤差和最大化邊界距離的正則化參數(shù)，β為連接隱層和輸出層的輸出權重向量，W為N×N的對角權重矩陣。

權重矩陣W＝diag(w_ii)在加權算法模型中起著至關重要的作用，它決定著使用者尋找的重平衡程度。通常使用兩種加權策略生成權重矩陣：

第一種加權策略(W1)：

其中#(y_i)為訓練樣本集合中類y_i的樣本數(shù)量。

第二種加權策略(W2)：

其中AVG(y)為訓練樣本集合中各類的平均樣本數(shù)量。

(2)引入Lagrange乘子，構(gòu)造Lagrange函數(shù)為：

其中，α_i為拉格朗日乘子。

(3)對變量(β,ξ_i,α_i)求偏導并置零，得到KKT條件：

(4)通過消除變量ξ_i和a_i，得到關于β的兩種表達形式：

其中，L為隱藏層節(jié)點的個數(shù)。

(5)獲得二分類問題的分類器為：

f(x)＝sign(h(w,b,x)β) (7) 。

4.根據(jù)權利要求1所述的基于預界機制的在線加權極限學習機方法，其特征在于：步驟(四) 中，當采集到樣本真實標簽后，對比分類器的預測輸出，忽略正確預測樣本，將錯誤預測樣本加入有效樣本集合，按照最大值判定準則

k＝argm_iax|f(x_i)| (8)

從有效樣本集合中剔除相應數(shù)量向量以維持有效樣本集合的預界。

5.根據(jù)權利要求1所述的基于預界機制的在線加權極限學習機方法，其特征在于：步驟(五)中，利用矩陣校正技術以及Sherman-Morrison-Woodbury公式更新Weighted ELM模型，得到在線分類器的具體步驟為：

(1)假設已完成前k步更新，有效樣本集合的樣本總數(shù)為N_k。第k+1步，采用數(shù)據(jù)流中的樣本塊L_k+1取代原有效樣本集合中的樣本塊D_k+1。

(2)分別用以及來表示數(shù)據(jù)塊L_k+1和D_k+1的隱層輸出矩陣。同樣的，分別用以及來表示對應的輸出向量，以及表示對應數(shù)據(jù)塊的權重矩陣。定義以下表達方式：

特別的，定義轉(zhuǎn)置矩陣的組合形式：

對于更新后的有效樣本集合，樣本類別分布將發(fā)生改變，對加權矩陣進行更新，即：

第一種加權策略(W1)：

其中#(y_i)為屬于更新后有效樣本集合中的類別y_i的樣本數(shù)量(增加和移除相應數(shù)據(jù)塊后)。

第二種加權策略(W2)：

其中AVG(y)為更新后有效樣本集合中各類別的平均樣本數(shù)量(增加和移除相應數(shù)據(jù)塊后)。

(3)最優(yōu)權重向量可通過以下方式進行更新：

其中為當前有效樣本集合的權重矩陣。

(4)為了有效更新β^(k+1)，將K_k+1表示為：

以及另一部分

其中

(5)組合上式(13)和(14)，可得β^(k+1)的遞歸更新公式：

(6)利用Sherman-Morrison-Woodbury公式對更新公式K_k+1^-1＝(K_k+H'_k+1W_k+1H_k+1)^-1進行處理可得：

K_k+1^-1＝(K_k)^-1-(K_k)^-1H'_k+1(W_k+1^-1+H_k+1(K_k)^-1H'_k+1)^-1H_k+1(K_k)^-1 (16)

(7)令U_k+1＝K_k+1^-1，可得如下預界在線加權極限學習機更新公式

U_k+1＝U_k-U_kH'_k+1(W_k+1^-1+H_k+1U_kH'_k+1)^-1H_k+1U_k (17)

β^(k+1)＝β^(k)+U_k+1H'_k+1W_k+1(y_k+1-H_k+1β^(k)) (18)

(8)根據(jù)有效樣本集合更新的最優(yōu)權重向量β^(k+1)，可得新的決策函數(shù)，獲得更新后的分類器即在線分類器。