[發明專利]一種基于預界機制的在線加權極限學習機方法

在審

• 申請號: 201810593832.7
• 申請日: 2018-06-11
• 公開（公告）號: CN108875961A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 宋允全;宋曉欣;梁錫軍;漸令
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06N99/00
• 分類號: G06N99/00;G06N3/04;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于預界機制的在線加權極限學習機方法，首先確定預界取值，在訓練集上選擇有效向量構造初始有效向量集合，利用加權機制建立加權極限學習機模型，并采用矩陣校正技術和Sherman?Morrison?Woodbury公式更新加權極限學習機模型得到在線預測器，從而實現對應用場景中出現的類別不平衡數據流的在線預測。該方法采用固定的預界機制，能夠有效防止信息溢出，進而精確控制在線學習模型的規模。本發明在線學習方法，能夠靈活有效處理類別不平衡和概念漂移同時發生的應用問題。此外，數據可通過數據塊的形式進行采集，進一步降低了方法的計算復雜度，拓寬了模型的應用范圍，可有效服務于具概念漂移特性的類別不平衡數據在線預測任務的實施。

技術領域

本發明屬于數據挖掘與機器學習領域，涉及數據挖掘和數據處理方法，具體地，涉及一種基于預界機制的在線加權極限學習機方法。

背景技術

極限學習機是一種快速的單隱層神經網絡模型，于2004年由南洋理工大學的黃廣斌教授提出。極限學習機模型的隱層節點參數在網絡參數的確定過程中是隨機選取的，而且不需要在訓練過程中進行調節，我們只需通過設置隱含層神經元的個數便可獲得唯一最優解，因此克服了傳統單隱層神經網絡模型容易陷入局部最優解的問題。極限學習機的輸出權值通過最小化平方損失函數，并轉化為矩陣的廣義逆計算得到。黃廣斌教授等證明了極限學習機模型的泛化能力：隨機設置隱層節點參數，即對于任意隱層節點i，隨機初始化連接輸入層與第i 個隱層節點的權重向量w_i和第i個隱層節點的基b_i，且在訓練過程中保持w_i和b_i不變，極限學習機模型可以實現任意精度逼近。許多應用問題處理的數據具有數據流特性，采集的樣本是以數據流的形式隨時間推移不斷出現的。為處理此類問題，Liang等人提出了在線順序極限學習機算法(OS-ELM)，可以有效處理不同規模數據塊的數據流挖掘問題。為了處理伴隨有類別不平衡特征的數據流挖掘問題，Zong等人提出了一種加權的極限學習機算法(Weighted ELM)，給訓練樣本逐點分配權重，以削弱類別不平衡所產生的不利影響。然而，一方面現有的加權極限學習機不是在線模型；另一方面現有的在線順序極限學習機算法屬于增量式學習算法，采集樣本量隨時間線性增長，模型的規模、存儲空間都將隨之不斷增加，導致模型效率不斷降低。為解決上述問題，亟需建立一種固定預算的在線加權極限學習機方法，在保證模型精度的同時有效控制模型復雜度，高效處理類別不平衡數據流挖掘問題。

發明內容

本發明的目的在于克服現有OS-ELM和Weighted ELM極限學習機學習方法無法有效控制模型規模等不足，提出了一種基于預界機制的在線加權極限學習機方法，該方法基于有限存儲空間能夠有效處理類別不平衡數據流挖掘問題，滿足應用問題的實時性需求。

根據本發明一實施例，提供了一種基于預界機制的在線加權極限學習機方法，含有以下步驟：

(一)確定預界取值，對樣本進行歸一化處理。

(二)按照預界隨機初始化有效樣本集合(active set)，建立Weighted ELM模型，通過Weighted ELM模型的KKT條件，對模型進行求解，得到分類器。

(三)以mini-batch的形式采集數據流，采用分類器對數據流中的樣本進行分類。

(四)將錯誤分類樣本加入有效樣本集合(active set)，并按照最大值判定準則從有效樣本集合中剔除相應數量樣本，維持預界。

(五)利用矩陣校正技術以及Sherman-Morrison-Woodbury公式更新Weighted ELM模型，得到在線分類器，通過在線分類器對數據流進行在線預測。

在本發明實施例的學習方法步驟(一)中，確定預界范圍及樣本歸一化處理的具體步驟為：

(1)根據實際問題特征確定有效樣本集合的預界值n。