[發明專利]基于固定預算的核嶺回歸在線學習方法

在審

• 申請號: 201810593893.3
• 申請日: 2018-06-11
• 公開（公告）號: CN108875962A
• 公開（公告）日: 2018-11-23
• 發明（設計）人: 宋允全;高富豪;梁錫軍;漸令
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06N99/00
• 分類號: G06N99/00;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于固定預算的核嶺回歸在線學習方法，其特征在于含有以下步驟：

(一)通過數值實驗確定預算取值；

(二)按照預算隨機選取初始學習樣本構造初始學習樣本集合，建立嶺回歸模型，通過中心化方法將嶺回歸模型轉化為無截距的嶺回歸模型并得到嶺回歸解，引入核技巧將嶺回歸預測器等價轉化為核嶺回歸預測器；

(三)以mini-batch或one-by-one的形式采集數據流，采用預測器對數據流中的樣本進行預測；

(四)采用3-σ法則剔除數據流中的噪聲，以保持預測器的穩定性；

(五)根據樣本貢獻值將部分樣本加入學習樣本集合，并按照最小貢獻準則剔除相應數量的樣本，維持預算穩定；

(六)利用低秩矩陣校正技術以及Sherman-Morrison-Woodbury公式更新核嶺回歸模型，得到在線預測器，通過在線預測器對數據流進行在線預測。

2.根據權利要求1所述的基于固定預算的核嶺回歸在線學習方法，其特征在于：步驟(一)中，確定預算取值的具體步驟為：

(1)確定訓練樣本集合和測試樣本集合。

(2)依次選取待測預算值，按照待測預算值在訓練樣本集合中隨機選取相應數目的樣本，建立核嶺回歸模型，并應用測試樣本集合測試該預算值的精度。

(3)執行步驟(2)10次，并計算各個預算的平均測試精度及平均測試時間。

(4)利用平均測試精度和平均測試時間繪制雙縱軸曲線，綜合考慮時間成本和核嶺回歸模型精度確定合理預算。

3.根據權利要求1所述的基于固定預算的核嶺回歸在線學習方法，其特征在于：步驟(二)中，得到預測器的具體步驟為：

按照確定的預算n隨機選取訓練樣本構造學習樣本集合，建立嶺回歸模型，嶺回歸模型表示為：

其中，β為嶺回歸預測器的系數向量，b為截距項，e_i為誤差項，λ為模型正則化參數，表示特征映射，通過指定核函數的方式隱式確定；

采用如下中心化方法去掉模型中的截距項，具體方法為：用替換x_ij，表示第j個輸入變量的樣本均值，并用作為截距項b的估計。此時，可求解系數向量β得到嶺回歸解，表示為：

β＝[φ^T(X)φ(X)+λI]^-1φ^T(X)y, (2)

其中，y＝[y₁；…；y_n].

將嶺回歸解(2)等價轉化為如下內積表示形式

φ^T(X)[φ(X)φ^T(X)+λI]^-1y, (3)

進一步引入核技巧可得核嶺回歸預測器：

f(x)＝k(x,X)(K+λI)^-1y. (4)

其中，k(x,X)＝[k(x,x₁),k(x,x₂),…,k(x,x_n)]，k(·,·)為核函數，由用戶指定。

4.根據權利要求1所述的基于固定預算的核嶺回歸在線學習方法，其特征在于：步驟(六)中，利用低秩矩陣校正技術以及Sherman-Morrison-Woodbury公式更新核嶺回歸模型，得到在線預測器的具體步驟為：

(1)采用數據流中的樣本取代原學習樣本集中的樣本

(2)標記舊模型中需要求逆的對稱正定矩陣(K+λI)為A,即

構造校正矩陣U∈R^n×m，具體表示為：

以及校正矩陣V∈R^n×m，具體表示為：

(3)利用所構造的校正矩陣U∈R^n×m和V∈R^n×m修正對稱正定矩陣A，即：

U^TV+V^TU+A (8)

(4)利用Sherman-Morrison-Woodbury公式更新(8)中對稱正定矩陣的逆矩陣：

Q^-1-Q^-1V(I+U^TQ^-1V)^-1U^TQ^-1 (9)

其中，Q^-1＝A^-1-A^-1U(I+V^TA^-1U)^-1V^TA^-1；

(5)根據學習樣本集合更新右端向量y，獲得更新后的預測器，即在線預測器。