[發明專利]基于預算支持向量集的LS?SVMs在線學習方法

有效

• 申請號: 201610087343.5
• 申請日: 2016-02-16
• 公開（公告）號: CN105787507B
• 公開（公告）日: 2017-06-30
• 發明（設計）人: 漸令;宋允全;申淑謙;梁錫軍
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 青島聯信知識產權代理事務所37227
• 代理人: 徐艷艷,高洋

1.一種基于預算支持向量集合的LS-SVMs在線學習方法，其特征在于：含有以下步驟：

(一)利用訓練樣本確定預算范圍；確定預算范圍的具體步驟為：

(1)確定訓練樣本集合和測試樣本集合；

(2)根據實際問題特征確定待測預算集合；

(3)依次選取預算n，按照預算n在訓練樣本集合中隨機選取相應數目的樣本，建立LS-SVMs模型，并應用測試樣本集合測試該預算n的精度；

(4)執行步驟(3)10次，并計算各個預算的平均測試精度及平均測試時間；

(5)利用平均測試精度和平均測試時間繪制雙縱軸曲線，綜合考慮時間成本和LS-SVMs模型精度確定合理預算；

(二)按照預算隨機選取初始支持向量集合，建立LS-SVMs模型，通過KKT條件將LS-SVMs模型轉化為鞍點系統，將鞍點系統等價轉化為兩個正定系統并采用共軛梯度法進行求解，得到預測器；得到預測器的具體步驟為：

按照確定的預算n隨機選取訓練樣本構造支持向量集合，建立LS-SVMs模型，LS-SVMs模型表示為：

其中，w為分類超平面的法向量，b為分類超平面的截距項，eⁱ為誤差項，v為模型正則化參數，表示特征映射，通過指定核函數的方式隱式確定；

通過KKT條件將LS-SVMs模型轉化為鞍點系統，表示為：

$\left[\begin{array}{cc}{K}_{ij}+{\mathrm{vI}}_n& 1_n\\ 1_n^T& 0\end{array}\right]\left[\begin{array}{c}\mathrm{\α}\\ b\end{array}\right]=\left[\begin{array}{c}y\\ 0\end{array}\right]---\left(2\right)$

其中，k(·,·)為核函數，由用戶指定；

將鞍點系統等價轉化為兩個正定系統，表示為：

$\left\{\begin{array}{c}H\mathrm{\μ}=y\\ H\mathrm{\η}=1_n\end{array}\right.---\left(3\right)$

采用共軛梯度法求解所述兩個正定系統，得到決策系數α和偏置系數b為：

$\left\{\begin{array}{c}\mathrm{\α}=\mathrm{\μ}-b\mathrm{\η}\\ b=1_n^T\mathrm{\μ}/1_n^T\mathrm{\η}\end{array}\right.---\left(4\right)$

進而獲得預測器為：

$f\left(x\right)={\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_{i}K(x_i,x)+b---\left(5\right);$

(三)以mini-batch或one-by-one的形式采集數據流，采用預測器對數據流中的樣本進行預測；

(四)將錯誤預測樣本加入支持向量集合，并按照最大相似性或時間準則剔除相應數量支持向量，維持預算穩定；

(五)利用低秩矩陣校正方法以及Sherman-Morrison-Woodbury公式更新LS-SVMs模型，得到在線預測器，通過在線預測器對數據流進行在線預測。

2.根據權利要求1所述的基于預算支持向量集合的LS-SVMs在線學習方法，其特征在于：步驟(五)中，利用低秩矩陣校正方法以及Sherman-Morrison-Woodbury公式更新LS-SVMs模型，得到在線預測器的具體步驟為：

(1)采用數據流中的樣本取代原支持向量集合的樣本

(2)構造校正矩陣U∈R^n+1,m，具體表示為：以及構造矩陣V∈R^n+1,m，具體表示為：

(3)將校正矩陣U∈R^n+1,m和校正矩陣V∈R^n+1,m與鞍點矩陣相加，即：

$U^{T}V+V^{T}U+\left[\begin{array}{cc}K+{\mathrm{vI}}_n& 1_n\\ 1_n^T& 0\end{array}\right]---\left(7\right)$

通過上述公式(7)進行鞍點矩陣的更新；

(4)利用Sherman-Morrison-Woodbury公式得到更新后鞍點矩陣的逆矩陣為：

Q^-1-Q^-1V(I+U^TQ^-1V)^-1U^TQ^-1(8)

式中，Q^-1＝A^-1-A^-1U(I+VA^-1U)^-1V^TA^-1,

(5)根據支持向量集合更新鞍點系統的右端向量并計算出新的決策系數和偏置系數，獲得更新后的預測器，更新后的預測器即為在線預測器。