[發明專利]適用于小樣本預測的消極支持向量機模型

在審

• 申請號: 201710656708.6
• 申請日: 2017-08-03
• 公開（公告）號: CN107292457A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 付旭云;鐘詩勝;林琳;張永健;王琳
• 申請（專利權）人: 哈爾濱工業大學（威海）
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06K9/62
• 代理公司: 威海科星專利事務所37202
• 代理人: 初姣姣

技術領域：

本發明涉及小樣本預測問題技術領域，具體的說是一種適用于小樣本預測的消極支持向量機模型。

背景技術：

基于樣本對新個體的輸出進行預測是工程應用中廣泛存在的一類問題。對于這類問題，目前采用的方法可以分為兩類。第一類是首先基于樣本建立輸入空間與輸出空間的映射關系，然后基于此映射關系對新個體進行預測，如統計學中的各種回歸方法、機器學習中的人工神經網絡、支持向量機等方法。這類方法稱為積極預測方法。第二類是首先不根據樣本建立任何映射關系，只有當對新個體進行預測時，才會根據樣本和新個體的關系建立輸入空間與輸出空間的映射關系，然后基于此映射關系對新個體進行預測，如k-近鄰算法、局部加權回歸等方法。這類方法稱為消極預測方法。需要注意的是，消極預測方法建立的映射關系僅適用于單個個體的預測，當需要對其他個體進行預測時，還需重新建立映射關系。

因為樣本天然稀少或收集困難等原因，很多預測問題都屬于小樣本預測問題。小樣本預測問題的實質是信息不足，樣本不能完整地反映輸入空間與輸出空間的映射關系，即樣本空間是不完備的。目前對小樣本預測問題的處理主要有三種思路。第一種是采用泛化性能好的積極預測方法進行預測，如支持向量機、極端學習機。這種方法受限于樣本空間的不完備，導致其建立的全局映射關系與實際映射關系有比較大的差異，預測誤差較大。第二種是采用某些方法將小樣本問題擴展為大樣本問題，然后再進行預測。這種方法也不能從根本上改進預測精度。第三種是采用消極預測方法進行預測。當待預測個體與樣本比較接近時，采用消極預測方法往往能夠取得比積極預測方法更好的效果，但目前常用的幾種消極預測方法都是比較直接簡單地利用樣本信息，其預測效果還有改進的空間。

對于小樣本預測問題，建模時利用的信息越多，其可能取得的效果就會越好。與積極預測方法相比，消極預測方法除利用樣本信息外，還利用了待預測個體的信息，但傳統消極預測方法存在不能充分利用樣本信息的問題。

發明內容：

本發明針對現有技術中存在的缺點和不足，提出了一種將支持向量機引入到消極預測方法的適用于小樣本預測的消極支持向量機模型。

本發明通過以下措施達到：

一種適用于小樣本預測的消極支持向量機模型，其特征在于首先需要建立模型，具體包括以下內容：

步驟1：給定一個樣本T＝{(x₁,y₁),(x₂,y₂),…,(x_l,y_l)}和待預測個體(x^*,y^*)，其中，x_i∈Rⁿ，y_i∈R，i＝1,2,…l，l為T的容量，x_i為T中個體的輸入，y_i為T中個體的輸出，目標是基于T和x^*建立消極支持向量機模型，對y^*進行預測；

步驟2：以ε-支持向量機回歸模型為基礎構造消極支持向量機模型，在ε-支持向量機回歸模型中，為了保證其具有良好的泛化性能，引進了ε-不敏感損失函數，如式(1)：

|y_i-f(x_i)|_ε＝max{0,|y_i-f(x_i)|-ε}(1)

式中，f(·)為模型的決策函數，ε為一個事先給定的小正數，當y_i與f(x_i)之間的誤差不超過ε時，認為模型對(x_i,y_i)的擬合是無誤差的；

步驟3：確定ε-支持向量機回歸模型的目標是找到適當的決策函數；

f(x)＝wΦ(x)+b(2)

擬合T，使得

最小，式中，w為法向量，Φ(·)為映射函數，b為截距，C＞0，稱為懲罰參數，在ε-支持向量機回歸模型中，ε為一定值，這說明ε-支持向量機回歸模型對樣本中所有個體容許的無損失誤差區間是相等的，步驟4：為了建立消極支持向量機回歸模型，首先引入Ε-不敏感損失函數，如式(4)：

|y_i-f(x_i)|_E＝max{0,|y_i-f(x_i)|-E(||x_i-x^*||)}(4)