[發明專利]一種域適應學習的最優核組合選擇方法

在審

• 申請號: 201310669455.8
• 申請日: 2013-12-10
• 公開（公告）號: CN103605813A
• 公開（公告）日: 2014-02-26
• 發明（設計）人: 董樂;全品杰;封寧;呂娜
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 成都華典專利事務所(普通合伙) 51223
• 代理人: 徐豐;楊保剛

發明領域

本發明屬于跨域學習領域中的一種最優核組合選擇算法，具體講，是在兩個樣本域不同分布并且其中一個樣本的標簽數據稀少的基礎上，通過核組合方法利用輔助域的數據在目標域中訓練一個分類器。

背景技術

傳統的機器學習方法通常假設訓練數據與測試數據服從同一分布。但是對于很多實際的應用，非常困難獲取足夠的具有標簽的樣本來訓練一個魯棒的分類器。最近，很多研究者關注跨域學習的問題，也就是說通過利用輔助域的數據（已標簽）來幫助目標域（少量標簽，但不足以訓練一個魯棒的分類器）訓練一個分類器，但是目標域與輔助域的并不服從同一分布。

為了充分利用目標域與輔助域的標簽數據，Daume提出了一個feature?replication方法來用增強feature。這種擴展feature的方法通過構造一個支持向量機核函數來執行。Yang等人提出了自適應向量機方法來進行跨域學習，并且成功將這個方法用于視覺概念分類。主要是通過輔助域的分類器來適配新的分類器。Jiang等人提出了跨域支持向量機通過用k最鄰近方法來對每一個標簽數據定義一個權重，然后通過不斷調整權重來訓練分類器。

這些方法共同的一個不足是，這些方法沒有充分利用目標域中沒有標簽的數據，沒有標簽的數據可以用來提升分類器的性能。一個共同的觀察，這些方法都利用了支持向量機、支持向量機的變體以及相應的核方法，將目標域與輔助域的源數據映射到特征空間來獲得一個魯棒的分類器，同時最小化目標域與輔助域之間的不匹配程度。分類器的性能嚴重的依賴于核函數以及相關參數的選擇。在本發明中，我們提出了一個方法在跨域學習中進行最優核組合的選擇。

發明內容

本發明的目的是在于為了克服傳統機器學習目標域樣本標簽數據稀少的情況下，不足以用目標域中的標簽樣本訓練魯棒的分類器。我們通過域適應方法，充分利用大量標簽的輔助域數據為目標域訓練一個魯棒的分類器，應用于目標域數據的分類工作。在跨域學習過程中，需要用到相應的核函數組合，而本發明實現了一種方法用來求解得到一組最優的核函數組合。

為實現上述目標，本創新發明的技術解決方案如下：

一種域適應學習的最優核組合選擇方法，其特征在于包括以下步驟：

步驟1、將輔助域與目標域的樣本映射到高維空間中通過假設檢驗的方法判斷兩樣本服從同一分布的概率，同時，用支持向量機對輔助域與目標域的數據進行經驗結構風險最小化。

注：輔助域，即與目標樣本相似的具有大量標簽的樣本域。目標域，即我們需要對該樣本域訓練一個分類器，而該樣本域沒有足夠的標簽樣本來訓練一個魯棒的分類器。

本發明采用流行的20Newsgrous數據庫進行實驗，改數據庫共有六個主要的類別與20種不同的新聞組，每一個新聞組屬于不同的主題。具體采取的輔助域與目標域樣本如下：