[發明專利]一種可伸縮的自適應多核分類方法

有效

• 申請號: 200910077364.9
• 申請日: 2009-02-19
• 公開（公告）號: CN101482926A
• 公開（公告）日: 2009-07-15
• 發明（設計）人: 田永鴻;楊晶晶;李遠寧;段凌宇;黃鐵軍;高文
• 申請（專利權）人: 北京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N1/00
• 代理公司: 北京市商泰律師事務所
• 代理人: 毛燕生

技術領域

本發明涉及一種數據分類方法，特別是關于一種可伸縮的自適應多核分類方法，屬于人工智能領域，具體屬于數據挖掘技術領域。

背景技術

核方法(Kernel?Methods)是目前廣為流行的數據分類方法，在很多領域都被廣泛的應用。當數據分類任務比較簡單，使用基于單個核函數的傳統的支持向量機(Support?Vector?Machine，SVM)能夠在預先選定合適的核函數的情況下，通過學習分類器參數來有效地進行數據分類。但在數據類別繁多且特征分布復雜的數據集中，相同類別的不同實例間存在特征表現的多樣性，而不同類別的實例間存在特征相關性。如圖1所示，其中左框內的六幅圖像是屬于“橋”這個類別的不同樣例。從圖1中可以看到，即使屬于同一個類別，不同實例也存在不同的視覺外觀，從而在特征屬性上有較大差異。例如，第一行的兩幅圖更傾向用“形狀”特征對橋進行刻畫；中間一行的兩幅石橋更傾向用“紋理”特征；最下面一行的兩幅更傾向用“顏色”和“形狀”來描述。因此，同一類別的圖像存在視覺特征的多樣性，稱之為“類內多樣性(Intra-class?diversity)”。再看圖1中最右邊的兩幅圖像，右上是屬于“建筑物”這個類別的圖像，右下是屬于“城市夜景”這個類別的圖像。可以看到不同類別的圖像也有可能在某些特征屬性上具有一定的相似性。例如石橋和建筑物在“形狀”和“紋理”上有一定的相似性；而城市夜景和橋的夜景在顏色上有一定的相似性。這種不同類的樣本在特征上的相似性稱為“類間相關性(Inter-class?correlation)”。因此，在進行圖像分類時，需要考慮到類內多樣性和類間相關性，并需從不同的側面對圖像類別進行描述與刻畫。而當所有的圖像都使用相同的特征集來進行描述時，一個好的分類方法應對不同類別的圖像使用不同的特征權重。顯然，在這種情況下，使用單一的核函數方法對所有的特征屬性等權重看待，忽略了某些屬性的特殊性，因此分類性能較差。

基于多個支持向量機融合的方法通過分別訓練多個基于不同核函數的支持向量機，再對訓練好的多個支持向量機進行加權融合構成最終的分類器。該方法比基于單核的支持向量機的分類性能更好。但由于需要分別學習多個支持向量機的參數，且這些參數和融合時的權值不能在統一的框架下進行優化，因此不僅訓練效率較低，而且不能獲得全局最優的參數組合。在處理較為復雜的分類任務時，分類性能較差。

基于多核的分類方法(Multiple?Kernel?Learning)通過學習多個核函數的最優權值將數據映射到更可分的特征空間中，并在統一的框架下對分類器的參數及多核權值參數進行學習，通過凸規劃可獲得全局最優解，從而可以獲得比基于單一核函數的支持向量機或者多個支持向量機融合的分類方法更好的分類性能。然而，由于其對所有的數據采用全局統一的加權策略，在面對類別繁多且數據分布復雜的任務時，很難有效地訓練一個泛化性強的決策函數，從而導致仍然不能獲得較好的分類性能。

在申請號為00808062.3、名稱為“使用多個支持向量機從多個數據組中提升知識發現”中國專利申請中，提出在多個數據組中采用多個支持向量機的分類方法。該方法強調多個基于單個核函數的支持向量機的使用，需要首先分別在多個數據組中依次訓練多個支持向量機，再用訓練好的多個支持向量機測試其對應數據組的測試數據，比較其多個支持向量機的測試輸出以便決定哪一個測試輸出表示一個最佳解。本發明與該方法的不同點：在本發明中，不是對多個基于單核的支持向量機分別進行訓練及測試比較最優解，而是將多個核函數引入同一個自適應多核分類器中，只需對唯一的分類器進行訓練，不僅提高分類準確率，同時提高訓練效率。