[發(fā)明專利]一種基于相關(guān)熵和遷移學(xué)習(xí)的分類方法

有效

• 申請?zhí)枺?/td>: 201811230487.7
• 申請日: 2018-10-22
• 公開（公告）號: CN109657693B
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計）人: 王微;武斌;黃志宇;于潔
• 申請（專利權(quán)）人: 中國科學(xué)院軟件研究所
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/778;G06V40/16
• 代理公司: 北京君尚知識產(chǎn)權(quán)代理有限公司 11200
• 代理人: 余長江

本發(fā)明公開一種基于相關(guān)熵和遷移學(xué)習(xí)的分類方法，屬于機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，用于解決現(xiàn)有技術(shù)中需要對不可預(yù)知的噪聲進(jìn)行稀釋性假設(shè)及目標(biāo)數(shù)據(jù)集標(biāo)注樣本不足的問題，充分利用源數(shù)據(jù)集的標(biāo)簽信息，通過源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集共同學(xué)習(xí)，在嚴(yán)重噪聲環(huán)境下，將源數(shù)據(jù)集中的知識魯棒地遷移到目標(biāo)數(shù)據(jù)集，從而顯著提高目標(biāo)數(shù)據(jù)集上的分類識別效果。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種基于相關(guān)熵和遷移學(xué)習(xí)的分類方法。

背景技術(shù)

在傳統(tǒng)的機(jī)器學(xué)習(xí)框架下，監(jiān)督學(xué)習(xí)的任務(wù)是利用有標(biāo)注的訓(xùn)練樣本來學(xué)習(xí)一個分類模型，并利用這個模型對測試樣本進(jìn)行分類和預(yù)測。這些傳統(tǒng)的監(jiān)督學(xué)習(xí)模型存在一個基本假設(shè)，即大量的有標(biāo)注的訓(xùn)練樣本和測試樣本服從相同的概率分布。然而在當(dāng)前眾多的研究領(lǐng)域中，由于昂貴的人工標(biāo)注代價，訓(xùn)練樣本和測試樣本通常分別來自源域和目標(biāo)域兩個不同的領(lǐng)域，從而服從不同的概率分布。在這種情況下，傳統(tǒng)的分類模型無法擴(kuò)展到測試樣本所在的目標(biāo)域。遷移學(xué)習(xí)旨在通過挖掘兩個領(lǐng)域間的關(guān)聯(lián)，將源域的知識傳遞到目標(biāo)域，從而幫助測試樣本的分類。因此，遷移學(xué)習(xí)能有效解決標(biāo)注樣本不足的問題，節(jié)約人力成本，在機(jī)器學(xué)習(xí)和模式識別中占據(jù)重要地位。

傳統(tǒng)的遷移學(xué)習(xí)方法以線性模型為主，同時也逐漸向基于深度網(wǎng)絡(luò)等非線性模型過渡。

近年來，能抵抗實際噪聲的知識遷移受到越來越多的關(guān)注。然而已有的魯棒的知識遷移方法存在以下問題。這些魯棒方法假設(shè)數(shù)據(jù)中存在的噪聲是稀疏的，然而在實際問題中，數(shù)據(jù)可能被各種復(fù)雜的、不可預(yù)知的噪聲所污染。這些被復(fù)雜噪聲污染的數(shù)據(jù)將嚴(yán)重影響已有知識遷移方法的結(jié)果，甚至造成負(fù)遷移。

對不可預(yù)知的噪聲而言，基于相關(guān)熵的損失函數(shù)能夠帶來優(yōu)于傳統(tǒng)經(jīng)驗損失函數(shù)的魯棒效果，對相關(guān)熵研究的重要性在魯棒學(xué)習(xí)領(lǐng)域已經(jīng)形成共識。如何基于相關(guān)熵理論進(jìn)一步發(fā)展遷移學(xué)習(xí)技術(shù)方法仍然存在極大挑戰(zhàn)。

發(fā)明內(nèi)容

為克服上述問題，本發(fā)明提出一種基于相關(guān)熵和遷移學(xué)習(xí)的分類方法，充分利用源數(shù)據(jù)集的標(biāo)簽信息，通過源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集共同學(xué)習(xí)，有效解決了目標(biāo)數(shù)據(jù)集標(biāo)注樣本不足的問題。

為實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：

一種基于相關(guān)熵和遷移學(xué)習(xí)的分類方法，包括以下步驟：

分別對有標(biāo)簽的源數(shù)據(jù)集、無標(biāo)簽的目標(biāo)數(shù)據(jù)集進(jìn)行L2范數(shù)歸一化；

利用基于相關(guān)熵的遷移學(xué)習(xí)算法，對所述歸一化的源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集進(jìn)行遷移迭代訓(xùn)練，得到特征變換矩陣；

利用所述特征變換矩陣，將所述歸一化的源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集都映射到一特征空間，在該特征空間中所述歸一化的源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集的概率分布相同；

在所述特征空間中，利用所述歸一化的源數(shù)據(jù)集及其標(biāo)簽信息進(jìn)行訓(xùn)練，得到目標(biāo)分類器；

利用目標(biāo)分類器對所述歸一化的目標(biāo)數(shù)據(jù)集進(jìn)行分類預(yù)測，以實現(xiàn)目標(biāo)數(shù)據(jù)集的分類。

進(jìn)一步地，所述基于相關(guān)熵的遷移學(xué)習(xí)算法的目標(biāo)方程為：

其中，是基于相關(guān)熵的誤差損失函數(shù)，W是特征變換矩陣，C是重構(gòu)系數(shù)矩陣，X_t是目標(biāo)數(shù)據(jù)集組成的矩陣，X_s是源數(shù)據(jù)集組成的向量，σ是高斯函數(shù)帶寬，(WX_t-WX_sC)ⁱ是誤差矩陣(WX_t-WX_sC)的第i列向量，λ₁和λ₂是平衡系數(shù)，m表示目標(biāo)數(shù)據(jù)集的數(shù)據(jù)樣本個數(shù)。

進(jìn)一步地，引入半二次優(yōu)化中的輔助變量p_i，對所述基于相關(guān)熵的遷移學(xué)習(xí)算法的目標(biāo)方程進(jìn)行更新，更新后的目標(biāo)方程為：