[發(fā)明專利]一種跨模態(tài)的遷移學(xué)習(xí)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110477456.7
• 申請(qǐng)日: 2021-04-30
• 公開（公告）號(hào): CN113139664B
• 公開（公告）日: 2023-10-10
• 發(fā)明（設(shè)計(jì)）人: 蔣鑫龍;陳前;陳益強(qiáng);張騰;谷洋
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院計(jì)算技術(shù)研究所
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00;G06F18/214;G06F18/241
• 代理公司: 北京泛華偉業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11280
• 代理人: 王勇

本發(fā)明實(shí)施例提供了一種跨模態(tài)的遷移學(xué)習(xí)方法，該方法通過構(gòu)建遷移學(xué)習(xí)模型，用全局領(lǐng)域判別模塊對(duì)齊邊緣分布，用局部類別判別模塊細(xì)粒度地從類別角度對(duì)齊特征的條件分布，用局部模態(tài)判別模塊細(xì)粒度地從模態(tài)角度對(duì)齊特征的條件分布，該模型架構(gòu)基于對(duì)抗網(wǎng)絡(luò)的遷移學(xué)習(xí)的思想，能在訓(xùn)練過程中適配跨模態(tài)遷移學(xué)習(xí)中邊緣分布差異和條件分布差異，并利用對(duì)抗訓(xùn)練去自適應(yīng)學(xué)到更多可遷移特征，從而提高分類模型的性能。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)、個(gè)性化適配領(lǐng)域，具體來說涉及跨模態(tài)遷移學(xué)習(xí)領(lǐng)域，更具體地說，涉及一種跨模態(tài)的遷移學(xué)習(xí)方法。

背景技術(shù)

隨著計(jì)算資源和數(shù)據(jù)規(guī)模的爆發(fā)式增長，機(jī)器學(xué)習(xí)技術(shù)在理論方法和實(shí)際應(yīng)用領(lǐng)域都取得了顯著的進(jìn)展。機(jī)器學(xué)習(xí)是人工智能中的重要方法，也是目前發(fā)展最迅速、效果最顯著的方法。對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)，學(xué)習(xí)的目標(biāo)是在給定充足訓(xùn)練數(shù)據(jù)的基礎(chǔ)上來學(xué)習(xí)一個(gè)模型，然后將這個(gè)學(xué)習(xí)的模型應(yīng)用到新的待測試數(shù)據(jù)上進(jìn)行預(yù)測。然而，實(shí)際應(yīng)用往往復(fù)雜多變，在不同場景、不同計(jì)算條件和不同的用戶需求下具有極強(qiáng)的動(dòng)態(tài)變化性，傳統(tǒng)的機(jī)器學(xué)習(xí)方法難以在適應(yīng)這些場景動(dòng)態(tài)性的同時(shí)保證良好的模型效果。

傳統(tǒng)機(jī)器學(xué)習(xí)的目標(biāo)是希望構(gòu)建一個(gè)盡可能通用的模型，使得模型對(duì)于不同的用戶，不同的計(jì)算環(huán)境，不同的需求都可以表現(xiàn)出很好的預(yù)測性能，這就要求模型具有足夠的泛化性能去適應(yīng)不同的用戶、不同的數(shù)據(jù)類型、和不同的需求來服務(wù)于現(xiàn)實(shí)應(yīng)用。然而，由于每個(gè)用戶的個(gè)性化需求不同，短期內(nèi)無法用一個(gè)通用的模型去滿足。針對(duì)不同的用戶需求，需要對(duì)通用的模型加以改造和適配，使其更好地服務(wù)于人們的個(gè)性化需求。此外，對(duì)于海量的數(shù)據(jù)，需要更多的計(jì)算資源去存儲(chǔ)和訓(xùn)練機(jī)器學(xué)習(xí)模型，為了獲得更好的性能，一些常用的模型通常具有很高的計(jì)算復(fù)雜度，訓(xùn)練周期較長，而雄厚的計(jì)算資源通常掌握在一些大公司手上，絕大多數(shù)普通用戶很難具有這些強(qiáng)計(jì)算能力，這也是機(jī)器學(xué)習(xí)模型構(gòu)建者需要考慮的重要問題。

上述問題在一定程度上阻礙了機(jī)器學(xué)習(xí)技術(shù)的發(fā)展和廣泛應(yīng)用。遷移學(xué)習(xí)作為機(jī)器學(xué)習(xí)中的一個(gè)代表性方法應(yīng)運(yùn)而生，是機(jī)器學(xué)習(xí)中一個(gè)重要的研究方向，其區(qū)別于傳統(tǒng)機(jī)器學(xué)習(xí)方法之處在于，通過找尋待標(biāo)定數(shù)據(jù)和已知標(biāo)簽數(shù)據(jù)之間的聯(lián)系，將某個(gè)領(lǐng)域上學(xué)習(xí)到的知識(shí)應(yīng)用到不同但相關(guān)的領(lǐng)域中。遷移學(xué)習(xí)試圖實(shí)現(xiàn)人通過類比學(xué)習(xí)的能力，是從當(dāng)前的監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)，進(jìn)一步過渡到無監(jiān)督學(xué)習(xí)的重要工具。遷移學(xué)習(xí)在解決數(shù)據(jù)分布動(dòng)態(tài)變化、數(shù)據(jù)類別多樣以及個(gè)性化學(xué)習(xí)的問題時(shí)具有明顯的優(yōu)勢(shì)，可以大大增強(qiáng)機(jī)器學(xué)習(xí)模型的泛化能力。

在數(shù)據(jù)模態(tài)多樣、特征多變的應(yīng)用場景中，由于收集途徑和難度的差異，多模態(tài)數(shù)據(jù)通常存在嚴(yán)重的非均衡性和動(dòng)態(tài)性挑戰(zhàn)，如何將源域充足的知識(shí)向目標(biāo)域遷移，根據(jù)應(yīng)用場景的數(shù)據(jù)模態(tài)和變化進(jìn)行有效的跨模態(tài)遷移和任務(wù)推理已經(jīng)成為亟待解決的重要問題。在跨模態(tài)的遷移學(xué)習(xí)中，多模態(tài)數(shù)據(jù)的邊緣分布和條件分布對(duì)于遷移學(xué)習(xí)的貢獻(xiàn)往往不同，自適應(yīng)的表征邊緣分布和條件分布的相對(duì)重要性困難，難以學(xué)到單模態(tài)深度特征與多模態(tài)特征分布之間更本質(zhì)關(guān)系等問題。

發(fā)明內(nèi)容

因此，本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺陷，提供一種跨模態(tài)的遷移學(xué)習(xí)方法。

本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：

根據(jù)本發(fā)明的第一方面，提供一種遷移學(xué)習(xí)模型，包括：分類模型，其是基于帶類別標(biāo)簽的單模態(tài)的源域的數(shù)據(jù)預(yù)先訓(xùn)練得到的，包括：特征提取模塊，用于根據(jù)輸入樣本數(shù)據(jù)提取樣本的特征，和分類預(yù)測模塊，用于根據(jù)樣本的特征計(jì)算特征在各個(gè)類別上的概率分布；模態(tài)預(yù)測模塊，其是基于帶模態(tài)標(biāo)簽的多模態(tài)的目標(biāo)域的數(shù)據(jù)預(yù)先訓(xùn)練得到的，用于根據(jù)樣本的特征計(jì)算特征在各個(gè)模態(tài)上的概率分布；全局領(lǐng)域判別模塊，用于根據(jù)域標(biāo)簽和樣本的特征對(duì)齊源域和目標(biāo)域的特征的邊緣分布；局部領(lǐng)域判別模塊，包括：局部類別判別模塊，用于對(duì)多個(gè)類別分別基于樣本的特征和特征在類別上的概率分布對(duì)齊源域和目標(biāo)域的特征的條件分布，和局部模態(tài)判別模塊，用于對(duì)多個(gè)模態(tài)分別對(duì)齊源域和目標(biāo)域的特征的條件分布。