[發明專利]一種跨模態的遷移學習方法

有效

• 申請號: 202110477456.7
• 申請日: 2021-04-30
• 公開（公告）號: CN113139664B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 蔣鑫龍;陳前;陳益強;張騰;谷洋
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F18/214;G06F18/241
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種遷移學習模型，其特征在于，包括：

分類模型，其是基于帶類別標簽的單模態的源域的數據預先訓練得到的，包括：

特征提取模塊，用于根據輸入樣本數據提取樣本的特征，和

分類預測模塊，用于根據樣本的特征計算特征在各個類別上的概率分布；

模態預測模塊，其是基于帶模態標簽的多模態的目標域的數據預先訓練得到的，用于根據樣本的特征計算特征在各個模態上的概率分布；

全局領域判別模塊，用于根據域標簽和樣本的特征對齊源域和目標域的特征的邊緣分布；

局部領域判別模塊，包括：

局部類別判別模塊，用于對多個類別分別基于樣本的特征和特征在類別上的概率分布對齊源域和目標域的特征的條件分布，和

局部模態判別模塊，用于對多個模態分別對齊源域和目標域的特征的條件分布。

2.根據權利要求1所述的遷移學習模型，其特征在于，基于動態對抗因子自適應地調整源域和目標域之間數據特征分布的邊緣分布和條件分布的重要度，減少源域和目標域之間數據特征分布的差異。

3.根據權利要求1所述的遷移學習模型，其特征在于，所述全局領域判別模塊包括依次連接的梯度反轉層和全局判別器，輸入的樣本的特征經過其梯度反轉層后發送給全局判別器。

4.根據權利要求1所述的遷移學習模型，其特征在于，局部類別判別模塊包括并行的多組梯度反轉層和子類別判別器，其中，一組梯度反轉層和子類別判別器對應一個類別，輸入的樣本的特征在輸入該組的梯度反轉層之前與其在對應類別上的概率分布進行基于注意力機制的加權操作。

5.根據權利要求1所述的遷移學習模型，其特征在于，所述局部模態判別模塊包括并行的多組梯度反轉層和子模態判別器，其中，一組梯度反轉層和子模態判別器對應一個模態，輸入的樣本的特征在輸入該組的梯度反轉層之前與其在對應模態上的概率分布進行基于注意力機制的加權操作。

6.根據權利要求1所述的遷移學習模型，其特征在于，在訓練過程中執行以下操作：

通過特征提取模塊對源域數據和目標域數據的樣本提取特征；

通過分類預測模塊基于特征對源域數據和目標域數據中的樣本進行類別分類，得到特征在各個類別上的概率分布和第一類別分類子損失；

通過模態預測模塊基于特征對源域數據和目標域數據中的樣本進行模態分類，得到特征在各個模態上的概率分布和第一模態分類子損失；

通過全局領域判別模塊基于特征對源域數據和目標域數據中樣本的域進行全局判別，得到全局子損失；

通過局部類別判別模塊基于特征和對應類別上的概率分布對樣本進行細粒度的類別分類，得到第二類別分類子損失；

通過局部模態判別模塊基于特征和對應模態上的概率分布對樣本進行細粒度的模態分類，得到第二模態分類子損失；

通過第一類別分類子損失、第一模態分類子損失、全局子損失、第二類別分類子損失、第二模態分類子損失以及相應特征分布之間的最大均值差異距離計算總損失，根據總損失反向傳播更新遷移學習模型的各個組成模塊的權重參數。

7.根據權利要求6所述的遷移學習模型，其特征在于，按照以下公式計算總損失：

其中，表示第一類別分類子損失，表示第一模態分類子損失，d表示兩個域的圖像數據特征分布之間的最大均值差異距離，d_modal表示目標域中除圖像數據以外的其余模態數據與圖像數據的特征分布之間模態的最大均值差異距離，d_local(p^(c),q^(c))表示兩個域的數據的特征分布之間類別的最大均值差異距離，μ₁、μ₂、μ₃是用于d、d_modal和d_local(p^(c),q^(c))的超參數，λ表示用于平衡L_y和的第四超參數，ω表示動態對抗因子，L_g表示全局子損失，表示第二類別分類子損失，表示第二模態分類子損失。