[發明專利]一種基于張量化高階互注意力機制的多源域適應方法

在審

• 申請號: 202110678075.5
• 申請日: 2021-06-18
• 公開（公告）號: CN113537292A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 孔萬增;金宣妤;唐佳佳;張建海;朱莉
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱亞冠

1.一種基于張量化高階互注意力機制的多源域適應方法，其特征在于包括以下步驟：

步驟1、獲取帶標簽的多源域數據和不帶標簽的目標域數據，并將帶標簽的多源域數據作為第一訓練集；其中多源域包含N個源域，N≥2；

步驟2、由于每個源域擁有一個特征提取器，故利用第一訓練集各源域數據訓練各自的特征提取器；

所述的特征提取器包括初級特征提取器、深層特征提取器；

步驟3、由于目標域映射對應N個源域，故目標域擁有每個源域的特征提取器，共N個；然后利用訓練好的所有源域特征提取器以不帶標簽的目標域數據作為輸入，得到目標域在各源域空間的深層特征；

步驟4、提取多源域數據的特定域空間特征

4-1獲取所有源域特征提取器輸出的各源域空間深層特征

1)所有源域特征提取器輸出的各源域空間深層特征I_n,J_n分別表示第n個源域空間深層特征矩陣的兩個維度大小，n∈[1，N]；

4-2獲取不同源域空間深層特征之間的交互關系

1)根據公式(1)將各源域空間深層特征與高階交互張量的不同維度進行模乘，得到一個高階互注意張量

其中×_n表示第n維上的模乘，n∈[1，N]；

所述高階互注意張量中的每個元素可以表示為：

其中表示高階交互張量的一個元素，表示第n個源域空間深層特征A⁽ⁿ⁾的元素，n∈[1，N]，i_n∈[1，I_n]，j_n∈[1，J_n]；

2)通過對的不同維度進行平均池化操作，得到不同源域空間的互注意向量b；其中第n個源域空間的互注意向量的第p個元素如下：

其中n∈[1，N]，I_n表示互注意向量b⁽ⁿ⁾的大小；

由公式(3)得：

其中，

其中表示第k個源域空間的深層特征和第k個核張量按第二個維度模乘結果；表示第二維度上第i_k個矩陣，表示第n個源域對應模乘結果的第二維度上第p個矩陣；

3)注意機制是一個概率模型，因此采用Softmax(·)得到b⁽ⁿ⁾的歸一化概率如下:

b⁽ⁿ⁾＝Softmax(b⁽ⁿ⁾) 公式(8)

4-3考慮歸一化后各源域空間的深層特征之間的交互關系b⁽ⁿ⁾，對各源域深層特征進一步提取每個源域空間的特定域空間特征：

步驟5、提取目標域數據的特定域空間特征

獲取目標域的所有源域特征提取器輸出的目標域在各源域空間的深層特征；重復步驟4-2至4-3，最獲取目標域數據的特定域空間特征；

步驟6、目標域與多源域數據對齊

采用MMD方法以度量目標域數據與每個源域數據在同一域空間的特定域空間特征分布距離，通過神經網絡反向傳播損失值約束特征分布的距離，以實現目標域與多源域數據對齊；

步驟7、將對齊處理后多源域數據的特定域空間特征作為第二訓練集，并對其進行步驟(1)對應源域數據的標簽標注；

步驟8、構建一組對應不同源域的分類器，并利用第二訓練集進行訓練；然后利用對齊處理后目標域數據的特定域空間特征對訓練好的分類器進行測試，分類器輸出N個預測結果，取平均作為目標域最終預測結果。

2.根據權利要求1所述的一種基于張量化高階互注意力機制的多源域適應方法，其特征在于步驟2中，所述的初級特征提取器采用共享子網絡ResNet-50，以多源域數據作為輸入，多源域初級特征作為輸出。

3.根據權利要求1或2所述的一種基于張量化高階互注意力機制的多源域適應方法，其特征在于步驟2中，所述的深層特征提取器采用一組包含三層卷積的特定子網絡(即由三層串聯的卷積層構成)，以初級特征提取器輸出的各源域初級特征作為深層特征提取器中對應子網絡的輸入，各源域空間深層特征作為輸出。