[發(fā)明專利]用于圖像分類的基于類別自適應(yīng)模型的無監(jiān)督域適應(yīng)方法

有效

• 申請?zhí)枺?/td>: 202110171322.2
• 申請日: 2021-02-05
• 公開（公告）號: CN113011456B
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計）人: 張?zhí)熘?/a>;張勇東;錢柄喬;吳楓
• 申請（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 孫蕾

1.一種用于圖像分類的基于類別自適應(yīng)模型的無監(jiān)督域適應(yīng)方法，其特征在于，包括以下步驟：

通過自注意模塊和交叉注意模塊建立領(lǐng)域可轉(zhuǎn)移編碼器，所述領(lǐng)域可轉(zhuǎn)移編碼器對源域和目標(biāo)域的輸入圖像之間的關(guān)系進(jìn)行建模，實現(xiàn)域內(nèi)對齊和域間對齊，其中，所述自注意模塊分別實現(xiàn)源域和目標(biāo)域的域內(nèi)對齊，所述交叉注意模塊實現(xiàn)源域與目標(biāo)域的域間對齊；

建立類別自適應(yīng)解碼器，所述類別自適應(yīng)解碼器通過類原型學(xué)習(xí)和對齊來減少域差異，其中，所述類原型學(xué)習(xí)包括源類原型學(xué)習(xí)和目標(biāo)類原型學(xué)習(xí)，所述源類原型學(xué)習(xí)的表達(dá)式為所述目標(biāo)類原型學(xué)習(xí)的表達(dá)式為其中，為更新后的源類原型，C^S為源類原型，E^S為源數(shù)據(jù)特征；為更新后的目標(biāo)類原型，C^T為目標(biāo)類原型，E^T為目標(biāo)數(shù)據(jù)特征，Attn_p是指對每個查詢進(jìn)行自適應(yīng)更新的處理過程；

訓(xùn)練時，利用所述源域的標(biāo)簽信息對源域圖片特征的分類預(yù)測進(jìn)行約束；

測試時，將直接對所述目標(biāo)域的圖片特征進(jìn)行分類預(yù)測。

2.根據(jù)權(quán)利要求1所述的無監(jiān)督域適應(yīng)方法，其特征在于，所述自注意模塊為L個注意單元的疊加，其中，L＝1，2，3……。

3.根據(jù)權(quán)利要求2所述的無監(jiān)督域適應(yīng)方法，其特征在于，所述注意單元包括注意機制MHA和前饋網(wǎng)絡(luò)FFN。

4.根據(jù)權(quán)利要求3所述的無監(jiān)督域適應(yīng)方法，其特征在于，所述注意機制MHA是多頭注意力機制；FFN是帶有LeakyReLU激活函數(shù)的單層感知器。

5.根據(jù)權(quán)利要求2所述的無監(jiān)督域適應(yīng)方法，其特征在于，所述注意單元的設(shè)計步驟如下：

根據(jù)給定的源數(shù)據(jù)特征設(shè)計查詢、鍵和值；

通過相似性對每個查詢與鍵之間的關(guān)系進(jìn)行建模；

根據(jù)相似性分?jǐn)?shù)通過混合值來獲得查詢的參與特征，完成注意單元的設(shè)計。

6.根據(jù)權(quán)利要求1所述的無監(jiān)督域適應(yīng)方法，其特征在于，所述類別自適應(yīng)解碼器包括：

構(gòu)造源域的類原型記憶和目標(biāo)域的類原型記憶；

通過交叉注意單元中的源數(shù)據(jù)特征和目標(biāo)數(shù)據(jù)特征自適應(yīng)地更新類原型。

7.根據(jù)權(quán)利要求1所述的無監(jiān)督域適應(yīng)方法，其特征在于，所述類別自適應(yīng)解碼器包括類內(nèi)對齊和類間對齊。

8.根據(jù)權(quán)利要求7所述的無監(jiān)督域適應(yīng)方法，其特征在于，所述類內(nèi)對齊用于確保來自不同領(lǐng)域的同一個類的類原型在特征空間中緊密映射在一起，為此，設(shè)計了類內(nèi)對齊損失。

9.根據(jù)權(quán)利要求7所述的無監(jiān)督域適應(yīng)方法，其特征在于，所述類間對齊用于將來自不同領(lǐng)域的不同類的原型推離彼此，為此，設(shè)計了類間對齊損失。

10.一種用于圖像分類的基于類別自適應(yīng)模型的無監(jiān)督域適應(yīng)裝置，其特征在于，包括：

領(lǐng)域可轉(zhuǎn)移編碼器，用于對源域和目標(biāo)域的輸入圖像之間的關(guān)系進(jìn)行建模，實現(xiàn)域內(nèi)對齊和域間對齊，其中，所述域內(nèi)對齊采用自注意模塊實現(xiàn)，所述域間對齊采用交叉注意模塊實現(xiàn)；

類別自適應(yīng)解碼器，通過類原型學(xué)習(xí)和對齊來減少域差異，其中，所述類原型學(xué)習(xí)包括源類原型學(xué)習(xí)和目標(biāo)類原型學(xué)習(xí)，所述源類原型學(xué)習(xí)的表達(dá)式為所述目標(biāo)類原型學(xué)習(xí)的表達(dá)式為其中，為更新后的源類原型，C^S為源類原型，E^S為源數(shù)據(jù)特征；為更新后的目標(biāo)類原型，C^T為目標(biāo)類原型，E^T為目標(biāo)數(shù)據(jù)特征，Attn_p是指對每個查詢進(jìn)行自適應(yīng)更新的處理過程；

圖像分類模塊，訓(xùn)練時，利用所述源域的標(biāo)簽信息對源域圖片特征的分類預(yù)測進(jìn)行約束；測試時，將直接對所述目標(biāo)域的圖片特征進(jìn)行分類預(yù)測。