[發明專利]用于圖像分類的基于類別自適應模型的無監督域適應方法

有效

• 申請號: 202110171322.2
• 申請日: 2021-02-05
• 公開（公告）號: CN113011456B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 張天柱;張勇東;錢柄喬;吳楓
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 孫蕾

本發明提供了一種用于圖像分類的基于類別自適應模型的無監督域適應方法，包括以下步驟：通過自注意模塊和交叉注意模塊建立領域可轉移編碼器，所述領域可轉移編碼器對源域和目標域的輸入圖像之間的關系進行建模，實現域內對齊和域間對齊；建立類別自適應解碼器，所述類別自適應解碼器通過類原型學習和對齊來減少域差異；訓練時，利用所述源域的標簽信息對源域圖片特征的分類預測進行約束；測試時，將直接對所述目標域的圖片特征進行分類預測。本發明還提供了一種用于圖像分類的基于類別自適應模型的無監督域適應裝置。

技術領域

本發明涉及人工智能領域，尤其涉及一種用于圖像分類的基于類別自 適應模型的無監督域適應方法。

背景技術

為了將有效的分類知識從一個標簽豐富的源域轉移到完全無標簽的 目標域以實現無監督域適應。

最近的方法大多數集中于利用域內對齊、域間對齊或類原型對齊來減 少域差異。域內對齊是對源域或目標域內的數據樣本進行對齊。對于每個 域，其目標是通過將同一類的樣本聚在一起來增強類內的緊致性，并利用 類間可分離性將不同類的樣本推離。域間對齊是指在源域和目標域之間對 數據樣本進行對齊。由于目標域中沒有標簽，如果我們忽略跨域的類內相 關性，即使源域和目標域非常接近，現有的方法也可能混合不同類的樣本。因此，有必要對源域和目標域之間的數據樣本關系進行建模，以便將一些 信息從有標記的源數據傳播到無標記的目標數據。類原型對齊是為了對源 域和目標域中的每個類的類原型進行域調整。基本思想是學習并對齊源域 和目標域中每個類的類原型，作為無監督域適應的橋梁。這三種對齊對域 適應任務的成功至關重要。然而，現有技術并沒有一個聯合統一的框架將 這三種不同的對齊適當地結合在一起以應對域適應挑戰。

發明內容

有鑒于此，本發明的主要目的在于提供一種用于圖像分類的基于類別 自適應模型的無監督域適應方法，以期部分地解決上述技術問題中的至少 之一。

為了實現上述目的，作為本發明的一方面，提供了一種用于圖像分類 的基于類別自適應模型的無監督域適應方法，包括以下步驟：

通過自注意模塊和交叉注意模塊建立領域可轉移編碼器，所述領域可 轉移編碼器對源域和目標域的輸入圖像之間的關系進行建模，實現域內對 齊和域間對齊；

建立類別自適應解碼器，所述類別自適應解碼器通過類原型學習和對 齊來減少域差異；

訓練時，利用所述源域的標簽信息對源域圖片特征的分類預測進行約 束；

測試時，將直接對所述目標域的圖片特征進行分類預測。

其中，所述自注意模塊為L個注意單元的疊加，其中，L＝1，2，3……。

其中，所述注意單元包括注意機制MHA和前饋網絡FFN。

其中，所述注意機制MHA是多頭注意力機制；FFN是帶有LeakyReLU 激活函數的單層感知器。

其中，所述注意單元的設計步驟如下：

根據給定的源數據特征設計查詢、鍵和值；

通過相似性對每個查詢與鍵之間的關系進行建模；

根據相似性分數通過混合值來獲得查詢的參與特征，完成注意單元的 設計。

其中，所述類別自適應解碼器包括：

構造源域的類原型記憶和目標域的類原型記憶；

通過交叉注意單元中的源數據特征和目標數據特征自適應地更新類 原型。

其中，所述類別自適應解碼器包括類內對齊和類間對齊。

其中，所述類內對齊用于確保來自不同領域的同一個類的類原型在特 征空間中緊密映射在一起，為此，設計了類內對齊損失。