[發明專利]無源域無監督域適應的圖像分類方法、系統、設備及介質

在審

• 申請號: 202310762911.7
• 申請日: 2023-06-27
• 公開（公告）號: CN116543237A
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 王子磊;張燚鑫;賀偉男
• 申請（專利權）人: 合肥綜合性國家科學中心人工智能研究院（安徽省人工智能實驗室）
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/74;G06V10/778;G06V10/82;G06V10/80;G06N3/0464;G06N3/084
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 韓珂;鄭立明

1.一種無源域無監督域適應的圖像分類方法，其特征在于，包括：

在源域模型訓練過程中對跨域一致的語義相似性進行顯式建模，獲得表示類別關系的語義相似性矩陣；

基于訓練后的源域模型構建教師模型與學生模型，每一目標域圖像經過不同方式的增強處理后分別輸入至教師模型與學生模型獲得對應的預測概率，利用學生模型獲得的預測概率作為查詢樣本，采用若干不同方式結合學生模型或者教師模型獲得的預測概率構造正負樣本，并結合所述語義相似性矩陣計算出相應的對比損失，綜合所有對比損失更新所述學生模型的參數，并基于更新后的學生模型參數更新所述教師模型的參數；

將待分類的圖像輸入至訓練后的學生模型中，獲得圖像分類結果。

2.根據權利要求1所述的一種無源域無監督域適應的圖像分類方法，其特征在于，所述在源域模型訓練過程中對跨域一致的語義相似性進行顯式建模，獲得表示類別關系的語義相似性矩陣包括：

利用源域圖像數據訓練所述源域模型，訓練過程中對跨域一致的語義相似性進行顯式建模，通過基于跡范數的正則化約束實現語義相似性矩陣與源域模型中分類器參數的聯合優化，訓練過程中的損失包含分類損失與基于跡范數的正則化約束；訓練完畢后，獲得各類別之間的語義相似性矩陣，語義相似性矩陣中每個元素表示不同類別之間的相似性。

3.根據權利要求1所述的一種無源域無監督域適應的圖像分類方法，其特征在于，所述利用學生模型獲得的預測概率作為查詢樣本，采用若干不同方式結合學生模型或者教師模型獲得的預測概率構造正負樣本，并結合所述語義相似性矩陣計算出相應的對比損失包括：

根據教師模型輸出的預測概率篩選出相應目標域圖像，篩選出的相應目標域圖像經增強處理后通過學生模型獲得的預測概率作為查詢樣本，將查詢樣本對應目標域圖像經增強處理后通過教師模型獲得的預測概率作為偽標簽，將偽標簽對應獨熱向量形式的概率向量作為正樣本，除去偽標簽對應類別之外的其他類別對應的獨熱向量形式的概率向量作為負樣本，利用查詢樣本、正樣本與負樣本，并結合所述語義相似性矩陣計算基于偽標簽的噪聲魯棒對比損失。

4.根據權利要求1所述的一種無源域無監督域適應的圖像分類方法，其特征在于，所述利用學生模型獲得的預測概率作為查詢樣本，采用若干不同方式結合學生模型或者教師模型獲得的預測概率構造正負樣本，并結合所述語義相似性矩陣計算出相應的對比損失包括：

將同一目標域圖像經過不同方式的增強處理后分別經過學生模型與教師模型獲得對應的預測概率，將學生模型獲得的預測概率作為查詢樣本，將教師模型獲得的預測概率作為正樣本，將其他目標域圖像經增強處理后通過教師模型獲得的預測概率作為負樣本，利用查詢樣本、正樣本與負樣本，并結合所述語義相似性矩陣計算基于單個樣本的對比損失。

5.根據權利要求1所述的一種無源域無監督域適應的圖像分類方法，其特征在于，所述利用學生模型獲得的預測概率作為查詢樣本，采用若干不同方式結合學生模型或者教師模型獲得的預測概率構造正負樣本，并結合所述語義相似性矩陣計算出相應的對比損失包括：

將每一目標域圖像經過增強處理后分別輸入學生模型，通過特征提取與分類預測，獲得對應的預測概率；對于當前目標域圖像，根據特征之間的相似度在特征空間中查找出k近鄰樣本，將當前目標域圖像對應的學生模型獲取的預測概率作為查詢樣本，k近鄰樣本經過增強處理后通過學生模型獲得的預測概率作為正樣本，將除去當前目標域圖像與k近鄰樣本之外的其他目標域圖像經增強處理后通過學生模型獲得的預測概率作為負樣本，利用查詢樣本、正樣本與負樣本，并結合所述語義相似性矩陣計算基于近鄰樣本的對比損失；其中，k為超參數。

6.根據權利要求1或3或4或5所述的一種無源域無監督域適應的圖像分類方法，其特征在于，計算對比損失的方式包括：

結合所述語義相似性矩陣，分別計算查詢樣本與正樣本之間的樣本相似性，以及查詢樣本與負樣本之間的樣本相似性；

基于查詢樣本與正樣本之間的樣本相似性，以及查詢樣本與負樣本之間的樣本相似性計算對比損失。