[發明專利]無源域無監督域適應的圖像分類方法、系統、設備及介質

在審

• 申請號: 202310762911.7
• 申請日: 2023-06-27
• 公開（公告）號: CN116543237A
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 王子磊;張燚鑫;賀偉男
• 申請（專利權）人: 合肥綜合性國家科學中心人工智能研究院（安徽省人工智能實驗室）
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/74;G06V10/778;G06V10/82;G06V10/80;G06N3/0464;G06N3/084
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 韓珂;鄭立明

本發明公開了一種無源域無監督域適應的圖像分類方法、系統、設備及介質，它們是一一對應的方案，方案中：在源域模型訓練過程中對跨域一致的語義相似性進行顯式建模，語義相似性是一種跨域魯棒的知識，對語義相似性進行顯式建模和遷移可以有效增強目標域上的泛化性能；然后，目標域訓練過程中結合語義相似性矩陣用于對比損失的計算，不僅可以實現對模型中分類器的優化，同時準確表達樣本在特征空間的精細位置關系，總體而言，本發明上述方案可以有效增強目標域上的泛化性能，提升目標域圖像分類性能。

技術領域

本發明涉及圖像分類技術領域，尤其涉及一種無源域無監督域適應的圖像分類方法、系統、設備及介質。

背景技術

近幾年，使用深度神經網絡處理各類機器學習問題卓有成效，然而其優異的性能很大程度上依賴于大量的高質量有標注的數據集。高額的時間成本和人力成本卻讓人工標注數據集不切實際。傳統深度學習方法也因領域偏移問題而無法很好地泛化到新的數據集上。對此，域適應利用在有大量標注樣本的源域上學習的知識來幫助模型在另一個與源域相關但缺乏標注的目標域上的學習，通過減小領域偏移，能夠節約標注成本。通常的域適應學習方法假設源域數據和目標域數據同時可見，但是在實際場景中，由于數據隱私等問題，源域數據只能用來訓練源域模型，而不能共享給目標域訓練，因此在目標域數據訓練時，只有源域模型而沒有源域數據，這一問題稱為無源域適應（Source-free?DomainAdaptation）。

有源域適應方法通常基于域間差異度量或領域對抗學習來減小跨域分布的差異，這些方法需要源域數據和目標域數據同時存在，因此在無源域適應設置下不具有適用性。公開號為CN114332787A的中國發明專利申請《無源域無監督域自適應車輛再識別方法》在車輛再識別過程中，通過源域模型和目標域數據，利用關系保持一致損失和知識蒸餾損失訓練一個生成器，目的是生成具有源域風格的偽目標樣本，然后利用偽目標樣本對模型進行微調，從而提升模型性能；其不再使用源域數據，而是利用隱含在源域模型中學習到的源域知識來作為指導，從而促進目標域數據的風格向源域數據的風格進行遷移；授權公告號為CN115186773B的中國發明專利《一種無源的主動領域自適應模型訓練方法及裝置》引入了主動學習的方法來尋找信息量最大的目標樣本進行標注，使得其最益于目標域的分類；公開號為CN114639021A的中國發明專利申請《一種目標檢測模型的訓練方法及目標劃分方法》關注無源的目標檢測域適應問題，提出使用教師-學生框架進行訓練，其中學生模型采用知識蒸餾和權重正則化策略更新；公開號為CN114528913A的中國發明專利申請《基于信任和一致性的模型遷移方法、裝置、設備及介質》在目標域訓練過程中使用對偶分類網絡進行模型自適應學習，并使用基于信任和一致性機制進行訓練優化；授權公告號為CN115546567B的中國發明專利《一種無監督領域適應分類方法、系統、設備及存儲介質》提出近鄰對齊損失、正則損失、分散損失、跨視圖對齊損失和跨視圖近鄰對齊損失，迭代地提升目標域模型的圖像分類能力；公開號為CN115019106A的中國發明專利申請《基于對抗蒸餾的魯棒無監督域自適應圖像分類方法及裝置》在目標域訓練過程中將知識蒸餾和對抗訓練結合起來，在保持對目標域自然樣本分類性能的同時，有效地提升了對目標域對抗樣本的分類性能和模型的魯棒性。針對無源域適應任務，以上列舉的各類方案主要依賴偽標簽、聚類或者近鄰信息對模型進行自監督學習，但是會受到標簽噪聲以及源域模型偏差的負面影響，對于跨域一致的知識挖掘不夠充分。

發明內容

本發明的目的是提供一種無源域無監督域適應的圖像分類方法、系統、設備及介質，可以實現對跨域魯棒的語義相似性的顯式建模和遷移，可以有效增強目標域上的泛化性能，實現目標域判別性特征的學習，從而提升目標域圖像分類性能。

本發明的目的是通過以下技術方案實現的：

一種無源域無監督域適應的圖像分類方法，包括：

在源域模型訓練過程中對跨域一致的語義相似性進行顯式建模，獲得表示類別關系的語義相似性矩陣；