[發明專利]一種基于結構特征增強和類中心匹配的跨域圖像分類方法

有效

• 申請號: 202110460439.2
• 申請日: 2021-04-27
• 公開（公告）號: CN113159199B
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 孟敏;吳壯輝;武繼剛
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/74;G06V10/774;G06V10/40;G06V10/82;G06N3/04
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

本發明提供一種基于結構特征增強和類中心匹配的跨域圖像分類方法，包括：獲取源域圖像和目標域圖像；構建視覺特征提取器和結構特征提取器提取上述圖像的初始視覺特征和初始結構特征；基于上述圖像的初始視覺特征和初始結構特征，獲得源域圖像增強特征和目標域圖像增強特征，利用其對目標域圖像進行類中心匹配，獲得目標域圖像的偽標簽；使用具有真實標簽的源域圖像和具有偽標簽的目標域圖像對視覺特征提取器、結構特征提取器和分類器進行訓練；利用訓練好的視覺特征提取器、結構特征提取器和分類器獲得待分類的目標域圖像的分類結果。本發明綜合考慮圖像的視覺特征和結構特征，使用類中心匹配方法進行偽標簽賦予操作，提高了跨域圖像的分類精度。

技術領域

本發明涉及圖像分類的技術領域，更具體地，涉及一種基于結構特征增強和類中心匹配的跨域圖像分類方法。

背景技術

目前，國內外已經有人開始對跨域圖像分類方法進行了研究和探索，目前用于跨域圖像分類方法的特征一般是視覺特征，而忽略了結構特征，從而因為結構差異使得分類器在目標域圖像上分類效果不好。同時，目前方法大多直接賦予目標域圖像偽標簽，然后用這些帶偽標簽的目標域圖像對網絡進行訓練。但是，這種直接賦予偽標簽的方式無法保證偽標簽的準確率，使得錯誤的偽標簽給分類器引入錯誤信息，造成分類器在目標域圖像上分類效果不好。

2020年6月2日公開的中國專利CN111222471A種提供了一種基于自監督域感知網絡的零樣本訓練及相關分類方法，通過自監督學習的方式充分挖掘源域和目標域之間的關系，減少因目標域數據挖掘不充分而導致的域偏差；該方法通過以agent作為橋梁連接所有類別建立聯合的嵌入空間，學習域感知的視覺特征，雖然具備一定的知識遷移和泛化能力，但是分類時僅考慮圖像的視覺特征，忽略了圖像的結構特征，賦予目標域偽標簽的準確率降低，最終導致分類精度低。

發明內容

本發明為克服上述現有技術對跨域圖像分類時考慮的特征單一，導致分類精度低的缺陷，提供一種基于結構特征增強和類中心匹配的跨域圖像分類方法，對跨域圖像分類時綜合考慮圖像的視覺特征和結構特征，使用類中心匹配方法為待分類的目標域圖像賦予偽標簽，提高了對跨域圖像的分類精度。

為解決上述技術問題，本發明的技術方案如下：

本發明提供一種基于結構特征增強和類中心匹配的跨域圖像分類方法，所述方法包括以下步驟：

S1：獲取具有真實標簽的源域圖像和待分類的目標域圖像；

S2：構建視覺特征提取器，提取源域圖像和目標域圖像的初始視覺特征，構建結構特征提取器，提取源域圖像和目標域圖像的初始結構特征；

S3：基于源域圖像和目標域圖像的初始視覺特征、源域圖像和目標域圖像的初始結構特征，獲得源域圖像增強特征和目標域圖像增強特征；

S4：利用源域圖像增強特征和目標域圖像增強特征對目標域圖像進行類中心匹配，獲得目標域圖像的偽標簽；

S5：使用具有真實標簽的源域圖像和具有偽標簽的目標域圖像對視覺特征提取器、結構特征提取器和分類器進行訓練，獲得訓練好的視覺特征提取器、結構特征提取器和分類器；

S6：使用訓練好的視覺特征提取器、結構特征提取器和分類器對待分類的目標域圖像進行分類，得到待分類的目標域圖像的分類結果。

優選地，獲取源域圖像和目標域圖像的初始視覺特征的具體方法為：

以深度卷積神經網絡Alexnet為基礎網絡構建視覺特征提取器；

將源域圖像集合和目標域圖像集合中的所有圖像輸入視覺特征提取器，獲得源域圖像的初始視覺特征集合和目標域圖像的初始視覺特征集合