[發明專利]一種基于語義特征和度量學習的小樣本目標檢測方法及系統

有效

• 申請號: 202110603017.6
• 申請日: 2021-05-31
• 公開（公告）號: CN113255787B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 劉芳;劉靜;焦李成;李玲玲;劉旭;李鵬芳;郭雨薇;陳璞花
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V10/774;G06V10/82;G06N3/0464;G06N3/045;G06V10/74;G06N3/08;G06F40/284;G06F40/30
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

1.基于語義特征和度量學習的小樣本目標檢測方法，其特征在于，包括以下步驟：

S1、對類別集合C進行劃分，根據類別劃分得到基類類別與新類類別，并根據基類類別與新類類別將圖像數據集劃分為基類圖像數據集與新類圖像數據集；

S2、根據步驟S1得到的基類圖像數據集和新類圖像數據集分別構造形式為查詢圖像-目標圖像的成對的基類數據集與新類數據集；

S3、根據步驟S1中劃分的新類類別與基類類別得到類別對應的名稱，將類別名稱作為一個詞語，計算類別名稱對應的詞向量作為語義空間特征v_c，得到類別的語義空間特征集合；

S4、構造基于語義特征的知識傳遞模塊A，給定查詢圖像的類別c，在步驟S3得到的語義空間特征集合中獲取類別c對應的語義空間特征v_c，與視覺空間特征F(x)進行級聯，然后送入知識傳遞模塊A的特征對齊網絡中，將視覺空間特征與語義空間特征進行融合，輸出融合語義信息后的特征F'(x)作為最終的查詢圖像的特征；

S5、使用Faster?R-CNN作為檢測模型的主框架，構造基于類別名稱的知識傳遞與度量學習的小樣本目標檢測模型并進行訓練，以Faster?R-CNN為主框架的基于度量學習的小樣本目標檢測模型包括特征提取網絡F、候選區域生成網絡RPN、度量模塊M，結合步驟S4的知識傳遞模塊A構成基于類別名稱的知識傳遞與度量學習的小樣本目標檢測模型；

S6、使用步驟S2構造的成對的基類數據集作為訓練數據集，然后將查詢-目標圖像對、查詢圖像的類別名稱與其對應的標簽信息分批次輸入步驟S5中構造的基于度量學習的小樣本目標檢測模型中進行訓練，每批次大小為K；

S7、將步驟S2中構造的成對的新類數據集或基類數據集中成對的查詢-目標圖像對以及查詢圖像的類別名稱輸入步驟S6訓練后的基于語義特征和度量學習的小樣本目標檢測模型中，得到對于新類或基類的檢測結果，即在目標圖像中找到與查詢圖像屬于同類別的目標實例，完成檢測任務。

2.根據權利要求1所述的方法，其特征在于，步驟S1中，將COCO2017數據集中的80個類別劃分為4組，將包含三組類別作為基類，包含基類類別目標的圖像組成基類數據集用于模型訓練；將剩余一個類別作為新類，將包含剩余類別目標的圖像組成新類數據集用于測試。

3.根據權利要求1所述的方法，其特征在于，步驟S2中，對步驟S1中的新類數據集和基類數據集中所包含的圖像，使用預訓練好的Mask?R-CNN對圖像中的目標進行過濾，然后只使用Mask?R-CNN檢測出的標簽信息訓練，訓練時隨機選擇一幅圖像，然后獲取對應圖像上的目標的標簽信息，根據位置標簽進行裁剪縮放作為查詢圖像P，然后隨機選擇包含查詢圖像中目標類別的其它圖像作為目標圖像I，構造查詢-目標圖像對作為基于度量學習的小樣本目標檢測模型的輸入。

4.根據權利要求1所述的方法，其特征在于，步驟S3中，將屬于基類類別與新類類別的類別名稱看成一個詞語，作為語義信息，輸入到在百萬數量級的詞典和上億的數據集上訓練后的word2vec中得到對應詞向量，視每一類得到的d維詞向量v_c為類別在語義空間中的語義特征，得到最終類別的語義特征集合F_s＝{v_c|c∈C_b∪C_n}。

5.根據權利要求1所述的方法，其特征在于，步驟S4中，構造基于語義特征的知識傳遞模塊，包括一個特征對齊網絡；特征對齊網絡使用一個可學習的全連接層構成，用于學習語義特征與視覺特征之間的融合關系，給定查詢圖像的類別c，在步驟S3得到的語義空間特征集合F_s中獲取類別c對應的語義空間特征v_c，與查詢圖像對應的視覺空間特征F(P)進行級聯，然后送入知識傳遞模塊的特征對齊網絡中，將視覺空間特征與語義空間特征進行融合，輸出融合語義信息后的特征F'(P)作為最終的查詢圖像的特征。