[發明專利]基于目標互換和度量學習的小樣本目標檢測方法及系統

有效

• 申請號: 202110603033.5
• 申請日: 2021-05-31
• 公開（公告）號: CN113283513B
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 劉芳;焦李成;劉靜;劉旭;李鵬芳;李玲玲;郭雨薇;古晶
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/74;G06V10/25;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

1.基于目標互換和度量學習的小樣本目標檢測方法，其特征在于，包括以下步驟：

S1、對類別集合C進行劃分，根據類別劃分得到基類類別與新類類別，并根據基類類別與新類類別劃分圖像數據集為基類圖像數據集與新類圖像數據集；

S2、根據步驟S1得到的基類圖像數據集和新類圖像數據集分別構造形式為查詢圖像-目標圖像的成對的基類數據集與新類數據集；

S3、使用Faster R-CNN作為檢測模型的主框架，構造基于度量學習的小樣本目標檢測模型，小樣本目標檢測模型包括特征提取網絡F、候選區域生成網絡RPN和度量模塊M；采用ResNet-50作為特征提取模塊的骨干網絡，用于提取查詢圖像與目標圖像的特征F(P)和F(I)，候選區域生成網絡RPN用于生成包含前景對象的候選框區域；度量模塊M使用兩層的MLP網絡，并以softmax二分類為結尾；度量模塊M的輸入是經過ROI Pooling后目標圖像上每個候選框的特征和查詢圖像的目標特征；

S4、構造基于目標互換的數據增強模塊，在步驟S2構造的成對的基類數據集中隨機選擇成對的查詢圖像-目標圖像及其對應的標簽信息作為數據增強模塊的輸入，根據標簽信息，將目標圖像中與查詢圖像屬于同一類別的實例對象所在的區域裁剪下來作為新的查詢圖像，并將原查詢圖像嵌入到對應實例對象所在的區域中，與原目標圖像組成新的目標圖像，構造新的查詢-目標圖像對；

S5、使用步驟S2構造的成對的基類數據集作為訓練數據集，對于每批作為輸入的查詢-目標圖像對設置一個隨機數rand，如果隨機數rand大于0.5，則根據步驟S4中的數據增強模塊生成新的查詢-目標圖像對，如果隨機數rand小于0.5，保留原輸入圖像對，然后將圖像對與對應的標簽信息分批次輸入步驟S3中構造的小樣本目標檢測模型中進行訓練，每批次大小為K，目標檢測損失函數為：

其中，為Faster R-CNN中的交叉熵損失，為邊框回歸損失，為基于邊界的排名損失，λ為0.1；

基于邊界的排名損失為：

其中，m⁺為前景的下限，m^-為背景的上限，Z為目標圖像經過RPN網絡后得到的anchors的數量，計算Z個候選框的IoU，若大于0.5則分為前景，其標簽y_i＝1；若小于0.5，則將其分為背景，標簽y_i＝0；目標圖像中第i個候選框特征F(bbox_i)與查詢圖像特征F(P)進行級聯得到的特征向量；s＝M(x)為度量網絡M輸出每個候選框為前景的預測概率值；

S6、在步驟S2中構造的成對的新類數據集或基類數據集中隨機選擇查詢-目標圖像對，輸入步驟S5訓練后的小樣本目標檢測模型中，得到對于新類數據集或基類數據集的檢測結果，即在目標圖像找到與查詢圖像屬于同類別的目標實例。

2.根據權利要求1所述的方法，其特征在于，步驟S1中，將COCO2017數據集中的80個類別劃分為4組，將包含三組類別作為基類，其包含基類類別的目標的圖像組成基類數據集全部用于模型訓練，b為基類，M_b為基類圖像的數量；將剩余一個類別作為新類，將包含剩余類別目標的圖像組成新類數據集用于測試；X_m∈R^N×N，R表示實數域，Y_m＝{(c_j,I_j),j＝1,...,N_m}，c_j為圖像X_m中包含的第j個目標的類別信息，I_j為其位置信息。

3.根據權利要求1所述的方法，其特征在于，步驟S2中，使用預訓練好的Mask R-CNN對步驟S1中的新類數據集和基類數據集中包括的圖像，使用預訓練好的Mask R-CNN對圖像進行過濾，然后只使用Mask R-CNN檢測能夠檢測出的目標標簽信息進行訓練，訓練時隨機選擇一幅圖像，然后獲取對應圖像上的目標的標簽信息，根據位置標簽進行裁剪縮放作為查詢圖像P，然后隨機選擇包含查詢圖像中目標類別的其它圖像作為目標圖像I，構造查詢-目標圖像對作為小樣本目標檢測模型的輸入。