[發明專利]一種基于語義信息候選框的改進弱監督目標檢測方法

在審

• 申請號: 202210393075.5
• 申請日: 2022-04-14
• 公開（公告）號: CN114972711A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 李國權;夏瑞陽;向嬌;林金朝;龐宇;郭豆豆;朱宏鈺
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V10/22
• 分類號: G06V10/22;G06V10/24;G06V10/32;G06V10/46;G06V10/764;G06V10/774;G06V20/70
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 高敏

1.一種基于語義信息候選框的改進弱監督目標檢測方法，其特征在于，包括以下步驟：

S1：輸入待處理圖像數據，并采用包括隨機水平翻轉在內的預處理步驟；

S2：設計組合主干網絡，用于融合來自掩膜和非掩膜的網絡分支的特征，非掩膜的網絡分支任務是粗略地找到局部有顯著區別的目標部分并對該目標進行定位，而掩膜分支的任務是屏蔽顯著特征，并且保留不明顯特征在網絡中的響應；

S3：設計基于多示例選擇算法的多分支檢測頭網絡，基于多示例選擇算法的多分支檢測頭網絡為每個目標類別生成更多具有較高置信度的偽真實目標框，從而令網絡模型得到更多與目標相關的候選框，進而得到更合理的訓練。；

S4：設計目標語義候選框，通過對多分支檢測頭網絡模型生成的目標語義信息進行循環掩膜來從而生成更合理的目標候選框；

S5：在自然數據集上進行檢測。

2.根據權利要求1所述的一種基于語義信息候選框的改進弱監督目標檢測方法，其特征在于，所述步驟S1輸入待處理圖像數據，并采用包括隨機水平翻轉在內的預處理步驟，具體包括以下步驟：

通過隨機水平翻轉操作，利用五個圖像尺度{480、576、688、864、1200}隨機調整訓練圖像的最短邊的大小對網絡模型進行訓練；在測試階段，通過綜合分析每個圖像的所有刻度及其水平翻轉來計算預測的輸出結果。

3.根據權利要求2所述的一種基于語義信息候選框的改進弱監督目標檢測方法，其特征在于，所述通過綜合分析每個圖像的所有刻度及其水平翻轉來計算預測的輸出結果，具體包括：

每張圖像的尺度會按照480、576、688、864和1200的尺度依次進行設置。將5種不同尺度及其水平翻轉處理后的圖像輸入至網絡模型，從而獲得網絡模型中不同尺度及其水平翻轉處理后圖像的輸出結果。最后，將不同尺度圖像的預測結果放縮至同一尺度大小下的結果，并使用后處理算法對放縮后的輸出結果進行篩選，從而獲得最終的預測結果；

通過計算樣本的預測結果與真實目標框坐標之間的IoU大小，首先，按照預設閾值(0.5或0.75)確定樣本屬性。之后，對所有樣本根據其分類結果由高至低進行排序。對排序后的樣本進行遍歷，并對已經遍歷的樣本按照公式(1)和公式(2)進行準確率Precision及召回率Recall的計算。

其中，TP、FP和FN表示真正例、假正例和假負例；

根據每次遍歷得到的Precision及Recall，構建出以Recall為X軸而Precision為Y軸的曲線。最后，通過計算Precision及Recall圍成的曲線面積，得到平均精度AP，并通過計算每個類別的AP得到平均精度均值mAP。

4.根據權利要求1所述的一種基于語義信息候選框的改進弱監督目標檢測方法，其特征在于，所述S2中，還包括以下步驟：

給定一幅圖像，基于像素級和目標語義特征生成候選框，并將其輸入空間金字塔池層SPP，從組合主干網絡中提取特征和候選框的坐標后，將候選框映射到特征圖，以獲得感興趣區域RoI；由于每個RoI都有自己的大小，因此SPP層通過替換位于組合主干網絡最后一層的最大池層來獲得具有固定大小的RoI；然后，改進檢測頭網絡中的并行全連接層將輸出一系列候選框的特征向量。

5.根據權利要求4所述的一種基于語義信息候選框的改進弱監督目標檢測方法，其特征在于，所述步驟S2中，劃分顯著及不明顯特征的方法是在通過這兩個獨立的分支之前，從特征圖中提取平均值和最大值；如果某個具體位置的特征值高于閾值，顯著特征將被屏蔽，從而使得不明顯特征經過組合主干網絡后其響應得以增強；此外，有兩種方法可以對顯著特征進行屏蔽；一種是硬性掩膜方法，另一種是軟性屏蔽方法，可分別在公式(3)和公式(4)中顯示，

其中，f_i,j表示特定位置的特征值，mean、Max分別表示當前特征圖的均值及最大值，和分別采用硬屏蔽和軟屏蔽的方法來表示結果，α是一個超參數，用于控制閾值大小。