[發明專利]一種毫米波圖像人體攜帶物的級聯檢測方法

有效

• 申請號: 201910264672.6
• 申請日: 2019-04-03
• 公開（公告）號: CN110298226B
• 公開（公告）日: 2023-01-06
• 發明（設計）人: 張鉑;王斌;吳曉峰;張立明
• 申請（專利權）人: 復旦大學
• 主分類號: G06V20/50
• 分類號: G06V20/50;G06V10/82;G06V10/762;G06V10/764;G06V10/80;G06V10/766;G06V10/94;G06N3/04
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一種毫米波圖像人體攜帶物的級聯檢測方法，其特征在于，采用Top-down結構獲取毫米波圖像的上下文關系，從而建模前景目標與周圍背景像素的空間關系；并且采用級聯模型方式來過濾大量的負樣本，利用級聯關系合理地修正初始化候選框的坐標位置信息、置信度信息，具體步驟如下：

步驟1、級聯階段一：下采樣原始毫米波圖像，Top-down結構獲取上下文信息；

1.1：下采樣原始毫米波圖像：第一個級聯階段的提取特征的主干網絡采用VGG模型；其中，卷積神經網絡一共有13個卷積層，用于提取特征；這13個卷積層分為是：Conv1_1，Conv1_2，Conv2_1，Conv2_2，Conv3_1，Conv3_2，Conv3_3，Conv4_1，Conv4_2,Conv5_1,Conv5_2,Conv6_1,Conv6_2；其中卷積核大小設置為3×3，卷積核移動步長大小為1，卷積邊界處補0處理；由Conv4_2、Conv5_2、Conv6_2的卷積核提取特征圖，這些特征圖仍分別記為Conv4_2、Conv5_2、Conv6_2；

Conv1_2,Conv2_2,Conv3_3,Conv4_2,Conv5_2卷積核之后都采用最大池化操作來實現降采樣操作，每個最大池化操作降采樣圖像大小兩倍；

之后，選擇conv4_2、conv5_2、conv6_2三個特征圖作為top-down結構的輸入，conv4_2、conv5_2、conv6_2這三個特征圖分別對原始毫米波圖像下采樣8倍、16倍、32倍；

1.2：Top-down結構：分別對步驟1.1得到三個尺度的特征圖：conv6_2、conv5_2、conv4_2進行上采樣操作，在上采樣操作中，通過顯著性模塊將細節特征與人體上下文信息融合；

顯著性融合模塊的作用是將步驟1.1中conv4_2、conv5_2、conv6_2提取到的前景特征中選擇一部分更加具有代表性的前景特征與人體上下文信息融合，對自下而上過程中的特征進行篩選；顯著性融合模塊采用S-E架構；

通過顯著性模塊后得到P6、P5、P4三個不同尺度的特征圖；這三個特征圖分別是原始毫米波圖像的1/32，1/16，1/8倍；

步驟2、級聯階段一：初始化候選框；

2.1：聚類前景目標的面積分布：對數據集中的人體違禁物體進行統計，得出前景目標的區域面積的分布范圍，由于步驟1.2中采用三個不同尺度的特征圖進行預測，因此本步驟采用K-means算法來獲得初始化候選框的規模因子s_k，如公式(1)所示；其中K-means算法的聚類種類K＝3；

2.2：依照特征圖來初始化候選框：基于步驟1.2選出的P6，P5，P4這三個不同尺度的特征圖分別在原圖中的對應位置初始化候選框；設特征圖中的第i個特征點，在原始圖像中初始化第i個候選框cx是中心點坐標橫坐標，cy是中心點縱坐標，w是候選框的寬，h是候選框的高；候選框的初始化方法按照公式(1)-公式(3)：

其中，s_k∈{P6，P5，P4}，表示的含義是P6，P5，P4所產生的候選框的比例因子，n表示不同尺度的特征圖的個數，由于選用P6，P5，P4這三層參與預測，因此n＝3；r_j代表不同寬高比的集合；W代表毫米波圖像的寬度，H代表毫米波圖像的高度；s_min表示全局最小比例值；s_max表示全局最大比例值；

2.3：從步驟2.2產生的大量候選框中進一步挑選出可供訓練的正負樣本：按照候選框與Ground Truth的重合度挑選正負樣本：若重合度大于閾值θ，則為正樣本候選框，若重合度小于閾值θ，則為負樣本候選框；

步驟3、級聯階段一：訓練級聯階段一的檢測器；

3.1：步驟2.3已經從大量的候選框中選擇出了正負樣本，P6，P5，P4特征圖中的每一個特征向量都被標記為正樣本，或負樣本，或不參與訓練三個情況之一；此時利用SSD提出的多任務訓練的方式，同時訓練每個候選框的類別概率和位置回歸值；

步驟3.1已經訓練完成第一個級聯分類器，其本質是弱分類器，目的是：1)為第二個級聯階段抑制大量的負樣本候選框；2)為第二個級聯階段提供更準確的候選框位置信息；

步驟4、級聯階段二：采用殘差網絡提取特征，Top-down結構獲取上下文信息；

4.1：輸入與結構；

網絡的輸入:第一個級聯階段獲得的不同尺度的特征圖P6，P5，P4；

網絡的結構：采用殘差網路來提取特征；所述殘差網路是卷積神經網絡，一共有6個卷積層，用于提取特征；這6個卷積層分為是：Res_Conv4_1，Res_Conv4_2，Res_Conv5_1，Res_Conv5_2，Res_Conv6_1，Res_Conv6_2；其中，Res_Conv4_x，Res_Conv5_x，Res_Conv6_x分別表示三個不同分辨率的特征圖，其分別是原始毫米波圖像的1/8，1/16，1/32倍；其中每一個分辨率特征圖模塊采用兩個殘差單元得到；

下采樣操作：模塊之間的下采樣操作也利用殘差單元來完成，通過控制殘差單元中卷積的步長實現下采樣；

4.2：Top-down結構：對于步驟4.1得到Res_Conv4_2，Res_Conv5_2，Res_Conv6_2這三個不同尺度的特征圖，如同步驟1.2，分別進行上采樣操作，在上采樣操作中，通過顯著性模塊將步驟4.1獲得到的細節特征與Top-down結構的上下文信息進行融合，分別得到特征圖Stage2_P6，Stage2_P5，Stage2_P4，使用這三個層級特征圖進行最終的人體違禁物預測；

步驟5、級聯階段二：利用第一個階段的級聯模型抑制負樣本、初始化候選框；

5.1：抑制負樣本

由于毫米波圖像中的前景目標較稀疏，導致初始化的候選框中會含有大量的負樣本，因此采用OHEM負樣本挖掘的方式來保持合理的正負樣本比例，使正樣本得到有效地學習；

采用級聯的方式來抑制負樣本，即在第一個級聯階段結束后，選擇一個過濾閾值β，保證模型性能的條件下，盡可能使用較大閾值來保證過濾大多數負樣本，即第一個級聯階段預測置信度小于閾值的候選框不會進入到第二個級聯階段；第二個級聯階段只對置信度高于過濾閾值β的樣本進行進一步判別；

5.2：初始化候選框

對于正樣本，通過公式(4)-公式(5)，來初始化候選框：

這里，是在第一個級聯階段對第i個候選框的位置回歸預測；是公式(1)-公式(3)初始化候選框的結果，其中m∈{cx,cy,w,h}；

5.3：針對步驟5.2產生的候選框，挑選可供訓練的正負樣本；

步驟5.2產生的候選框可以有效地與Ground Truth重合，較大程度的恢復違禁物體的外貌特征；此時由于負樣本已經被步驟5.1過濾，因此不采用OHEM挑選難學習負樣本，而是將步驟5.2的全部候選框送入到步驟6進行訓練；其中，根據重合度閾值θ選取的正樣本和負樣；

步驟6、級聯階段二：訓練級聯階段二的檢測器；

6.1：將步驟5處理后的正負樣本，以及融合了多尺度信息的Stage2_P6、Stage2_P5、Stage2_P4這三個層級特征圖送入到SSD Loss中進行多任務學習。