[發明專利]違禁品的檢測方法及裝置

有效

• 申請號: 202110266096.6
• 申請日: 2021-03-11
• 公開（公告）號: CN112884755B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 宋紅;楊健;艾丹妮;范敬凡;魏一凡
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/764;G06V10/40;G06V10/82;G06V10/80;G06N3/0464
• 代理公司: 北京市中聞律師事務所 11388
• 代理人: 馮夢洪

1.違禁品的檢測方法，其特征在于：其包括以下步驟：

(1)對包含違禁物品的X射線圖像進行圖像隨機翻轉、歸一化的預處理，并將預處理后的數據加載到卷積神經網絡模型中；

(2)利用卷積神經網絡對輸入的X射線圖像進行特征的提取、融合與增強；

(3)對經過處理后得到的特征金字塔每層的特征圖，通過兩個并行分支的子網絡分別計算其中含有違禁物品的類別與位置信息；

(4)利用Soft-NMS算法去除冗余的候選檢測框，并對結果進行輸出，標出違禁物品具體的類別與位置；

所述步驟(1)中，將輸入的圖像在保持原有長寬比的基礎上進行尺度的縮放，并填充縮放后的圖像，將其填充為32的倍數，目的是在卷積的過程中避免特征的丟失；之后將圖像的標注信息與圖像一起按照50％的概率進行翻轉；

所述步驟(2)包括以下分步驟：

(2.1)利用ResNet50作為特征提取網絡，對輸入的圖像進行特征提取；

(2.2)利用改進的FPN網絡及注意力機制對提取到的特征進行融合和增強；

所述步驟(2.1)中，利用ResNet50作為特征提取器，對輸入的原始圖像進行卷積操作，提取輸入圖像在不同尺度下的原始特征；利用改進后的FPN網絡，對ResNet50主干網絡卷積操作后得到的不同尺度的特征圖通過橫向連接和上采樣，得到不同尺度和大小的特征圖，使其既包含豐富的語義信息利于檢測器的分類，又包含豐富的空間信息，利于檢測器確定目標的位置；

所述步驟(2.2)中，首先對特征圖做1x1卷積，接著對輸入的最高層和最低層特征圖分別做雙線性插值，將最高層輸入的特征圖上采樣到與最低層特征圖大小相同、將最低層輸入的特征圖下采樣到與最高層特征圖大小相同，后與1x1卷積后的特征圖逐元素相加作為橫向連接，接著通過為上層特征圖做最近鄰插值的上采樣使其與當前層特征圖具有相同大小，將上采樣的結果與當前層特征圖進行逐元素相加，生成新的特征圖。

2.根據權利要求1所述的違禁品的檢測方法，其特征在于：所述步驟(2.2)中，將經過改進后的FPN網絡輸出的特征圖進行大小的改變，統一縮放到中間特征圖的大小，直接將特征圖逐元素相加求平均，表示為公式(1)：

其中，C為平均后的特征圖，L為做運算時特征金字塔的層數，C_l為當前進行運算的第l層特征圖，

之后利用兩個并行的注意力機制網絡Non-local和SE分別從空間和通道兩個方面進一步對平均后的特征圖進行增強，最后將增強后的特征圖與輸入特征圖進行逐元素相加；從空間方面對特征圖進行增強是指捕獲到非相鄰位置遠距離的依賴關系，獲得更為全局的信息；從通道方面對特征圖進行增強是指建模特征圖通道之間的相互依賴關系，通過學習的方式獲得每個通道的重要程度，由此來提升有用的通道信息并抑制對任務用處不大的通道信息。

3.根據權利要求2所述的違禁品的檢測方法，其特征在于：所述步驟(3)中，得到的特征金字塔每層都有分類和定位兩個分支，分類分支計算目標出現的概率，邊界框回歸的定位分支計算anchor與附近標注框的偏移量；兩分支網絡進行卷積的過程中使用的歸一化方法為Group?Norm。

4.根據權利要求3所述的違禁品的檢測方法，其特征在于：所述步驟(4)中，Soft-NMS算法表示為公式(3)：

其中S_i為第i個待處理候選框的置信度分數，為當前置信度分數最大的候選框與第i個待處理候選框的IOU，σ為方差。

5.根據權利要求1所述的違禁品的檢測方法的實現裝置，其特征在于：其包括：

預處理模塊，其配置來對包含違禁物品的X射線圖像進行圖像隨機翻轉、歸一化的預處理，并將預處理后的數據加載到卷積神經網絡模型中；

特征處理模塊，其配置來利用卷積神經網絡對輸入的X射線圖像進行特征的提取、融合與增強；

類別與位置信息獲取模塊，其配置來對經過處理后得到的特征金字塔每層的特征圖，通過兩個并行分支的子網絡分別計算其中含有違禁物品的類別與位置信息；

結果輸出模塊，其配置來利用Soft-NMS算法去除冗余的候選檢測框，并對結果進行輸出，標出違禁物品具體的類別與位置。

6.根據權利要求5所述的裝置，其特征在于：所述特征處理模塊執行以下步驟：

(2.1)利用ResNet50作為特征提取網絡，對輸入的圖像進行特征提取；

(2.2)利用改進的FPN網絡及注意力機制對提取到的特征進行融合和增強。