[發明專利]基于改進型SSD網絡的行人目標檢測與重識別方法

有效

• 申請號: 202110488919.X
• 申請日: 2021-05-06
• 公開（公告）號: CN112906677B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 劉茜;蔣昱
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 熊玉瑋

1.基于改進型SSD網絡的行人目標檢測與重識別方法，利用獲得的目標檢測與重識別系統，對目標場景下的各個待識別視頻進行目標檢測與重識別，其特征在于，構建兩個目標場景下歷史時間周期內的兩個視頻數據集、對應的兩個改進型SSD網絡，所述兩個視頻數據集包括第一視頻數據集、第二視頻數據集，視頻數據集對應的改進型SSD網絡包括第一網絡、第二網絡，執行以下步驟：

步驟A、針對兩個目標場景下歷史時間周期內的兩個視頻集，對視頻集中的各個視頻轉換為有效視頻幀圖像序列，并對序列中的每一幅圖像進行標注處理，構成每個視頻集對應的視頻數據集，所述視頻數據集包括訓練集和驗證集，隨后進入步驟B；

步驟B、分別針對兩個視頻數據集，構建與視頻數據集對應的SSD網絡，獲得改進型SSD網絡，即獲得兩個視頻數據集分別對應的改進型SSD網絡，隨后進入步驟C；

步驟C、分別針對兩個改進型SSD網絡，利用對應視頻數據集中的有效視頻幀圖像對該改進型SSD網絡進行訓練，訓練好的兩個改進型SSD網絡構成目標檢測與重識別系統；

步驟D、針對各個待識別視頻，基于目標檢測與重識別系統，以待識別視頻的有效視頻幀圖像為輸入，以待識別視頻內行人預測結果、待識別視頻對應的視頻幀圖像位置標注為輸出，獲得行人的目標檢測與重識別結果；

所述步驟B中的改進型SSD網絡包括基礎網絡層、多尺度網絡層、定位子網絡、行人部件識別子網絡、行人重識別子網絡、非極大值抑制模塊、預測結果融合模塊，構建與視頻數據集對應的改進型SSD網絡，獲得改進型SSD網絡，包括以下步驟：

步驟B1、更換SSD網絡基礎網絡層中的五個卷積模塊，更換后基礎網絡層的結構依次為：輸入層、第一卷積模塊、第二卷積模塊、第三卷積模塊、第四卷積模塊、第五卷積模塊，并將原基礎網絡層中五個卷積模塊的輸出，分別更換為對應的第一卷積模塊、第二卷積模塊、第三卷積模塊、第四卷積模塊、第五卷積模塊的輸出；

步驟B2、更換SSD網絡中多尺度網絡層中的卷積模塊，對第四卷積模塊的輸出進行歸一化操作，作為多尺度網絡層第一尺度的輸出，將多尺度網絡層中的最后四個卷積模塊更換為四個殘差模塊，并相應將最后四個卷積模塊的輸出分別更換為對應的殘差模塊的輸出，對殘差模塊的輸出、未更換的卷積模塊中每一個卷積層的輸出進行歸一化操作；

步驟B3、將SSD網絡中的目標檢測模塊設置為定位子網絡，用于生成預測邊界框；

將識別模塊設置為行人部件識別子網絡，用于識別預測邊界框標識區域的行人部件類別；

在SSD網絡中增加一個與定位子網絡和行人部件識別子網絡并行的，用于識別預測邊界框標識區域內行人類別的行人重識別子網絡，預測邊界框的生成與行人部件識別、行人重識別同時進行，所述行人重識別子網絡包括，根據步驟A中預處理后的視頻幀圖像標注的行人類別劃分的共有識別模塊、獨有識別模塊；

所述共有識別模塊，用于對兩個視頻集中共有的行人類別進行識別，所述獨有識別模塊，用于對只存在于其中一個視頻集中的行人類別進行識別；

對所述定位子網絡、所述行人部件識別子網絡、所述行人重識別子網絡中的每一個卷積層的輸出進行歸一化操作；

步驟B4、通過標簽平滑正則化方法優化行人部件類別和行人類別的概率分布；

步驟B5、更換SSD網絡中誤差函數的識別誤差值，將識別誤差值由一組標記的分類誤差更換為行人部件類別識別誤差值與行人類別識別誤差值之和，在所有有效視頻幀圖像通過非極大值抑制模塊完成非極大值抑制后，通過預測結果融合模塊，將同一個行人的整體和部件的位置、大小、相應的類別信息進行篩選融合。