[發明專利]基于深度網絡和字典學習的行人目標檢測與重識別方法

有效

• 申請號: 202110491698.1
• 申請日: 2021-05-06
• 公開（公告）號: CN113326738B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 劉茜
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/40;G06V10/774;G06V10/80;G06V10/82;G06N3/044;G06N3/088;G06N3/096
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 姜慧勤

本發明公開了一種基于深度網絡和字典學習的行人目標檢測與重識別方法，包括：1)使用不同場景的兩個攝像機，構建行人數據集；2)為每個攝像機構建一個改進型SSD網絡；3)對行人特征提取子網絡輸出的行人特征，構建共同的半監督遷移字典學習模塊；4)利用行人數據集訓練兩個改進型SSD網絡和半監督遷移字典學習模塊，獲得端到端的行人目標檢測與重識別系統；5)將待識別的行人圖像或視頻輸入行人目標檢測與重識別系統，輸出行人目標檢測和重識別結果。本發明實現了行人目標檢測與重識別的端到端系統模型，充分利用無標記訓練樣本參與深度網絡和字典的學習，有效增強行人目標檢測與重識別能力。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種基于深度網絡和字典學習的行人目標檢測與重識別方法。

背景技術

近年來，越來越多的監控攝像機被部署到各類公共場所中，視頻監控在打擊違法犯罪、維護社會安全等方面正發揮著越來越重要的作用。在視頻監控的應用中，針對特定行人目標的檢測與重識別具有重要的需求。

行人目標檢測技術用于在單個監控攝像機中進行精確定位和識別行人目標；行人重識別技術用于判斷在不同監控攝像機下出現的行人是否是同一個人；將這兩個技術結合在一起，可以在視頻監控網絡中快速定位到感興趣的特定行人目標。

一般行人目標檢測與重識別系統包括行人目標檢測和行人重識別兩個子系統。傳統的做法是將這兩個子系統分割成兩個步驟，先由行人目標檢測子系統處理目標檢測，然后將檢測結果交給行人重識別子系統，重識別子系統根據檢測結果提取行人特征表示，再利用行人特征表示進行重識別。這種分兩步走的策略割裂了目標檢測和重識別過程，前面的目標檢測一旦出錯會嚴重影響后面的重識別的識別效果。

目前實際使用的部分監控攝像機只對感興趣的目標拍攝不連續的圖像或連續的視頻。在人工智能領域，通常是將視頻轉換為連續的視頻幀圖像進行處理。因此，從通用性和實用性角度考慮，行人目標檢測與重識別系統應該既能夠處理行人圖像又能夠處理行人視頻。

發明內容

發明目的：針對以上問題，本發明提出一種基于深度網絡和字典學習的行人目標檢測與重識別方法，既可以使用行人圖像數據，又可以使用行人視頻數據，將行人目標檢測與行人特征提取和重識別并行進行，降低目標檢測結果對重識別的影響，并充分利用無標記訓練數據參與深度網絡和字典的學習，提升整個系統模型的泛化能力，提高行人目標檢測和重識別的精確度。

技術方案：為實現本發明的目的，本發明所采用的技術方案是：一種基于深度網絡和字典學習的行人目標檢測與重識別方法，具體包括如下步驟：

S1：獲取第一攝像機拍攝的行人圖像數據與行人視頻數據，并對所述行人圖像數據和行人視頻數據進行預處理，根據預處理后的所述行人圖像數據與行人視頻數據構建第一有標記訓練集、第一無標記訓練集和第一驗證集；獲取第二攝像機拍攝的行人圖像數據與行人視頻數據，進行上述相同的預處理，并構建第二有標記訓練集、第二無標記訓練集和第二驗證集；

S2：為第一攝像機和第二攝像機分別構建各自對應的改進型SSD網絡，所述改進型SSD網絡包括基礎網絡、多尺度網絡、行人特征提取子網絡、行人部件識別子網絡、定位子網絡和定位預測框篩選模塊；

S3：為第一攝像機和第二攝像機各自對應的改進型SSD網絡的行人特征提取子網絡輸出的行人特征，構建共同的半監督遷移字典學習模塊；

S4：利用第一有標記訓練集、第一無標記訓練集和第一驗證集訓練S2中為第一攝像機構建的改進型SSD網絡以及S3中構建的半監督遷移字典學習模塊，同時利用第二有標記訓練集、第二無標記訓練集和第二驗證集訓練S2中為第二攝像機構建的改進型SSD網絡以及S3中構建的半監督遷移字典學習模塊，得到端到端的行人目標檢測與重識別系統；

S5：將待識別的行人圖像或行人視頻進行預處理后，輸入至S4所述行人目標檢測與重識別系統，得到行人目標檢測與重識別結果。