[發明專利]基于改進型YOLOv3網絡和特征融合的行人重識別方法

有效

• 申請號: 202010562392.6
• 申請日: 2020-06-18
• 公開（公告）號: CN111783576B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 姬紅兵;段育松;張文博;李林;臧博
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/045;G06N3/0985
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;黎漢華

本發明公開了一種基于改進型YOLOv3網絡和特征融合的行人重識別方法，主要解決現有技術在視頻監控場景中對特定行人檢索精度低且速度慢的問題。其方案為：1)構建行人圖片數據集；2)搭建改進型YOLOv3網絡；3)搭建融合全局特征和多尺度局部特征的行人重識別網絡；4)利用數據集訓練改進型YOLOv3網絡和行人重識別網絡；5)融合2)和3)訓練后的這兩個網絡得到行人重識別系統；6)將監控視頻和待檢索的目標行人圖片輸入到行人重識別系統，對待檢索目標行人進行檢索，輸出目標行人的重識別結果。本發明增強了對不同姿態行人的敏感度，提高了行人重識別的檢索速度和精度，可用于區域安防、刑事偵查、視頻監控及行為理解。

技術領域

本發明屬于計算機視覺領域，特別是涉及一種行人重識別方法，可用于區域安防、刑事偵查、視頻監控及行為理解。

背景技術

近年來，越來越多的攝像機被部署到公共場所中。如何借助人工智能技術實現海量視頻數據的智能分析和應用，已成為構建智能安防的關鍵。其中，行人重識別ReID正屬于其中的核心課題之一。

隨著人臉識別技術的發展，行業開始尋求更多技術應用的可能性。行人重識別技術作為人臉技術的重要補充和擴展，越來越多互聯網巨頭和科技獨角獸開始意識到它的重要性，并逐漸在行人重識別研究領域投入資源。行人重識別ReID技術能夠識別人的服裝穿著、體態與發型，主要解決跨攝像頭跨場景情況下對行人的識別、追蹤與檢索。

行人重識別是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術，廣泛被認為是一個圖像檢索的子問題。不同于人臉識別，行人重識別是將同一個人在不同攝像設備下的影像匹配起來，生成跨攝像頭跨空間的目標人物檢索。

一套以視頻為輸入的行人重識別系統包括行人檢測和行人重識別。如圖2所示。行人檢測系統將輸入的原始視頻轉化為待檢索的行人圖像，行人重識別對待檢索的行人圖像進行特征提取和相似度度量，實現對給定目標人物的識別。

傳統的行人重識別方法依賴手工圖像特征，比如顏色、Haar-like特征、直方圖HOG、尺度不變特征變換SIFT、局部二值模式LBP和局部最大發生LOMO，這些方法均忽略了目標敏感區域，易受非目標區域的干擾，導致檢測精度降低，運算量大。

發明內容

本發明的目的在于針對上述現有技術的不足，提供一種基于改進型YOLOv3網絡和特征融合的行人重識別方法，以減小運算量，提高檢測精度，保證檢測的實時性。

本發明的技術方案是這樣實現的：

一.技術原理

由于視頻監控場景中行人數量眾多且不同行人個體差異較小、難以區分，影響計算機在視頻中檢測特定行人的性能。如何使網絡將不同行人的特征進行區分，學習到更具代表性的特征至關重要。因此，本發明主要基于深度學習的行人重識別研究，通過調整訓練獲得深度卷積神經網絡模型，采用該模型進行特征提取，結合分類器進行網絡訓練，形成基于深度學習的行人重識別系統。通過對YOLOv3網絡進行修改、剪枝以改進優化行人檢測網絡框架，使得行人檢測網絡更適用于對行人進行識別和檢測，有效提升行人檢測的速度和準確度；同時在全局特征的基礎上，通過引入基于局部特征的方法，利用圖片切塊模型提取到的行人局部特征進行相似度度量，得到融合全局特征和多尺度局部特征的行人重識別方法。

二.技術方案

根據上述原理，本發明的實現步驟包括如下：

(1)構建訓練數據集：

(1a)采集至少30000張像素不低于64×128的圖像，圖像必須包含行人目標，且每個行人至少由兩個攝像頭捕捉到；

(1b)對每一張圖像中行人的邊界框進行人工標注，繪制行人檢測矩形框；

(1c)將所采集到的行人圖像按照3:1的比例構建成訓練集和驗證集；