[發明專利]一種基于多源圖像信息的特定人員重識別方法

在審

• 申請號: 202110397163.8
• 申請日: 2021-04-13
• 公開（公告）號: CN113033468A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 莊杰棟;鄭恩輝
• 申請（專利權）人: 中國計量大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08;H04N7/18
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種基于多源圖像信息的特定人員重識別方法，其特征在于，方法包括如下步驟：

步驟1，在同一場景中設置多個固定攝像頭和無人機，無人機上安裝有一個云臺攝像頭，固定攝像頭和云臺攝像頭共同組成攝像頭，設置圖像緩存隊列并對多路攝像頭的視頻進行采集和存儲同步；

步驟2，采用一階段目標檢測網絡對采集到的多路攝像頭的視頻中的圖像進行實時行人檢測并將結果存入緩存區；

步驟3，構建行人重識別網絡并讀取緩存區中的行人數據進行處理獲得重識別的歐氏距離，對重識別得到的歐氏距離進行排序，根據排序的結果進行人員位置框的繪制并顯示。

2.根據權利要求1所述的一種基于多源圖像信息的特定人員重識別方法，其特征在于：所述步驟1包括如下子步驟：

步驟1-1，通過rtsp協議分別采集多路固定攝像頭的監控視頻到pc端解碼，同時，無人機通過圖傳將云臺攝像頭的圖像視頻傳輸到手機端進行編碼再后通過tcp協議發送到pc端并解碼；

步驟1-2，在pc端為每一路攝像頭的視頻建立一個線程和一個圖像緩存隊列，每一路攝像頭下的視頻中的每一幀圖像按時序存儲在自身的圖像緩存隊列中，每一路攝像頭下的線程對應處理該路攝像頭下的圖像緩存隊列，每間隔處理讀取所有圖像緩存隊列中幀數最小的圖像緩存隊列作為參考圖像緩存隊列；

步驟1-3，使用雙線性插值法統一每一路攝像頭的圖像的分辨率大小；

步驟1-4，由所有線程建立線程池，使得每一路攝像頭的視頻共同處理在顯示界面中的固定位置顯示。

3.根據權利要求1所述的一種基于多源圖像信息的特定人員重識別方法，其特征在于：所述步驟2包括如下子驟：

步驟2-1，選擇YOLOv3神經網絡作為目標檢測網絡的基礎模型，并在YOLOv3神經網絡的基礎上加上空間金字塔池化結構形成最終的目標檢測網絡；

步驟2-2，將目標檢測網絡加載在coco2017數據集上進行預訓練網絡的權重，并對步驟1中采集到的多路攝像頭的視頻中的圖像進行調整尺寸、歸一化等預處理后輸入網絡模型進行預測處理，獲得行人類別的預測框，提取出行人類別的預測框作為行人圖像并存入緩存區。

4.根據權利要求1所述的一種基于多源圖像信息的特定人員重識別方法，其特征在于：所述步驟3包括如下子步驟：

步驟3-1，選取主干網絡osnet為行人重識別網絡的主干，行人重識別網絡的頭部分為局部分支和全局分支的兩個分支，局部分支和全局分支分別提取獲得局部特征和全局特征，將局部分支輸出的特征圖自上而下平均分成與人體拓撲結構相吻合的四個部分，最后將全局分支與局部分支的輸出拼接；

步驟3-2，將拼接后的特征結果進行分類，使用交叉熵加上三元組損失函數作為分類損失函數，共同對行人重識別網絡進行訓練和監督；

步驟3-3，由訓練后的行人重識別網絡將步驟2緩存區中的行人圖像進行處理得到每一個行人的特征向量，將每一個特征向量與預先獲得的特定人員的特征向量之間計算歐氏距離；

步驟3-4，對重識別得到的歐氏距離進行排序，根據排序的結果進行人員位置框的繪制并顯示。