[發明專利]一種監控場景下的雙目行人識別方法及裝置

在審

• 申請號: 202111355977.1
• 申請日: 2021-11-16
• 公開（公告）號: CN114332909A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 朱旭光;周金明
• 申請（專利權）人: 南京行者易智能交通科技有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V40/16;G06V10/46
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種監控場景下的雙目行人識別方法及裝置，該方法包括：第一步，在長焦距的圖像幀上由人臉檢測器給出人臉在當前幀上的初始位置，同時，在短焦距的圖像幀上由行人檢測器給出行人目標在當前幀上的初始位置；第二步，由人臉跟蹤器在后續幀上進行跟蹤，同時，由行人跟蹤器在后續幀上進行跟蹤；第三步，進行人臉軌跡評估，提取人臉關鍵點并校正；進行行人軌跡評估，提取行人關鍵點并校正；第四步，提取行人特征，提取人臉特征；第五步，進行融合識別。設計了有效融合人臉特征和行人特征的行人識別流水線，從而有效解決監控場景下的行人識別問題，同時兼顧人臉特征和行人特征，大大提高了識別的準確率。

技術領域

本發明涉及計算機視覺研究領域，具體涉及一種監控場景下的雙目行人識別方法及裝置。

背景技術

人臉識別是圖像分析與理解最重要的應用之一，人臉識別是利用計算機分析人臉視頻或者圖像，并從中提取出有效的識別信息，最終判別人臉對象的身份。人臉識別的研究可以追溯到20世紀 60年代末期，主要的思路是設計特征提取器，再利用機器學習的算法進行分類。2012深度學習引入人臉識別領域后，特征提取轉由神經網絡完成，深度學習在人臉識別上取得了巨大的成功。

行人識別指的是判別攝像頭下出現的行人的身份， 廣泛應用于智能視頻監控、安保、刑偵等領域。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：由于行人圖像的分辨率變化大、拍攝角度不統一、光照條件差、環境變化大、行人姿態、行人著裝不斷變化等原因， 使得行人識別成為目前計算機視覺領域一個既具有研究價值又極具挑戰性的研究熱點和難點問題。

發明內容

為了克服現有技術的不足，本發明提供了一種監控場景下的雙目行人識別方法及裝置，設計了有效融合人臉特征和行人特征的行人識別流水線，從而有效解決監控場景下的行人識別問題，同時兼顧人臉特征和行人特征，大大提高了識別的準確率。技術方案如下：

本發明提供了一種監控場景下的雙目行人識別方法，所述雙目行人識別方法采用具有兩種不同焦距的圖像成像源，能夠通過相同的幀率同時采集同一場景下不同距離的圖像，具體包括以下步驟：

第一步，在長焦距的圖像幀上由人臉檢測器給出人臉在當前幀上的初始位置，同時，在短焦距的圖像幀上由行人檢測器給出行人目標在當前幀上的初始位置。

長焦距的圖像幀從原始分辨率縮放到合適分辨率后輸入到人臉檢測器，人臉檢測器輸出在該縮放幀上的每一張人臉的位置， 并根據與原始分辨率的比率，把人臉位置還原成相對于原始分辨率的位置，記為Fbox(i)；同時，在對應的短焦距圖像幀也從原始分辨率縮放到合適分辨率后輸入到行人檢測器，行人檢測器輸出該縮放幀上的每一個行人的位置，同樣也根據與原始分辨率的比率，把行人位置還原成相對于原始分率的位置，記為Hbox(i)。

第二步，由人臉跟蹤器在后續幀上進行跟蹤，同時，由行人跟蹤器在后續幀上進行跟蹤；

人臉跟蹤器對所述人臉位置Fbox(i)進行跟蹤， 得到在后續長焦距幀上的人臉位置Fbox(i+1)， Fbox(i+2)， …， Fbox(i+n)，同時行人跟蹤器對所述行人位置Hbox(i)進行跟蹤，得到在后續短焦距幀上的行人位置Hbox(i+1)， Hbox(i+2)， …， Hbox(i+n).。

第三步，進行人臉軌跡評估，提取人臉關鍵點并校正；進行行人軌跡評估，提取行人關鍵點并校正；

隨著不斷在后續長焦距幀上的跟蹤，當無法跟蹤到人臉時，并且持續一定幀數時，則標記該人臉軌跡結束，把該軌跡記為Ft(i)；對該軌跡中的每一個人臉，檢測對應的關鍵點，對于關鍵點檢測失敗的人臉，在軌跡中標記該張人臉無法提取關鍵點。

隨著不斷在后續短焦距幀上的跟蹤，當無法跟蹤到行人時，并且持續一定幀數時，則標記該行人軌跡結束， 把該軌跡記為Ht(i)。對該軌跡中的每一個行人位置，檢測對應的骨骼關鍵點。

第四步，提取行人特征，提取人臉特征；