[發明專利]一種基于類中心自適應的重點人員搜索系統跨域識別方法

有效

• 申請號: 202011267881.5
• 申請日: 2020-11-13
• 公開（公告）號: CN112784674B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 冷彪;李子涵
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V20/52;G06V40/10;G06V10/762;G06V10/764;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

1.一種基于類中心自適應的重點人員搜索系統跨域識別方法，其特征在于，包括訓練和測試兩個階段：

所述訓練階段實現如下：

步驟一：新數據收集與數據預處理

在行人監控設備運行的過程中，數據收集模塊不斷收集新的來自不同攝像頭采集的行人視頻數據，其中，行人視頻數據按采集場景不同分別存儲，同一個場景采集的行人視頻數據存儲在一個獨立的數據庫中；對于同一個場景的行人視頻數據，在新數據的數量達到閾值后，則進入后續步驟；

步驟二：行人檢測

輸入待檢測的行人視頻數據，對于行人視頻數據中的每幀圖像，利用基于區域提案網絡實現的實時目標檢測模型進行行人檢測，判定每幀圖像中行人所在位置，得到行人檢測框；

步驟三：行人跟蹤

使用卷積神經網絡提取每幀圖像的行人檢測框內的行人圖像的特征作為表觀特征，在每幀圖像之間利用行人檢測框內行人圖像的表觀特征，進行前后幀行人檢測框的匹配，實現對連續視頻幀中同一個行人的跟蹤，根據行人檢測框的位置，將匹配后的行人圖像裁出，最終得到輸入行人視頻數據中出現的每個行人的一段或多段連續視頻幀構成的行人圖像簇；

步驟四：行人圖像簇關鍵幀提取

使用關鍵幀提取算法對每個行人圖像簇進行關鍵幀提取，得到行人圖像簇中的關鍵幀，構成新的無冗余的行人圖像簇；

其中在提取關鍵幀時，先使用卷積神經網絡對行人圖像簇提取圖像特征，再根據圖像特征計算相鄰視頻幀之間的距離，將距離大于閾值的視頻幀標記為關鍵幀；

步驟五：行人圖像聚類

使用卷積神經網絡對步驟四得到的行人圖像簇提取特征，通過計算特征之間的余弦距離得到距離矩陣，對距離矩陣采用具有噪聲的基于密度的空間聚類算法進行聚類，得到N類，假設用于聚類的行人圖像簇中共有n張圖像，則N的取值范圍是1到n；

其中在聚類時，首先設定屬于一個類的最少樣本數量m和類內樣本之間的最小距離e，然后對距離矩陣中每一個數據按最小距離e來搜索簇，對于距離矩陣中的某個樣本c，如果以c為中心e為半徑的鄰域內包含的樣本數多于m個，則創建一個以c為核心對象的簇；然后，將存在與該簇內任意一個樣本的距離小于e的樣本加入該簇，并不斷迭代此過程，直到每一個樣本找到自己的簇或不屬于任何簇為止；

步驟六：基于類中心自適應策略訓練行人重識別模型

使用卷積神經網絡來構建行人重識別網絡框架，并使用類中心投影轉導層來代替通常的用于有監督分類的全連接層，類中心投影轉導層由全連接層改進而來，該層的投影矩陣對有標注的數據來說和全連接層一致，而對于無標注的數據則使用其各自類中心來模擬錨構成投影矩陣；

令χ^L表示有標注的包含M個類的數據集，χ^U表示未標注的數據集，即通過步驟五得到的數據；設置閾值，小于閾值的為小批量，在一個訓練輪次中，構造一個小批量數據其中包括有標注的數據和未標注的數據p表示在這個小批量數據中有標注的數據的數量，q表 示在這個小批量數據中未標注的數據的數量，是從有標注數據中隨機選擇的；而是從先未標注數據中隨機選擇r個未標注的簇，再從每個簇中隨機選擇s個樣本來構建的，即q＝r·s，這個小批量數據B被送入網絡后，在類中心投影轉導層之前提取的特征被表示為f，通過類中心投影轉導層得到不帶偏置項的輸出y＝W^Tf用于分類，然后將y傳入softmax損失層；

基于以上類中心自適應策略進行行人重識別模型訓練，當損失函數大小不再波動時收斂，得到具有高效識別能力的行人重識別模型；

步驟七：模型壓縮量化

使用深度學習推理優化器TensorRT，對步驟六得到的行人重識別模型進行壓縮和量化，所述壓縮包括把卷積、偏置和激活層合并成一個獨立的結構的橫向合并和把結構相同但權值不同的層合并成一個更寬的層的縱向合并；量化是將壓縮后的模型的32位浮點數類型的數據映射為8位的整型數據，最終將行人重識別模型大小縮小為原來的四分之一，并使測試速度提升3至5倍；

最終得到用于測試的行人重識別模型；

所述測試階段實現如下：

步驟一：數據預處理

在數據預處理當中，對待識別的行人視頻數據進行與訓練階段相同的處理，即需要完成行人檢測和行人跟蹤，獲得能夠直接輸入到行人重識別模型當中的數據，這些數據作為行人搜索的圖像庫；

步驟二：行人搜索

使用查詢圖像在圖像庫中找到與查詢圖像具有相同身份的t個行人圖像數據，首先使用訓練階段最終得到的行人重識別模型對查詢圖像和圖像庫中的圖像進行特征提取，再計算查詢圖像的特征和圖像庫中的圖像的特征的余弦距離，得到距離矩陣以及圖像對對應關系；

步驟三：重排序

使用拓展查詢算法對距離矩陣進行重排序，即首先對步驟二的距離矩陣進行排序，得到與查詢圖像距離最小的t個圖像，再對這t個圖像和查詢圖像的特征求和取平均作為新的查詢圖像的特征，再計算新的查詢圖像的特征和圖像庫中的圖像的特征的余弦距離得到新的距離矩陣以及圖像對對應關系，最后對此距離矩陣進行排序，前t個即為最終在圖像庫中查找到的t個與查詢圖像具有相同身份的行人圖像數據。