[發(fā)明專利]基于有限范圍場景內(nèi)的目標人群跟蹤監(jiān)控方法

有效

• 申請?zhí)枺?/td>: 202011005357.0
• 申請日: 2020-09-22
• 公開（公告）號: CN112200021B
• 公開（公告）日: 2022-07-01
• 發(fā)明（設(shè)計）人: 張立國;劉博;金梅;李楓;孫勝春;張少闊;張子豪;郎夢園;張勇
• 申請（專利權(quán)）人: 燕山大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/74;G06V40/16;G06V40/10;G06V20/52;G06K9/62;G06T7/246
• 代理公司: 北京孚睿灣知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11474
• 代理人: 孫建

1.一種基于有限范圍場景內(nèi)的目標人群跟蹤監(jiān)控方法，其特征在于，該方法包括以下步驟：

S1：在目標人群活動的各場合中放置相機系統(tǒng)，通過跨相機數(shù)據(jù)關(guān)聯(lián)技術(shù)恢復(fù)視野，實現(xiàn)目標人群活動范圍場景的全覆蓋；

S2：按照目標人群的身體形態(tài)和臉部形態(tài)，將端到端檢測網(wǎng)絡(luò)模型Tiny-Yolov3中錨框的選擇方式進行改進，通過新的錨框生成方法，結(jié)合實際的場景，選用1：1和1：5的比例，以提高識別的速度和精度；

S3：改進端到端檢測網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)，改變輸出尺度，并嵌入通道壓縮和擴張結(jié)構(gòu)，提高通道注意力，通過縮小版端到端檢測網(wǎng)絡(luò)的圖像特征金字塔結(jié)構(gòu)使用錨框推薦網(wǎng)絡(luò)，提高空間注意力；

S4：將端到端檢測網(wǎng)絡(luò)改進，加入人臉檢測，在人臉的尺度上級連人臉識別網(wǎng)絡(luò)的頭部網(wǎng)絡(luò)，提高檢測精度的同時保證檢測速度；

S5：修改檢測網(wǎng)絡(luò)的損失函數(shù)，以適應(yīng)目標人群及目標人群臉部檢測的快速性需要；

將端到端檢測網(wǎng)絡(luò)提出的預(yù)測是人臉的錨框進行全局自適應(yīng)池化，再將特征從原始圖片到歐氏空間映射，加入相似度的損失，最終得到的損失函數(shù)如下：

其中，loss₁是中心點坐標回歸損失、loss₂表示有預(yù)測框處置信度損失、loss₃是錨框類別預(yù)測損失、loss₄是人臉相似度比較的損失、λ_coord是中心點損失系數(shù)、k是最終預(yù)測的網(wǎng)格數(shù)、M表示該尺度錨框數(shù)量、表示第i個錨框中第j層有物體obj、classes表示錨框的類別，x_i、y_i、分別表示橫坐標的標注值、橫坐標的預(yù)測、縱坐標的標注值、縱坐標的預(yù)測，w與h分別表示回歸之后錨框的寬和高、x與y分別表示回歸之后錨框的中心點坐標、c表示類別；λ_noobj表示沒有目標的格子對應(yīng)的損失系數(shù)，w_i與h_i分別表示標注的寬和高、與分別表示預(yù)測的寬和高、C_i表示當前單元是否負責某個對象，如果是則為1，不是則為0，表示預(yù)測的類別置信度、p_i(c)、分別表示類別的標注值和類別的預(yù)測值、N表示一張圖上的人臉總數(shù)、表示人臉的錨框、表示預(yù)測為人臉的框；

總的損失loss為：

其中，contain表示包含人臉框，取值為{0,1}，從損失能得出不包含人臉框時，相似度比較損失；

S6：改進多目標跟蹤監(jiān)控模型，通過具體特征的提取以及具體場景的剪枝，提高在目標人群跟蹤監(jiān)控的模型適應(yīng)性，將端到端檢測模型的推理階段嵌入到多目標跟蹤模型中，使用深度特征作為體弱群體身份的識別信息，使用以下表達式平衡檢測的結(jié)果和人臉識別的結(jié)果：

id＝β*face_similar+(1-β)*v*P(v)

其中，id表示識別體弱群體的身份、β是平衡預(yù)測系數(shù)、v為標注框的類別，表示是否為人臉信息的置信度，P(v)為檢測結(jié)果預(yù)測為該身份的概率、face_similar表示人臉的相似度；

S7：對多目標跟蹤監(jiān)控網(wǎng)絡(luò)進行冗余網(wǎng)絡(luò)優(yōu)化，提高跟蹤監(jiān)控每秒幀數(shù)；

根據(jù)卡爾曼濾波得到的運動特征和檢測網(wǎng)絡(luò)得到的表觀特征進行前后幀關(guān)聯(lián)，構(gòu)建關(guān)聯(lián)矩陣，同步的加入人臉相似度關(guān)聯(lián)信息，進行優(yōu)化得到最終結(jié)果；

S8：將修改好的端到端檢測網(wǎng)絡(luò)進行修剪，嵌入目標跟蹤監(jiān)控網(wǎng)絡(luò)，用作深度特征生成，端到端的實現(xiàn)目標人群跟蹤監(jiān)控。

2.根據(jù)權(quán)利要求1所述的基于有限范圍場景內(nèi)的目標人群跟蹤監(jiān)控方法，其特征在于，所述S3包括以下步驟：

S31、將網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)嵌入壓縮擴張結(jié)構(gòu)，在殘差后加入全連接層，增加在識別目標上的通道注意力；

S32、在端到端檢測網(wǎng)絡(luò)回歸之后的檢測框中增加錨框推薦網(wǎng)絡(luò)，在大尺度的圖像特征金字塔對應(yīng)層，采用弱監(jiān)督的方式，將錨框推薦網(wǎng)絡(luò)的上采樣形成的特征圖進行3×3的反卷積形成單通道的特征圖，將回歸的檢測框映射過來，進行如下計算：

其中，表示生成的空間注意力圖、F_k是原特征圖、v_c是反卷積核、*表示反卷積；得到單通道的特征圖，去掉與回歸的錨框IOU小于0.5的錨框推薦，將空間注意力集中到有錨框回歸的部分，進一步提高檢測的精度。

3.根據(jù)權(quán)利要求1所述的基于有限范圍場景內(nèi)的目標人群跟蹤監(jiān)控方法，其特征在于，所述S4中，將人臉尺度的那一層特征圖經(jīng)過卷積，使用全局池化，接入全連接層，得到人臉向量，然后使用FaceNet頭部網(wǎng)絡(luò)映射到歐式空間，在訓練和預(yù)測時將人臉特征作用于前面的特征層，準確地識別目標人群身份。