[發(fā)明專利]一種基于空間約束的可疑人員跨鏡頭追蹤方法及裝置

有效

• 申請?zhí)枺?/td>: 201910969309.4
• 申請日: 2019-10-12
• 公開（公告）號: CN110706259B
• 公開（公告）日: 2022-11-29
• 發(fā)明（設(shè)計）人: 呂琪菲;韓宇韜;張至怡;陳銀;黨建波;陽松江
• 申請（專利權(quán)）人: 四川航天神坤科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T3/00;G06T7/194;G06T7/62;G06N3/04;G06N3/08
• 代理公司: 成都市集智匯華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51237
• 代理人: 羅艷

1.一種基于空間約束的可疑人員跨鏡頭追蹤方法，其特征在于，所述方法包括：

S11：將映射在虛擬三維場景中的各個監(jiān)控攝像頭的視頻幀數(shù)據(jù)進行行人檢測，獲得各個視頻幀上的二維行人檢測框；根據(jù)各個監(jiān)控攝像頭注冊到虛擬三維場景的投影矩陣，將各個視頻幀上的二維行人檢測框轉(zhuǎn)換為虛擬三維場景中的三維行人檢測框，包括：在監(jiān)控攝像頭的二維視頻幀上選取大于或等于4個角點作為二維控制點集A，在虛擬三維場景中利用屏幕交互選取二維控制點對應(yīng)的特征點，通過三維碰撞檢測計算二維控制點的三維坐標(biāo)，作為三維控制點集B；根據(jù)監(jiān)控攝像頭的線性模型，利用二維控制點集A及其對應(yīng)的三維控制點集B，求解監(jiān)控攝像頭的透視投影矩陣；對透視投影矩陣進行QR分解，求解監(jiān)控攝像頭內(nèi)、外方位元素；根據(jù)監(jiān)控攝像頭透視投影矩陣，將三維控制點集B投影到監(jiān)控攝像頭的視頻幀上，得到新的二維控制點集C；計算二維控制點集A和二維控制點集C中對應(yīng)點誤差，利用Levenberg-Marquardt算法最小化二維控制點的預(yù)測圖像位置與實際圖像位置的反投影誤差；利用獲取的監(jiān)控攝像頭內(nèi)、外方位元素和對應(yīng)點誤差，計算監(jiān)控攝像頭在虛擬三維場景中的透視投影矩陣和觀察矩陣，添加監(jiān)控攝像頭到虛擬三維場景中；利用投影矩陣將二維目標(biāo)行人檢測框的四個角點投影到虛擬三維場景中，再利用osgEarth庫的繪制接口在虛擬三維場景中繪制出三維行人檢測框；

S12：接收用戶在虛擬三維場景中選定的可疑人員位置，判斷所選可疑人員位置的三維坐標(biāo)是否屬于任一個三維行人檢測框，若是，則通過透視投影矩陣反投影獲取所選可疑人員位置的三維坐標(biāo)對應(yīng)的二維坐標(biāo)，進而獲得所選可疑人員的二維行人檢測框；

S13：在所選可疑人員的二維行人檢測框?qū)?yīng)的監(jiān)控攝像頭視頻幀上對所選可疑人員進行跟蹤并獲取所選可疑人員的二維跟蹤軌跡點集，再利用投影矩陣轉(zhuǎn)換獲得所選可疑人員的三維跟蹤軌跡點集并擬合；

S14：實時檢測所選可疑人員是否在當(dāng)前監(jiān)控攝像頭視頻幀上丟失，若丟失則在預(yù)設(shè)鄰近監(jiān)控攝像頭的視頻幀上檢索所選可疑人員，檢索到所選可疑人員后返回步驟S13。

2.根據(jù)權(quán)利要求1所述的基于空間約束的可疑人員跨鏡頭追蹤方法，其特征在于，所述步驟S14中檢索到所選可疑人員后返回步驟S13的方法包括：當(dāng)在其他監(jiān)控攝像頭視頻幀上檢索到所選可疑人員時，根據(jù)該監(jiān)控攝像頭的空間位置三維坐標(biāo)和觀察姿態(tài)角重新設(shè)置虛擬三維場景主窗口視點，再返回步驟S13。

3.根據(jù)權(quán)利要求1所述的基于空間約束的可疑人員跨鏡頭追蹤方法，其特征在于，所述步驟S11中將映射在虛擬三維場景中的各個監(jiān)控攝像頭的視頻幀數(shù)據(jù)進行行人檢測，獲得各個視頻幀上的二維行人檢測框的方法包括：

采用OpenCV開源計算機視覺庫讀取各個監(jiān)控攝像頭傳入的視頻流并解碼視頻幀數(shù)據(jù)；

采用Yolov3目標(biāo)檢測算法、利用預(yù)訓(xùn)練模型構(gòu)建的行人檢測器，對各個視頻幀數(shù)據(jù)進行實時視頻檢測，獲取各個視頻幀上的二維行人檢測框。

4.根據(jù)權(quán)利要求1所述的基于空間約束的可疑人員跨鏡頭追蹤方法，其特征在于，所述步驟S12的方法包括：

接收用戶在虛擬三維場景中使用鼠標(biāo)單擊選中的可疑人員位置，獲取鼠標(biāo)單擊位置的屏幕坐標(biāo)，再利用osgEarth庫碰撞檢測功能接口計算得到鼠標(biāo)單擊位置對應(yīng)的三維坐標(biāo)；

計算該三維坐標(biāo)點是否被任一個三維行人檢測框所包含，若是則通過透視投影矩陣反投影獲取三維坐標(biāo)對應(yīng)的二維坐標(biāo)，進而確定其對應(yīng)的所選可疑人員的二維行人檢測框。

5.根據(jù)權(quán)利要求1所述的基于空間約束的可疑人員跨鏡頭追蹤方法，其特征在于，所述步驟S13的方法包括：

利用獲取的二維行人檢測框初始化KCF跟蹤器，通過KCF跟蹤器對跟蹤的所選可疑人員逐幀計算具體位置，獲取所選可疑人員的二維軌跡點集；

采用曼哈頓距離間距采樣二維軌跡點集，利用投影矩陣轉(zhuǎn)換二維坐標(biāo)，進而獲取所選可疑人員的三維跟蹤軌跡點集；

利用三次貝塞爾曲線擬合所選可疑人員的三維跟蹤軌跡點集，進而在虛擬三維場景中動態(tài)添加一個線節(jié)點，將三維跟蹤軌跡點集繪制在虛擬三維場景中并與所選可疑人員相綁定。