[發明專利]一種基于監控視頻的遺留物檢測方法

有效

• 申請號: 202010874464.0
• 申請日: 2020-08-27
• 公開（公告）號: CN112016445B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 周偉;鄭福建;郭鑫;龐一然;汪彥;易軍;黃鴻;雷友峰;辜小花;李太福
• 申請（專利權）人: 重慶科技學院
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V10/764;G06V10/82;G06K9/62;G06T7/246;G06N3/04;G06N3/08
• 代理公司: 重慶蘊博君晟知識產權代理事務所(普通合伙) 50223
• 代理人: 韓慧芳

本發明提供一種基于監控視頻的公共場所遺留物檢測方法，首先，通過圖像采集設備獲取視頻流，然后，根據視頻幀中游客與其攜帶物的關系，匹配游客及其攜帶物，再對游客及其攜帶物使用卡爾曼濾波與表觀建模的級聯匹配方法進行目標跟蹤，根據跟蹤結果與游客及其攜帶物的綜合距離度量，最后判斷游客攜帶物是否離開游客，若攜帶物獨立停留時間超過閾值，則判定為遺留物并報警。本發明通過綜合距離度量判斷遺留物是否離開游客，能更好應對傳統IOU方法無法應對的情形；同時，使用卡爾曼濾波與表觀建模的級聯匹配方法對目標物體進行跟蹤，增強了多目標跟蹤任務的魯棒性，對公共場所的遺留物檢測具有較強的針對性，準確率高。

技術領域

本發明設涉及圖像處理技術領域領域，具體涉及一種多目標檢測跟蹤方法。

背景技術

公共場合游客遺失隨身攜帶物是非常常見的狀況，遺失的攜帶物小至錢包、手機，大至旅行箱包。能夠及時發現遺留物體并采取相關措施，就能夠有效保障游客的財產安全，減少游客再次返回尋找的時間成本。

在判定某攜帶物是否屬于特定游客方面，傳統的遺留物檢測方法使用IOU進行判定，但針對游客身后拖拽行李箱等情況，游客與其攜帶物僅存在松散連接，即人體與物體檢測框很可能距離較近，但完全沒有重疊，IOU為0，無法準確判斷游客與其攜帶物的關聯性。

同時，傳統的基于卡爾曼濾波的跟蹤算法著重考量游客及其攜帶物的運動信息，當出現物體遮擋的情況時，重新出現在畫面中的物體會被誤認為是第一次出現在畫面中，對遺留物的判定造成很大的困難。

發明內容

為解決上述問題，本發明采用神經網絡對檢測目標的表觀特征進行建模，并將特征向量保留一段時間，再對卡爾曼濾波跟蹤失敗的目標采用相同的神經網絡提取其表觀特征，并以余弦距離方式度量其相似度，由此解決遮擋目標重識別的問題，有效提升算法的準確度。

針對傳統IOU方法無法檢測游客與其攜帶物僅存在松散連接的情況，本發明采用綜合距離度量判定游客與其攜帶物的關聯性，提升了算法的穩定性。

為實現上述目的，本申請采用以下技術方案予以實現：

一種基于監控視頻的遺留物檢測方法，該方法包括以下步驟：

S1：通過圖像采集設備，獲取視頻流；

S2：匹配游客及其攜帶物，其具體包括以下步驟：

S21：使用YOLOv4網絡，檢測第N幀游客人體及其攜帶物，并將攜帶物作為目標物體；

S22：利用綜合距離度量對多個目標物體及其對應游客人體進行匹配，其表達式如下：

其中P為YOLOv4網絡檢測到的人體檢測框，P_c為其中心點；O為攜帶物檢測框，O_c為其中心點；S為檢測框O與P的最小凸集，S_d為其對角線長度；ρ²(·)為歐氏距離；考慮到某些隨身攜帶物離身體較遠，如拖行的行李箱，使用傳統的IOU作為特征無法準確反映其匹配關系；該方式可以度量兩個不重合或部分重合的檢測框的距離關聯；當目標物體與人體的綜合距離dist(P,O)大于閾值T1時，則確定其關聯關系；S3：對游客及其攜帶物進行目標跟蹤，其具體包括以下步驟：

S31：利用神經網絡對多個目標進行表觀建模；

使用如圖所示的神經網絡，將目標的表觀特征提取為128維向量r_j，對最后的輸出結果應用批量歸一化與L2正則化，保證||r_j||＝1；

S32：使用遞歸卡爾曼濾波預測第N+1幀中多個目標物體的位置P；

S33：檢測第N+1幀中的多個目標物體D；