[發(fā)明專利]一種基于深度學習的視頻接力跟蹤方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110448773.6
• 申請日: 2021-04-25
• 公開（公告）號: CN113052876B
• 公開（公告）日: 2022-09-02
• 發(fā)明（設計）人: 洪洋;張明;任廣鑫;趙曼;張泉;呂要要;劉海峰;季坤;吳迪;甄超;王坤;王劉芳;鄭浩
• 申請（專利權）人: 合肥中科類腦智能技術有限公司;國網(wǎng)安徽省電力有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/277
• 代理公司: 合肥昊晟德專利代理事務所(普通合伙) 34153
• 代理人: 何梓秋

本發(fā)明公開了一種基于深度學習的視頻接力跟蹤方法及系統(tǒng)，屬于視頻追蹤技術領域，包括以下步驟：S1：獲得目標位置和目標深度特征；S2：進行IOU匹配；S3：進行特征相似性度量；S4：目標接力跟蹤。本發(fā)明采用無錨框的目標檢測算法作為變電監(jiān)控環(huán)境中的檢測算法，并針對變電場景選擇合適主干網(wǎng)絡并訓練特定目標檢測器，以適應不同硬件設備的部署；采用基于深度學習的特征提取網(wǎng)絡提取的魯棒特征用于跨攝像頭目標關聯(lián)匹配，可以提高變電站監(jiān)控智能化水平，以應對無人值守環(huán)境下大場景或大范圍內實現(xiàn)可疑目標檢測和連續(xù)跟蹤，值得被推廣使用。

技術領域

本發(fā)明涉及視頻追蹤技術領域，具體涉及一種基于深度學習的視頻接力跟蹤方法。

背景技術

隨著電力工業(yè)的不斷發(fā)展，電力部門網(wǎng)絡的全面改造工程已經(jīng)實施，各變電站、變電所、通訊站等要實現(xiàn)少人或無人值守，以提高生產(chǎn)效益。各地區(qū)電業(yè)局都設立了運行管理值班室及調度部門，由于不能全面掌握現(xiàn)場狀況，給各部門的運行協(xié)調帶來了一定的困難。

完整的多攝像頭接力跟蹤包括目標定位、單攝像頭機內追蹤和多攝像頭間交接三個部分。傳統(tǒng)基于先驗信息的目標定位方法包括靜態(tài)背景下的目標檢測和復雜背景下的目標檢測。靜態(tài)背景下目標檢測多采用差分法、模板匹配法、減除背景法。復雜背景下的目標檢測包括運動背景下的目標檢測和大場景下目標檢測。無論是運動背景下的目標檢測還是大場景下的目標檢測，都需要利用一定的算法對背景進行估計和補償，將一系列拍攝所得的背景圖像拼接為完整的背景，然后再根據(jù)每一幀的像素鎖定背景區(qū)域，實現(xiàn)目標的定位。一般情況下，多攝像頭的交接跟蹤分為有重疊視覺區(qū)域的多攝像機目標跟蹤和無重疊視覺區(qū)域的多攝像機目標跟蹤。有重疊視覺區(qū)域的多攝像機目標跟蹤可以利用不同攝像機內的重疊區(qū)域進行標定，其核心思想是建立不同攝像機之間的三維拓撲關系。該方法通過攝像頭獲得其周圍環(huán)境信息，通過映射函數(shù)將某一攝像機坐標下的目標信息映射到另一攝像機的坐標中。該算法只利用了攝像機間的位置信息，沒有利用目標物體的特征模型，是一種計算復雜度相對較低的方法。無重疊視覺區(qū)域的多攝像機目標跟蹤中存在視覺盲區(qū)，難度比有重疊視覺區(qū)域的追蹤要大得多。由于攝像機間視野不重疊，多個攝像機的相對位置關系難以確定，無法在視覺交界處進行目標的傳遞。因此，在這種情況下，多采用基于目標特征匹配的算法。例如，可利用顏色直方圖進行目標匹配，或是利用紋理和形狀特征來建立模型，最大化概率關聯(lián)融合(JPDAF)來進行跨越視野的追蹤。

傳統(tǒng)基于先驗信息的目標定位方法依賴于環(huán)境信息和手工特征，目標定位的魯棒性、準確性和環(huán)境適應性較低。多攝像頭間交接依賴于多攝像頭的拓撲信息以及手工特征，不同攝像機所處環(huán)境的不同導致了目標特征的選取存在一定困難，容易引起特征提取不準確、不完整。同時，同一目標特征模型的參數(shù)在不同攝像機下也不盡相同，進一步加大了多攝像機交接的困難，該類算法的計算復雜度相對較高。因此，提出一種基于深度學習的視頻接力跟蹤方法及系統(tǒng)。

發(fā)明內容

本發(fā)明所要解決的技術問題在于：如何解決當前變電站監(jiān)控系統(tǒng)存在的需要人員在線干預、多個攝像頭之間相互孤立缺乏聯(lián)動、智能化水平低等問題，提供了一種基于深度學習的視頻接力跟蹤方法，用來提高變電站監(jiān)控智能化水平，以應對無人值守環(huán)境下大場景或大范圍內實現(xiàn)可疑目標檢測和連續(xù)跟蹤。

本發(fā)明是通過以下技術方案解決上述技術問題的，本發(fā)明包括以下步驟：

S1：獲得目標位置和目標深度特征

每隔n個圖像幀，輸入視頻流經(jīng)過目標檢測網(wǎng)絡和特征提取網(wǎng)絡分別獲得目標位置和目標深度特征；

S2：進行IOU匹配

預測目標下一次可能的位置，并對檢測結果和跟蹤結果做IOU匹配；

S3：進行特征相似性度量

判斷IoU是否大于預設閾值δ，如果大于預設閾值δ，則表示跟蹤成功；如果小于預設閾值δ，則表示跟蹤失敗，進而計算當前跟蹤失敗目標與相鄰所有相機目標做特征相似性度量；