[發明專利]基于神經網絡模型的目標跟蹤方法及裝置

有效

• 申請號: 201610306250.7
• 申請日: 2016-05-10
• 公開（公告）號: CN105976400B
• 公開（公告）日: 2017-06-30
• 發明（設計）人: 俞剛;李超;何奇正;陳牧歌;彭雨翔;印奇
• 申請（專利權）人: 北京曠視科技有限公司;北京小孔科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/08
• 代理公司: 北京睿邦知識產權代理事務所(普通合伙)11481
• 代理人: 徐丁峰,張瑋

技術領域

本發明涉及圖像處理領域，更具體地涉及一種基于神經網絡模型的目標跟蹤方法及裝置。

背景技術

隨著監控攝像頭越來越普及，通過攝像頭對重點場景的安防監控的等需求也越來越普及。這類需求中最急切的是對目標(例如行人、車輛等)的準確檢測和跟蹤。檢測和跟蹤視頻場景中的每一個目標是很多應用最基本且最重要的環節。簡而言之，準確、高效地定位和跟蹤視頻場景中的每一個目標在諸如監控等實際應用中有著非常重要的意義。

現有的目標跟蹤方法通常分為兩個獨立的步驟。首先，針對待處理視頻中的每一幀分別做行人檢測。然后，根據行人檢測的結果來單獨做跟蹤。這會造成重復計算從而導致計算時間增加，影響運算速度，并且還會導致待處理視頻的目標檢測跟蹤結果不能相互優化從而影響檢測跟蹤的準確性。

發明內容

考慮到上述問題而提出了本發明。根據本發明一方面，提供了一種基于神經網絡模型的目標跟蹤方法，其中所述神經網絡模型包括特征提取神經網絡、第一神經網絡和第二神經網絡，所述目標跟蹤方法包括：

S120，將待處理視頻輸入至所述特征提取神經網絡，以提取所述待處理視頻的特征數據；

S140，將所述待處理視頻的特征數據輸入至所述第一神經網絡，以獲得所述待處理視頻中的至少一個目標的邊界框；以及

S160，將所述待處理視頻的特征數據和所述邊界框輸入至所述第二神經網絡，從而根據所述邊界框的相似度獲得所述邊界框的標識符，以跟蹤所述待處理視頻中的所述至少一個目標，其中所述標識符用于指示所述至少一個目標。

示例性地，所述第一神經網絡包括第一子神經網絡和第二子神經網絡，所述步驟S140包括：

S142，將所述待處理視頻的特征數據輸入至所述第一子神經網絡，以獲得所述邊界框的粗略位置；以及

S144，將所述待處理視頻的特征數據和所述邊界框的粗略位置輸入至所述第二子神經網絡，以獲得所述邊界框的準確位置和指示所述邊界框內包括所述至少一個目標的概率值。

示例性地，所述第二神經網絡包括第三子神經網絡和第四子神經網絡，所述步驟S160包括：

將所述特征數據和所述邊界框輸入至所述第三子神經網絡，以獲得所述待處理視頻中的不同幀中的邊界框之間的外觀相似度；

根據所述外觀相似度和所述不同幀中的邊界框之間的距離計算所述待處理視頻中的所述不同幀中的邊界框之間的距離相似度；以及

將所述外觀相似度和所述距離相似度輸入至所述第四子神經網絡，從而獲得所述邊界框的標識符，以跟蹤所述待處理視頻中的所述至少一個目標。

示例性地，所述第一神經網絡和/或所述特征提取神經網絡包括卷積神經網絡。

示例性地，所述目標跟蹤方法還包括以下步驟：

使用訓練視頻訓練所述神經網絡模型，其中，在所述訓練視頻中，針對訓練目標標注了邊界框和標識符，所述標識符用于指示所述訓練目標；

其中，所述使用訓練視頻訓練所述神經網絡模型包括：

S112，將所述訓練視頻輸入至所述特征提取神經網絡，以提取所述訓練視頻的特征數據；

S114，將所述訓練視頻的特征數據輸入至所述第一神經網絡以獲得所述訓練目標的邊界框，并且根據所標注的邊界框和所述第一神經網絡獲得的所述訓練目標的邊界框計算檢測損失函數值；

S116，將所述訓練視頻的特征數據和所述第一神經網絡獲得的所述訓練目標的邊界框輸入至所述第二神經網絡以獲得所述訓練目標的邊界框的標識符，并根據所標注的標識符和所述第二神經網絡獲得的所述訓練目標的邊界框的標識符計算跟蹤損失函數值；以及

S118，在所述檢測損失函數值和/或所述跟蹤損失函數值不滿足預設條件的情況和/或迭代次數小于第一閾值的情況下，同時調整所述特征提取神經網絡的參數以及所述第一神經網絡的參數和/或所述第二神經網絡的參數并且轉所述步驟S112，否則，停止對所述神經網絡模型的訓練并獲得訓練好的所述神經網絡模型以用于跟蹤目標。

示例性地，所述檢測損失函數值包括檢測交叉熵和檢測回歸損失函數值，所述步驟S118包括：

根據所述檢測交叉熵和所述檢測回歸損失函數值的加權和，同時調整所述特征提取神經網絡的參數和所述第一神經網絡的參數。

示例性地，所述跟蹤損失函數值包括跟蹤交叉熵和跟蹤回歸損失函數值，所述步驟S118包括：