[發明專利]一種針對視覺跟蹤模型的人在回路訓練方法及相關裝置

在審

• 申請號: 202110546714.2
• 申請日: 2021-05-19
• 公開（公告）號: CN113192108A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 呂娜;崔志巖;王瑋豐;黃彥浩;裘微江;李文臣
• 申請（專利權）人: 西安交通大學;中國電力科學研究院有限公司;國網浙江省電力有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 李紅霖

本發明公開了一種針對視覺跟蹤模型的人在回路訓練方法及相關裝置，該訓練方法包括：利用視頻序列構建初始未標注的訓練樣本，從該樣本隨機選擇少量樣本進行人在回路標注并構成訓練集；使用已經標注的少量樣本訓練跟蹤網絡，得到一個經過初步訓練的模型；將剩余的未標注樣本送入初步模型，根據網絡輸出的響應圖生成偽標簽；根據偽標簽和原始響應圖，生成偽損失；將未標注的樣本，依據生成的偽損失進行排序，選擇損失較大的若干樣本，經過人在回路人工標注后，加入訓練集，然后使用更新后的訓練集重新訓練跟蹤模型。本發明能夠解決現有基于深度模型的視覺目標跟蹤算法訓練數據量大、數據中冗余信息較多以及由此造成的數據標注費時費力的問題。

技術領域

本發明屬于計算機視覺領域，具體涉及一種針對視覺跟蹤模型的人在回路訓練方法及相關裝置。

背景技術

視覺目標跟蹤是計算機視覺和人工智能領域內的一個重要且基礎的問題。該問題主要研究內容為在一段視頻序列中，給定初始幀中的目標位置和大小，視覺目標跟蹤算法如何自動的跟蹤目標并給出之后幀中的目標位置和大小。視覺目標跟蹤可應用于自動駕駛、智能安防、智慧城市、國防軍工等眾多領域，是當前人工智能領域的熱點問題。近些年，由于深度學習模型相比于傳統模型擁有較高的準確性，基于深度學習的視覺目標跟蹤算法取得了較快的發展。

然而，基于深度學習視覺跟蹤模型的跟蹤效果會受到訓練數據的數量和質量的影響。基于深度學習的模型網絡結構復雜，參數眾多，所以需要大量的，有標簽的訓練數據來訓練深度模型以防止過擬合。通過實驗發現，大幅度提高訓練數據的數量，可以有效的提升模型的跟蹤性能。同時，不同質量的訓練數據也會影響跟蹤模型的表現。采用質量更好的訓練數據集，例如數據集中包含更全面的物體類別，更多的目標姿態等等，也可以有效的提高跟蹤模型的準確性。但是，獲得大量且高質量的有標簽訓練數據是非常耗費人力和時間的，現有的用于視覺跟蹤的深度模型，大多都依賴萬級甚至百萬級千萬級的圖片數量，對如此龐大數量的樣本進行人工標注是非常耗費時間和人力的。此外，用于訓練跟蹤模型的數據集大都是視頻序列。視頻的連續幀中，物體的位置，尺度和姿態變化都非常小，目標物和背景都極為相似，這也就意味著訓練數據中的視頻序列存在著大量的冗余信息，對這些冗余信息不加篩選的全部標注，則是非常低效和不經濟的。

基于以上兩個方面，勢必需要一種高效的視覺跟蹤模型訓練方法。

發明內容

為解決現有技術中存在的問題，本發明的目的在于提供一種針對視覺跟蹤模型的人在回路訓練方法及相關裝置，本發明能夠解決現有基于深度模型的視覺目標跟蹤算法訓練數據量大、數據中冗余信息較多以及由此造成的數據標注費時費力的問題。

本發明采用的技術方案如下：

一種針對視覺跟蹤模型的人在回路訓練方法，包括如下過程：

S1，從已構建的初始訓練樣本待標注集中隨機選擇一部分樣本進行人工標注，將人工標注的樣本構成初始訓練集；其中，初始訓練樣本待標注集通過視頻序列進行構建；

S2，利用初始訓練集訓練視覺跟蹤模型，得到初步訓練的跟蹤模型；

S3，利用所述初步訓練的跟蹤模型對初始訓練樣本待標注集中未標注的樣本進行處理，并根據所述初步訓練的跟蹤模型輸出的響應圖生成偽標簽圖片；

S4，根據所述偽標簽圖片和初步訓練的跟蹤模型輸出的響應圖，利用交叉熵損失函數，生成偽損失；

S5，依據所述偽損失，對初始訓練樣本待標注集中未標注的樣本進行排序，選擇損失較大的若干樣本；

S6，以人在回路的方式對所選擇的損失較大的若干樣本進行人工標注，并將人工標注后的樣本加入初始訓練集，得到新的訓練集；

S7，使用新的訓練集重新訓練所述視覺跟蹤模型，訓練完成后得到訓練好的視覺跟蹤模型。