[發(fā)明專利]一種基于強化學習算法SAC的目標跟蹤方法、裝置及存儲介質

在審

• 申請?zhí)枺?/td>: 202210240273.8
• 申請日: 2022-03-10
• 公開（公告）號: CN114897930A
• 公開（公告）日: 2022-08-12
• 發(fā)明（設計）人: 范保杰;吳育竹;蔣國平;徐豐羽
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04;G06N3/08;G06N20/00;G06V10/25;G06V10/77;G06V10/774;G06V10/82;G06V20/40;G06V20/52
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 劉艷艷

本發(fā)明公開了一種基于強化學習算法SAC的目標跟蹤方法、裝置及存儲介質，方法包括：獲取視頻數據；在視頻數據的當前幀中確定搜索區(qū)域位置和大小；判斷當前幀是否為第一幀；響應于當前幀非第一幀，將當前幀輸入預訓練好的actor網絡模型進行特征提取，得到輸出的預測框，根據所述預測框對目標進行跟蹤；其中所述actor網絡模型的訓練方法，包括：通過第一幀對actor、target_actor網絡進行初始化，根據經驗池中存儲的數據，通過actor、critic網絡計算動作，計算actor、critic1、critic2網絡損失，利用強化學習SAC算法更新網絡權值。將目標跟蹤問題轉化為強化學習算法中在線決策的問題，并且本發(fā)明只需要少量數據集，充分利用現有技術，提升訓練速度。

技術領域

本發(fā)明屬于目標跟蹤技術領域，涉及一種基于強化學習算法SAC的目標跟蹤方法、裝置及存儲介質。

背景技術

作為計算機視覺的子課題，目標追蹤一直是人工智能熱門研究領域，其可被廣泛用于監(jiān)控、安防、自動駕駛等領域。目標跟蹤是在視頻序列中根據任務需求對某一特定或部分目標進行跟蹤。近年來，目標跟蹤研究取得了較大的進步，但視頻中存在的遮擋、模糊、光照色變、形變仍然是該領域巨大的挑戰(zhàn)，因此對目標跟蹤算法的研究還應深入。

近年來，基于深度學習的Siamese跟蹤算法得到迅速發(fā)展，其利用深度網絡提取圖片特征。將目標跟蹤問題轉化為利用第一幀圖片在接下來視頻序列圖片中求取相似度最大區(qū)域作為跟蹤目標，將目標跟蹤模型精度提升到前所未有的高度。與此同時，隨著強化學習理論的不斷發(fā)展，出現許多將強化學習應用于醫(yī)療影像、量化交易、自動駕駛等領域。其將具體任務看作在線馬爾可夫決策過程，開辟了各自領域全新的解決方法。

但是，目前基于深度學習的Siamese跟蹤算法由于其相似性匹配特性以及離線訓練方式，當追蹤圖像中出現與目標相似的物體時，會導致追蹤器對目標位置判別失誤從而產生漂移，且其訓練過程的計算量大，需要花費較大的時間成本。基于強化學習現有的追蹤算法不論是離散式還是連續(xù)式，其追蹤精度較低，且訓練收斂較慢，訓練時間較長，追蹤精度受參數影響較大。

發(fā)明內容

目的：為了克服現有技術中存在的不足，本發(fā)明提供一種基于強化學習算法SAC的目標跟蹤方法、裝置及存儲介質。

技術方案：為解決上述技術問題，本發(fā)明采用的技術方案為：

第一方面，提供一種基于強化學習算法SAC的目標跟蹤方法，包括：

獲取視頻數據；

在視頻數據的當前幀中確定搜索區(qū)域位置和大小；

判斷當前幀是否為第一幀；

響應于當前幀非第一幀，獲取當前幀的上一幀的預測結果，根據當前幀的上一幀的預測結果在當前幀裁取圖像得到當前幀裁取圖像s，將當前幀裁取圖像 s輸入預訓練好的actor網絡模型(送入actor網絡計算動作a)進行特征提取，得到輸出的預測框；

根據所述預測框對目標進行跟蹤，并將預測框作為下一幀的groundTruth；

其中所述actor網絡模型的訓練方法，包括：

在視頻數據的第一幀中確定目標的大小和位置，設置經驗池參數；

初始化actor、target_actor,critic1、target_critic1,critic2、target_critic2網絡參數；

響應于當前輸入幀為第一幀，對actor、target_actor網絡進行初始化，

響應于當前幀非第一幀，根據當前幀預測框在當前幀裁取圖像得到預測框裁取圖像s'，并計算所述當前幀預測框與當前幀真實框(人工標注出來)之間的 IoU；根據IoU，通過獎勵函數計算得到獎勵值；