[發明專利]一種基于CNN的三級信息融合視覺目標跟蹤方法

有效

• 申請號: 202011259436.4
• 申請日: 2020-11-12
• 公開（公告）號: CN112330718B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 羅元;蔡元霄
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T5/50;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 李金蓉

本發明請求保護一種基于CNN的三級信息融合視覺目標跟蹤方法。包括以下步驟S1：提取模板圖像和檢測序列圖像，進行圖像預處理；S2：模板圖像和檢測圖像作為兩個分支同時輸入網絡，網絡框架采用Siamese孿生網絡；S3：網絡選取改進后的VGG?11，通過三級網絡融合策略，提取三個層次的卷積特征；S4：對三個層次的特征分別進行相關操作，構建三個層次的得分圖；S5：對三個層次的得分圖進行融合；S6：使用融合得分圖輸出結果。本發明有效提高了視覺目標跟蹤的準確性和魯棒性。

技術領域

本發明屬于圖像處理與模式識別領域，特別是一種深度學習和孿生網絡的視覺目標跟蹤方法。

背景技術

視覺目標跟蹤作為圖像處理與模式識別的重要分支，是人工智能中具有重要研究意義的課題。其任務是指定當前圖像序列中的一個特定目標，在隨后圖像序列播放過程中，使用矩形邊界框將該特定目標鎖定，實現跟蹤效果。當前該方向已經發展到基于深度學習解決非約束環境下的跟蹤問題。隨著5G技術的普及與計算機算力的加強，視覺目標技術受到了更多的重視，其應用場景也更為廣闊。智能服務機器人通過攝像頭采集視頻信號，然后確定跟蹤目標，最后自動地對目標進行跟蹤并提供相應的服務。在汽車行駛過程中，判斷車輛和周圍事物的運動狀態，對汽車的速度和行進軌跡進行調整。當前的醫療影響涵蓋豐富的人體信息，詩句目標跟蹤可以找到對應的目標信息，在整個醫療影像中進行跟蹤，從而實現更精準的臨床診斷。除此之外，視覺目標跟蹤技術在人機交互、視覺導航、農業自動化生產等領域有著至關重要的地位。

發明內容

針對現有技術的不足，本發明提出了一種具有更高準確率、魯棒性的視覺目標跟蹤方法。

為了實現上述目的，本發明采用的技術方案是，一種基于CNN的三級信息融合視覺目標跟蹤方法，包括以下步驟：

S1：對當前序列圖像，提取模板圖像和檢測圖像，進行圖像預處理。

S2：采用Siamese孿生網絡構建整體網絡框架，將模板圖像和檢測圖像分別輸入兩個相同的分支網絡進行同步處理，分支網絡采用改進后的VGG-11網絡。 VGG-11相比Siamese框架自帶的AlexNet能夠帶來更好的特征提取能力，提升系統的性能。

S3：改進后的VGG-11網絡采用三級網絡融合策略，將整個網絡分為淺層、中層、深層三個部分，通過CNN分別提取三個部分的各層卷積特征，對每個部分的各層卷積特征進行融合，得到特征圖。

S4：對兩個分支網絡中三個部分的特征圖，按照淺層、中層、深層三個層次分別進行相關操作，構建三個層次的得分圖。

S5：對步驟S4中三個層次的得分圖進行融合，構建出最終得分圖。

S6：使用最終得分圖輸出跟蹤結果。

本發明通過三級融合策略，淺層的外觀特征將和深層的語義特征相融合，共同構建當前目標的特征圖，能夠在準確分類的情況下實現更精準的定位。步驟S5通過三級融合策略獲得的融合特征圖，將在得分圖這一維度進行進一步融合，以達到充分利用各級別特征信息的目的。

在測試數據集OTB2015中，本方法獲得了0.886的準確率和0.655的成功率，相比同樣的Siamese框架跟蹤器分別提升9.52％和7.91％。；在測試數據集 VOT2016中，本方法獲得了0.3896的準確率和15.7913的魯棒性，相比同框架跟蹤器分別提升14.22％和21.56％。所以本發明具有更高準確率、魯棒性。

附圖說明

圖1為Siamese網絡框圖；

圖2為VGG-11網絡；

圖3為淺層到深層特征尺寸變化圖；

圖4為三級信息融合流程圖。

具體實施方式