[發(fā)明專利]一種基于條件對抗生成孿生網絡的目標跟蹤方法

在審

• 申請?zhí)枺?/td>: 202011489615.7
• 申請日: 2020-12-16
• 公開（公告）號: CN112837344A
• 公開（公告）日: 2021-05-25
• 發(fā)明（設計）人: 宋建輝;張甲;劉硯菊;于洋
• 申請（專利權）人: 沈陽理工大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04;G06N3/08
• 代理公司: 沈陽智龍專利事務所(普通合伙) 21115
• 代理人: 周智博;宋鐵軍

一種基于條件對抗生成孿生網絡的目標跟蹤方法，其特征在于：所述方法包括下列步驟：（1）、獲取實時視頻數(shù)據進行數(shù)據預處理；（2）、將（1）步驟中預處理的數(shù)據輸入至由條件對抗生成去模糊網絡模塊和全卷積孿生跟蹤網絡兩部分組成的條件對抗生成孿生跟蹤網絡中；（3）、將對抗優(yōu)化完成的條件對抗生成去模糊網絡模塊嵌入到反饋更新后的全卷積孿生跟蹤網絡框架中，使用線上組合完成的條件對抗生成孿生跟蹤網絡對預處理之后的實時視頻數(shù)據，進行目標跟蹤，獲取目標位置。增強了跟蹤網絡的動態(tài)調節(jié)能力，提高了跟蹤器的魯棒性，采用遷移學習的方式對跟蹤網絡進行分離訓練，防止了過擬合現(xiàn)象的出現(xiàn)，減少了訓練時間，提高了跟蹤網絡的泛化能力。

技術領域

本發(fā)明涉及機器視覺與目標跟蹤技術領域，更具體的是涉及一種基于條件對抗生成孿生網絡的目標跟蹤方法。

背景技術

目標跟蹤是計算機視覺領域的重要研究課題之一，其主要任務是獲取視頻序列中感興趣的目標的位置信息，實現(xiàn)對運動目標行為的分析和理解，為進一步的語義層分析(動作識別、場景識別等)提供基礎，以便完成更高級的任務。目標跟蹤作為計算機視覺領域中的中層和高層處理階段，是對視頻內容進行智能分析的重要技術手段，通過對視頻幀序列中的感興趣目標進行高維特征提取和空間坐標定位，獲取感興趣目標的運動規(guī)律，為深層次視頻語義解析提供決策性依據。

現(xiàn)有目標跟蹤算法中主要分為基于人工特征的傳統(tǒng)經典目標跟蹤算法和基于深度特征的深度網絡目標跟蹤算法。傳統(tǒng)目標跟蹤算法廣泛采用的人工特征總體可以分為灰度特、顏色特征和梯度特征。灰度特征是最簡單和直觀的特征表達方式，具有極高的計算效率，Bolme等提出MOSS目標跟蹤算法，使用了灰度特征，速度達到了驚人的699FPS。顏色特征擁有豐富的表現(xiàn)力和較高的辨識度，目標姿態(tài)、尺度的變化不敏感。Danelljan的CN算法將顏色特征用于相關濾波跟蹤算法中，并采用自適應降維的策略，將11維顏色特征降為2維，在保證高效跟蹤的同時，提高了算法性能。梯度特征通過統(tǒng)計目標圖像局部的梯度分布來表征外觀。目標跟蹤算法中廣泛應用的梯度特征是HOG特征。HOG特征的核心思想是充分利用分塊單元對圖像的梯度信息進行提取，使局部目標的表象和形狀能夠被梯度或邊緣的方向密度分布很好地描述。而且其對光照變化具有良好的不變性。Henriques等提出的KCF算法，通過HOG特征使得適用范圍從灰度圖擴大到了多通道有色圖，使目標的表面紋理特征和輪廓形狀能夠很好地被HOG特征描述，跟蹤效果得到了極大的提升，跟蹤速度也達到了172FPS。

上述人工特征雖然具有豐富的目標信息，但是無法提取到更高級的語義信息，而且需要很強的先驗信息，在特定的場景下具有很強的適應性，但在復雜場景下，很難實現(xiàn)對目標的魯棒性跟蹤。近年來，深度神經網絡因其優(yōu)秀的特征學習與表達能力，在圖像分類、目標檢測等領域取得突破性進展，表明了深度特征對目標具有強大的表征能力，因此人們將深度學習應用到視覺跟蹤中。Ma等提出的HCFT算法,將深度神經網絡中三個不同卷積層提取的深度特征與濾波框架相結合,提升了算法的跟蹤精度。Wang等提出的FCNT算法，通過采用卷積神經網絡層級來對目標進行跟蹤的新方法，設計出特征篩選網絡和互補的預測網絡，使跟蹤效果得到提高。Nam等為了擴展CNN在目標領域的能力，解決跟蹤訓練數(shù)據不足的問題，提出了MDNet算法，采用VGG-M作為網絡初始化模型，后接多個全連接層，并使用大量具有標注框的視頻序列訓練卷積網絡，在跟蹤性能上取得了顯著性提高。雖然上述基于深度特征的目標跟蹤算法的精度與基于人工特征的目標跟蹤算法相比具有極大的優(yōu)勢，但是由于所采用的網絡結構復雜，導致計算量大，極大制約跟蹤算法的跟蹤速度，使跟蹤算法的準確性和實時性未達到很好的平衡。

視覺運動目標跟蹤在計算機視覺領域中具有極高的實用價值和研究意義，是一個集特征提取、運動目標檢測和目標運動信息分析等的綜合性課題。在無人駕駛、視頻監(jiān)控、智能交通以及軍事偵察等領域得到了廣泛應用，然而目標在復雜的現(xiàn)實場景中很容易受到運動模糊、低分辨率、光照尺度變化、遮擋形變等干擾因素的干擾，因而設計一個穩(wěn)健的跟蹤算法實現(xiàn)對目標的魯棒實時性跟蹤依然是一個很大的挑戰(zhàn)。

發(fā)明內容

發(fā)明目的：