[發明專利]一種基于多域協同特征表達的視覺運動目標跟蹤方法

有效

• 申請號: 202010853988.1
• 申請日: 2020-08-24
• 公開（公告）號: CN112037269B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 楊鑫;尹寶才;張吉慶;趙鍇;魏小鵬;王超毅
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/292
• 分類號: G06T7/292;G06T7/246;G06T7/13
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 溫福雪;侯明遠

本發明屬于視覺運動目標跟蹤技術領域，提供了一種基于多域協同特征表達的視覺運動目標跟蹤方法。網絡結構包含相似特征提取器和獨特特征提取器，相似特征提取器可以從RGB域和事件域中學習潛在的通用表示形式，獨特特征提取器可以分別學習RGB域和事件域中所獨有的特征信息。本發明所提出的方法在RGB和事件目標跟蹤數據集上得到了較好的效果，并且不同的數值評價指標上得到了優于目前先進算法的結果。本發明解決了高動態范圍下對快速運動目標跟蹤困難的問題。

技術領域

本發明屬于計算機視覺技術領域，尤其涉及基于深度學習、利用事件相機和傳統相機進行視覺運動目標跟蹤的方法。

背景技術

視覺運動目標跟蹤是計算機視覺中的一個重要的研究課題，它旨在通過給定某視頻序列初始幀的目標大小與位置的情況下，預測后續幀中該目標的大小與位置。深度卷積神經網絡(Deep convolutional neural networks,DCNNs)因其顯著的學習能力而被廣泛應用于視覺目標跟蹤。然而，視覺運動目標跟蹤是一個極具挑戰性的任務，當前基于RGB圖像的跟蹤算法經常會受到惡劣環境的影響，如低照度、快速運動等。因此，部分工作試圖引入有價值的附加信息，例如深度信息或者熱紅外信息，以對跟蹤效果進行提高。然而，當跟蹤目標處于高速運動或高動態范圍的環境中時，這些傳感器仍然不能提供令人滿意的結果。

事件相機是一種仿生視覺傳感器，其工作原理與傳統攝像機完全不同，傳統攝像機以固定頻率獲取幀圖像，事件相機則捕捉光度發生改變時的強度信息，以異步流的形式提供強度變化的時空坐標。與傳統的成像傳感器相比，事件相機有幾個優點。首先，具有高時間分辨率(約1μs)，基于事件相機不會受到運動模糊的影響。其次，基于事件相機具有高動態范圍(即120-140dB)。因此，即使在曝光過度和曝光不足的情況下，它們也能有效工作。因此事件相機為解決有挑戰場景下的視覺目標跟蹤提供的潛在的可能性。接下來詳細介紹這一領域中相關的背景技術。

(1)單域跟蹤

基于RGB的單域跟蹤。以深度學習為主的RGB單域跟蹤算法可以分為兩類，分別是單樣本學習和在線學習。通常，在線學習的方法比單樣本學習的方法更加準確，但速度較慢。其中，Namet等人提出了多域神經網絡(MDNet)，該網絡使用卷積神經網絡提取通用目標表示，并在線更新全連接層以適應目標對象的變化。在MDNet中，每個域對應一個視頻序列。

基于事件的單域跟蹤。最初，研究人員僅以固定的時間間隔將事件累積到圖像中，以通過減小給定模型與事件之間的差異來實現跟蹤任務。Barrancoet等人提出了一種實時聚類算法，并使用卡爾曼濾波器對軌跡進行平滑處理。Timo.S 等人首先從事件中計算出光流，然后使事件的位置變形，并根據對比度原理得到尖銳的事件圖像。此外，他們還對每個事件給以權重，以便將事件分類為不同的對象或背景。

盡管以上研究在RGB域或事件域中均取得了良好的性能，但它們忽略了探索這兩個域之間存在的互補信息。互補信息可以用來有效地解決視覺運動目標跟蹤中的挑戰性問題。

(2)多域跟蹤

當前基于多域數據進行視覺目標跟蹤主要包括RGB-D(RGB+深度)跟蹤和 RGB-T(RGB+熱紅外)跟蹤。Songet等人探索光流和3D點云組成的混合 RGB-D跟蹤器，從而拓展了RGB-D跟蹤課題。Camplaniet等人對深度直方圖進行聚類以進行RGB-D跟蹤，然后應用單個高斯分布對深度空間中的跟蹤對象進行建模。在RGB-T方面，Zhu等人提出了一種遞歸策略來密集地提取RGB-T 兩個域之間的特征信息。Li等人提出了一個卷積神經網絡模型，該網絡可以在通過端到端的方式學習RGB域和熱紅外域之間共享的特征信息和特定于模態的特征信息。

然而，深度相機和熱紅外相機仍然不能提供足夠的信息用于解決高動態場景中快速運動目標的跟蹤問題。

(3)脈沖神經網絡