[發明專利]基于條件變分編碼器的概率孿生目標跟蹤方法及系統

有效

• 申請號: 202011434400.5
• 申請日: 2020-12-10
• 公開（公告）號: CN112541944B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 郭胤辰;黃文慧;李豐澤;何偉;薛婧一;胡意廷;侯宛辰;周媛媛
• 申請（專利權）人: 山東師范大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 朱忠范

本發明提供一種基于條件變分編碼器的概率孿生目標跟蹤方法及系統，屬于智能機器人目標跟蹤識別技術領域，將模板圖像輸入至訓練好的共享卷積神經網絡，獲得模板圖像特征；將當前幀作為搜索圖像，輸入至共享卷積神經網絡和先驗編碼器，分別獲得搜索圖像特征和先驗編碼器隱空間；將模板圖像特征與搜索圖像特征進行交叉相關運算，再與先驗編碼器隱空間的均值采樣進行串聯；將串聯后的結果輸入至掩膜解碼器，獲得二進制掩膜，得到目標的邊界框，實現目標的定位。本發明將不確定性學習引入了目標跟蹤，獲取了完整的概率分布；在較低的計算量下，可產生一致性的目標狀態，通過給神經元加入噪聲，深度神經網絡引入正則化以防止過擬合現象，提升了魯棒性。

技術領域

本發明涉及智能機器人目標跟蹤識別技術領域，具體涉及一種基于條件變分編碼器的概率孿生目標跟蹤方法及系統。

背景技術

為了實現與環境的交互，人-機-環境共融機器人需要具備一項基本的能力，即對環境的狀態進行估計。具體地說，機器人首先需要實現目標的定位，以實現與目標的交互和進一步操作目標。對移動目標進行跟蹤使得移動機器人能夠完成多種現實世界中的任務。

深度卷積神經網絡因其相較于傳統方法和技術顯著提升的性能，而逐漸地成為了目標跟蹤領域的典型方法結構。然而，在一些十分復雜困難的跟蹤場景中，即使是領先的目標跟蹤算法仍易于丟失目標或精度不足，并且這些算法的結果通常是缺乏自信度預測的。

這些算法通過嵌入的深度學習模型(如卷積神經網絡)提供確定性的特征或回歸圖。自信度較低的不精確的確定性回歸圖可能會導致災難性的后果，并且無法為進一步的操作和及時的人工介入提供依據。此外，在回歸過程中，在整個流程最終輸出的結果中，所預測的回歸圖中的最大值往往被錯誤的認為能夠反映模型的不確定性。而模型在缺乏自信度的情況下，仍可能輸出較高的回歸預測響應。

目標跟蹤通常需要大量的訓練數據以訓練出一個成熟的網絡模型。盡管大型數據集旨在提供清晰的標注用于訓練和測試，但由于標注方法的限制和標注者的偏好，大型數據集存在部分固有的標簽不確定性。采用存在歧義的數據或者引入了觀察中的固有噪聲(也稱為數據不確定性或偶然不確定性)將會導致測試階段的固有不確定性。例如，訓練數據的不確定性若存在于邊界區域，將會導致邊界區域較高的預測不確定性。

發明內容

本發明的目的在于提供一種將不確定性學習引入了目標跟蹤，獲取了完整的概率分布，產生了一致性的目標狀態，防止了過擬合現象，提升了魯棒性的基于條件變分編碼器的概率孿生目標跟蹤方法及系統，以解決上述背景技術中存在的至少一項技術問題。

為了實現上述目的，本發明采取了如下技術方案：

一方面，本發明提供一種基于條件變分編碼器的概率孿生目標跟蹤方法，包括：

提取視頻序列中的某一幀圖像作為進行目標跟蹤的第一幀圖像，對第一幀圖像中需要進行跟蹤的目標物體進行標定，并對目標外觀模型參數進行初始化，得到模板圖像；

將模板圖像輸入至訓練好的共享卷積神經網絡，獲得模板圖像特征；

將當前幀作為搜索圖像，輸入至共享卷積神經網絡和先驗編碼器，分別獲得搜索圖像特征和先驗編碼器隱空間；

將模板圖像特征與搜索圖像特征進行交叉相關運算，再與先驗編碼器隱空間的均值采樣進行串聯；

將串聯后的結果輸入至掩膜解碼器，獲得二進制掩膜，得到目標的邊界框，實現目標的定位。

優選的，所述共享卷積神經網絡的訓練包括：

將搜索圖像與真實標定掩膜進行串聯后輸入至識別編碼器，得到識別編碼器隱空間；

計算先驗編碼器隱空間與識別編碼器隱空間之間的邊界框回歸損失；

將模板圖像特征與搜索圖像特征進行交叉相關運算，與先驗編碼器隱空間的隨機采樣進行串聯；