[發明專利]基于時空感知的記憶增強型自監督跟蹤方法及裝置

在審

• 申請號: 202210797892.7
• 申請日: 2022-07-08
• 公開（公告）號: CN115147457A
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 何欣;劉紅陽;苗凱;于俊洋;王光輝
• 申請（專利權）人: 河南大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/269
• 代理公司: 鄭州大通專利商標代理有限公司 41111
• 代理人: 劉瑩瑩

本發明提供一種基于時空感知的記憶增強型自監督跟蹤方法及裝置。該方法包括：給定視頻中的一個當前幀，并從記憶存儲庫中與獲取距離當前幀最近的前一幀記憶幀，記憶幀是指帶有跟蹤對象掩碼的歷史幀；使用RAFT計算當前幀和記憶幀的光流以得到當前幀中的ROI區域；分別計算當前幀和記憶幀的特征圖，并計算當前幀中ROI區域內的特征圖與記憶幀中ROI區域內的特征圖之間的關聯矩陣；根據關聯矩陣構建得到新的當前幀；根據新的當前幀采用軌跡一致性策略判斷當前幀的跟蹤區域是否含有跟蹤對象；若含有跟蹤對象，則再次使用RAFT計算新的當前幀與記憶幀的光流以重新得到新的當前幀中的ROI區域，從而實現當前幀的對象跟蹤。

技術領域

本發明涉及目標跟蹤技術領域，尤其涉及一種基于時空感知的記憶增強型自監督跟蹤方法及裝置。

背景技術

在計算機視覺方向，為了模仿人類的視覺跟蹤系統，現如多數方法是帶有大量人工注釋的監督訓練模型。盡管該模型精度很高，但是依據現如今對人類視覺系統的發展認識，人類視覺系統的發展不太可能以這種自上而下的方式發展他們的跟蹤能力，在嬰兒將物體映射到相關語義信息之前，就可以跟蹤緩慢運動的物體。與上述有監督的跟蹤模型相比，自監督的跟蹤模型(例如：文獻1“Lai Z,Lu E,Xie W.MAST:A Memory-Augmented Self-supervised Tracker[J].IEEE,2020.”中提出的方法；)可以使模型更貼近視覺系統的直觀認識。

在視頻中給定第一幀中的任意目標，跟蹤算法的目的是在整個視頻序列中重新定位該目標。在相關文獻中，跟蹤算法可以被分為兩類：視頻對象跟蹤；半監督視頻對象跟蹤(Semi-VOS)。其中，Semi-VOS采用像素級分割掩碼跟蹤目標物體。Semi-VOS能夠使機器感知視頻中目標的邊界、位置和運動方式。但是，視頻中物體的外觀可能會因為快速運動、遮擋而出現姿勢、比例或外觀的顯著變化。此外，其他看起來類似的非目標對象可能會造成混淆從而造成分割錯誤。因此，在視頻中以半監督的方式進行魯棒的視頻目標跟蹤和視頻對象分割是一項極具挑戰性的工作。

為了訓練這種像素級別的跟蹤模型，現如今大多數高精度的方法利用訓練數據集中豐富的注釋信息訓練模型。盡管這些方法精度很高，但是在訓練過程中過于依賴精準的像素級注釋，標注這些注釋的成本過高并且存在噪聲。相比之下，自監督學習(例如文獻2“Lai Z,Xie W.Self-supervised Learning for Video Correspondence Flow[J].2019.”和文獻3“Lu X,Wang W,Shen J,et al.Learning Video Object Segmentation FromUnlabeled Videos[J].IEEE,2020.”)不需要任何視頻注釋，其主要是學習一種通用的特征表示并映射到精確的時空對應關系，并在幀之間傳播目標掩碼。但是在現有自監督學習方法中，對于物體的快速運動以及長期跟蹤效果不佳。

發明內容

針對現有的自監督學習方法對快速運動物體的跟蹤效果不佳或者在長期跟蹤的情況下長期跟蹤效果不佳的問題，本發明提供一種基于時空感知的記憶增強型自監督跟蹤方法及裝置。

一方面，本發明提供一種基于時空感知的記憶增強型自監督跟蹤方法，包括：

步驟1：給定視頻中的一個當前幀，并從記憶存儲庫中與獲取距離當前幀最近的前一幀記憶幀，所述記憶幀是指帶有跟蹤對象掩碼的歷史幀；

步驟2：使用RAFT計算當前幀和記憶幀的光流以得到當前幀中的ROI區域；

步驟3：分別計算當前幀和記憶幀的特征圖，并計算當前幀中ROI區域內的特征圖與記憶幀中ROI區域內的特征圖之間的關聯矩陣；所述關聯矩陣用于指示兩個特征圖之間的相關強度；

步驟4：根據所述關聯矩陣構建得到新的當前幀；

步驟5：根據新的當前幀采用軌跡一致性策略判斷當前幀的跟蹤區域是否含有跟蹤對象；