[發明專利]一種基于參數化ESM網絡的平面目標跟蹤方法

在審

• 申請號: 202010816457.5
• 申請日: 2020-08-14
• 公開（公告）號: CN111899284A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 王濤;劉賀;李浥東;郎叢妍;馮松鶴;金一
• 申請（專利權）人: 北京交通大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 麻吉鳳

本發明實施例提供了一種基于參數化ESM網絡的平面目標跟蹤方法，包括：S1、獲取目標模板T、第t幀的輸入圖像以及第t幀中的初始運動參數，由初始運動參數確定輸入圖像的目標區域I_t，對目標模板T和目標區域I_t進行預處理，包括圖片縮放和歸一化操作，使用特征提取網絡對預處理后的目標模板T和第t幀的輸入圖像的目標區域I_t進行特征的提取，得到特征映射F^T和F_t^I；S2、利用相似性度量模塊計算兩個特征映射F^T和F_t^I之間的差異；S3、通過遮擋檢測機制確定并排除目標在當前幀中被遮擋的部分，通過最小化當前幀中未被遮擋部分的差異求解目標的運動參數。本發明的方法更適用于目標跟蹤任務，而且大大提高跟蹤的準確性。

技術領域

本發明涉及機器視覺與模式識別領域，尤其涉及一種基于參數化ESM網絡的平面目標跟蹤方法。

背景技術

平面目標跟蹤是指給定一段視頻幀序列，并在第一幀中指定感興趣的平面物體，平面物體跟蹤算法的目標是在后續視頻幀中計算出平面物體的姿態變化。平面物體跟蹤作為計算機視覺中的一個核心問題，在很多領域都有著應用，比如，增強現實，機器人控制，無人機技術等。

申請號為201510147895.6的專利文獻公開了一種基于位平面的運動目標跟蹤方法。該發明對跟蹤目標和搜索區域求取平滑后的亮度位平面和局部二值模式位平面；然后在搜索區域的兩個外觀平面上搜索與跟蹤目標對應的兩個外觀模型最為接近的區域作為跟蹤目標；跟蹤完成后，根據已建立的外觀模型和當前幀中的跟蹤結果，按照預先設定的更新速率更新外觀模型。該發明在跟蹤精度和魯棒性上有明顯的優勢，有效地解決了視頻中光照條件變化、目標位姿變化、以及外觀顯著變化等情況下運動目標跟蹤困難的問題。

申請號為201910297980.9的專利文獻公開了一種基于模板匹配和深度分類網絡的運動目標跟蹤方法，主要解決當時現有技術中目標檢測速度慢，及在目標發生外觀形變、遮擋時跟蹤不準確的問題。該方案從雙殘差深度分類網絡中提取模板網絡和檢測網絡；在模板和檢測區域上用對應的網絡提取出模板特征和檢測特征；將模板特征在檢測特征上進行模板匹配，得到模板匹配圖；根據模板匹配圖確定目標位置；跟蹤目標位置更新模板特征。該發明跟蹤速度快，準確率高，用于對劇烈形變、光照變化視頻目標跟蹤。

對于申請號為201510147895.6專利文獻，該方案在一定程度上解決了視頻中光照變化、外觀變化等情況下目標跟蹤困難的問題。該發明雖然對目標的亮度以及紋理進行了精心設計的建模，但是其手工設計的建模方法并不能準確體現目標外觀的特性。對于申請號為201910297980.9專利文獻，該發明雖然采用了深度網絡來作為特征提取器，但其特征提取器并沒有嵌入在視頻跟蹤任務中構建成端到端的框架來進行訓練和驗證，而是在分類任務上對特征提取器進行訓練，另外，該發明在計算特征響應圖時采用的是簡單的滑窗卷積方法。實際上，滑窗卷積方法不一定在深度特征圖上適用。此外，這兩種發明都沒有考慮到目標部分被遮擋或者目標部分超出視野范圍的情況。

發明內容

本發明的實施例提供了一種基于參數化ESM網絡的平面目標跟蹤方法，以克服現有技術的缺陷。

為了實現上述目的，本發明采取了如下技術方案。

一種基于參數化ESM網絡的平面目標跟蹤方法，構建深度平面物體跟蹤模型，所述深度平面物體跟蹤模型包括：特征提取網絡、相似性度量模塊和遮擋檢測機制，構造數據集訓練所述深度平面物體跟蹤模型，所述平面目標跟蹤方法包括：