[發明專利]通過模態感知特征學習的跨模態目標跟蹤方法及系統

有效

• 申請號: 202110214908.2
• 申請日: 2021-02-24
• 公開（公告）號: CN112949451B
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 李成龍;白曼;朱天昊;湯進
• 申請（專利權）人: 安徽大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/774;G06V10/764;G06N3/04;G06N3/08
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 張景云

1.通過模態感知特征學習的跨模態目標跟蹤方法，其特征在于，包括以下步驟：

S01.獲取訓練樣本數據；所述訓練樣本數據至少包括第一樣本集和第二樣本集；所述第一樣本集至少包括兩種已知模態樣本子集；所述第二樣本集包括全幀數據，所述全幀數據包括第一樣本集的所有模態，每一幀數據模態未知；

S02.網絡訓練，網絡訓練分為兩階段學習，第一階段學習利用所述第一樣本集中兩種模態數據分別對去除模態感知融合模塊的VGG網絡的對應的分支網絡進行訓練；第二階段學習為在第一階段學習后的VGG網絡加入模態感知融合模塊，然后利用第二樣本集對該VGG網絡進行訓練，得到具有模態感知融合模塊的目標網絡；

S03.目標跟蹤，所述目標網絡對多模態視頻數據進行目標跟蹤，輸出跟蹤結果；在輸出結果之前，利用meta-updater更新控制器判斷跟蹤結果是否跟蹤成功，如跟蹤成功，則收集跟蹤樣本對樣本池執行在線更新，目標網絡利用樣本池當前最新一幀跟蹤結果對下一幀目標跟蹤進行判斷；

所述步驟S03中目標跟蹤的具體方法為：

先向目標網絡輸入標注有待跟蹤目標的第一幀，從第二幀開始，對第t幀進行跟蹤時，圍繞樣本池中最新一幀跟蹤結果的高斯分布采樣256個候選區域，利用softmax的交叉熵損失和實例嵌入損失來進行二值化分類，以區分前景和背景，然后利用目標網絡計算這些候選區域的得分，選取得分最高的5個候選樣本的平均邊界框作為第t幀的跟蹤結果。

2.根據權利要求1所述的通過模態感知特征學習的跨模態目標跟蹤方法，其特征在于，所述步驟S01中的模態至少包括近紅外和可見光兩種模態。

3.根據權利要求1所述的通過模態感知特征學習的跨模態目標跟蹤方法，其特征在于，所述步驟S02中第一階段學習中，各個分支采用inception網絡。

4.通過模態感知特征學習的跨模態目標跟蹤系統，其特征在于，包括以下步驟：

訓練樣本數據獲取模塊，所述訓練樣本數據至少包括第一樣本集和第二樣本集；所述第一樣本集至少包括兩種已知模態樣本子集；所述第二樣本集包括全幀數據，所述全幀數據包括第一樣本集的所有模態，每一幀數據模態未知；

網絡訓練模塊，網絡訓練分為兩階段學習，第一階段學習利用所述第一樣本集中兩種模態數據分別對去除模態感知融合模塊的VGG網絡的對應的分支網絡進行訓練；第二階段學習為在第一階段學習后的VGG網絡加入模態感知融合模塊，然后利用第二樣本集對該VGG網絡進行訓練，得到具有模態感知融合模塊的目標網絡；

目標跟蹤模塊，所述目標網絡對多模態視頻數據進行目標跟蹤，輸出跟蹤結果；在輸出結果之前，利用meta-updater更新控制器判斷跟蹤結果是否跟蹤成功，如跟蹤成功，則收集跟蹤樣本對樣本池執行在線更新，目標網絡利用樣本池當前最新一幀跟蹤結果對下一幀目標跟蹤進行判斷；

所述目標跟蹤模塊中目標跟蹤的具體方法為：

先向目標網絡輸入標注有待跟蹤目標的第一幀，從第二幀開始，對第t幀進行跟蹤時，圍繞樣本池中最新一幀跟蹤結果的高斯分布采樣256個候選區域，利用softmax的交叉熵損失和實例嵌入損失來進行二值化分類，以區分前景和背景，然后利用目標網絡計算這些候選區域的得分，選取得分最高的5個候選樣本的平均邊界框作為第t幀的跟蹤結果。

5.根據權利要求4所述的通過模態感知特征學習的跨模態目標跟蹤系統，其特征在于，所述訓練樣本數據獲取模塊中的模態至少包括近紅外和可見光兩種模態。

6.根據權利要求4所述的通過模態感知特征學習的跨模態目標跟蹤系統，其特征在于，所述網絡訓練模塊中第一階段學習中，各個分支采用inception網絡。

7.一種處理設備，其特征在于，包括至少一個處理器，以及與所述處理器通信連接的至少一個存儲器，其中：所述存儲器存儲有可被處理器執行的程序指令，所述處理器調用所述程序指令能夠執行如權利要求1至3任一所述的方法。

8.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲計算機指令，所述計算機指令使所述計算機執行如權利要求1至3任一所述的方法。