[發明專利]目標跟蹤方法及相關裝置

有效

• 申請號: 202110204499.8
• 申請日: 2021-02-23
• 公開（公告）號: CN112906580B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 陳亞松;楊坤興;黃鵬;吳忠人;潘武
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/30;G06F17/16;G06N3/0464
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 黎堅怡

本申請公開了一種目標跟蹤方法及相關裝置，所述目標跟蹤方法包括：對目標圖像和當前幀圖像進行特征提取，以分別獲得對應的目標特征圖和當前幀特征圖；基于所述目標特征圖和所述當前幀特征圖，使用高層語義特征重組模塊以獲得目標重組特征圖和當前幀重組特征圖；基于所述目標重組特征圖和所述當前幀重組特征圖，使用尺寸角度自適應模塊完成特征交互，以獲得特征交互后的當前幀輸出特征圖；基于所述當前幀輸出特征圖，以獲得目標跟蹤結果。通過上述方式，本申請能夠提高目標跟蹤結果的精確度。

技術領域

本申請屬于目標跟蹤技術領域，具體涉及一種目標跟蹤方法及相關裝置。

背景技術

視頻目標跟蹤(Video?Object?Tracking)，也稱為單目標跟蹤，所解決的任務是在每一幀視頻圖像序列中，跟蹤到指定目標的位置或分割結果掩碼。該技術的關鍵在于提取給定的目標特征以及每一幀視頻圖像序列中候選目標特征，并建立二者之間的關系，篩選得到最佳匹配的目標對象，即為跟蹤得到的目標。在計算機視覺領域中，它是一項具有挑戰性的研究任務。通過該技術確定視頻圖像序列中目標物體的位置，進一步可以實現對視頻中目標對象行為的分析和理解，還可以為更高層次的視頻內容分析和處理提供便利。

目前，有些目標跟蹤方法需要利用上一幀圖像，這就相當于限定了一個前提：下一幀圖像中的目標會出現在上一幀圖像中的目標位置附近。倘若下一幀圖像中的目標位置不符合這個前提，那么該分支的輸入圖像不包含目標，將提取不到有用的特征，可能造成跟蹤失敗。此外，由于現有的目標跟蹤結果主要基于高層語義特征的depth-wise卷積建立的相關關系得到，高層語義特征的噪音可能會影響跟蹤結果。

發明內容

本申請提供一種目標跟蹤方法及相關裝置，以提高目標跟蹤結果的精確度。

為解決上述技術問題，本申請采用的一個技術方案是：提供一種目標跟蹤方法，包括：對目標圖像和當前幀圖像進行特征提取，以分別獲得對應的目標特征圖和當前幀特征圖；基于所述目標特征圖和所述當前幀特征圖，使用高層語義特征重組模塊以獲得目標重組特征圖和當前幀重組特征圖；基于所述目標重組特征圖和所述當前幀重組特征圖，使用尺寸角度自適應模塊完成特征交互，以獲得特征交互后的當前幀輸出特征圖；基于所述當前幀輸出特征圖，以獲得目標跟蹤結果。

其中，所述基于所述目標特征圖和所述當前幀特征圖，使用高層語義特征重組模塊以獲得目標重組特征圖和當前幀重組特征圖的步驟，包括：對所述目標特征圖進行高層語義特征重組，以獲得對應的目標重組特征圖；基于所述目標重組特征圖對當前幀特征圖進行高層語義特征重組，以獲得當前幀重組特征圖。

其中，所述對所述目標特征圖進行高層語義特征重組，以獲得對應的目標重組特征圖的步驟，包括：根據所述目標特征圖獲得第一矩陣和第二矩陣，其中，所述目標特征圖中同一通道內的特征點逐行排布于所述第一矩陣中的同一列，所述目標特征圖中同一通道內的特征點逐行排布于所述第二矩陣中的同一行；對所述第一矩陣按行進行歸一化處理、以及對所述第二矩陣按列進行歸一化處理；根據歸一化處理后的所述第一矩陣和所述第二矩陣獲得第一余弦相似度矩陣；對所述第一余弦相似度矩陣按行進行歸一化處理以獲得第一重組權重矩陣；根據所述第一重組權重矩陣和所述第一矩陣獲得目標重組特征圖。

其中，所述基于所述目標重組特征圖對當前幀特征圖進行高層語義特征重組，以獲得當前幀重組特征圖的步驟，包括：根據所述目標重組特征圖獲得第三矩陣和第四矩陣、以及根據所述當前幀特征圖獲得第五矩陣，其中，所述目標重組特征圖中同一通道內的特征點逐行排布于所述第三矩陣中的同一列，所述目標重組特征圖中同一通道內的特征點逐行排布于所述第四矩陣中的同一行，所述當前幀特征圖像中同一通道內的特征點逐行排布于所述第五矩陣中的同一列；將所述第五矩陣按行進行歸一化處理、以及將所述第四矩陣按列進行歸一化處理；根據歸一化處理后的所述第五矩陣和所述第四矩陣獲得第二余弦相似度矩陣；對所述第二余弦相似度矩陣按行進行歸一化處理以獲得第二重組權重矩陣；根據所述第二重組權重矩陣和所述第三矩陣獲得當前幀重組特征圖。