[發明專利]一種用于跟蹤無人機的雙邊流語義一致性方法

有效

• 申請號: 202110437098.7
• 申請日: 2021-04-22
• 公開（公告）號: CN113240708B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 趙健;溫志津;劉陽;鮑雁飛;雍婷;張清毅;胡凱;李晉徽;晉曉曦
• 申請（專利權）人: 中國人民解放軍32802部隊
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/254
• 代理公司: 北京豐浩知識產權代理事務所(普通合伙) 11781
• 代理人: 李學康

本發明公開了一種用于跟蹤無人機的雙邊流語義一致性方法，采用雙邊流語義一致性跟蹤網絡來實現，雙邊流語義一致性跟蹤網絡包含特征提取模塊、類別級語義調制模塊、實例級語義調制模塊，其具體步驟包括：構建用于訓練和驗證無人機跟蹤性能的多模態基準數據集；在類別級語義調制階段的跟蹤器中，采用類級別的語義調制來搜索盡可能包含無人機的錨點框，同時聯合使用跨視頻序列的特征來搜索、篩選并輸出包含無人機特征的候選框；最后利用細粒度的實例級功能來優化調整候選框與目標真值框間的差異。本方法融合目標在多模態下的信息并充分利用了目標跨不同視頻序列的語義特征，提高了跟蹤器的魯棒性和辨別能力同時不會引入任何額外的推理時間。

技術領域

本發明屬于計算機視覺領域，尤其涉及一種用于跟蹤無人機的雙邊流語義一致性方法。

背景技術

近年來，由于商業和娛樂用途無人機(UAV)的普及性大大提高，無人機具有了很廣泛的應用，例如地面場景航拍、自主著陸、目標檢測和跟蹤。然而在這些實際應用的背后，對無人機運行狀態(包括位置和軌跡)的監視至關重要。目前提出的大多數目標跟蹤器都是基于RGB圖像信息的。但是，在光線不足的情況下，這類跟蹤器可能無法找到目標有用的提示，從而導致其跟蹤結果不可靠。為了解決這一問題，目前提出了采用紅外圖像進行目標跟蹤的方法。然而，紅外圖像仍然存在分辨率較低的問題，無法為跟蹤器提供目標足夠的信息。

發明內容

針對光線不足的情況下無人機監視和跟蹤問題，本發明將可見光和紅外圖像中的信息進行融合以實現無人機跟蹤，利用多模式的信息學習實現無人機跟蹤器。本發明公開了一種用于反無人機的多模態基準數據集(Anti-UAV)的構建方法，其中Anti-UAV數據集主要為可見光和紅外的高清視頻序列對,每個視頻序列都包含表示目標對象是否存在的邊界框、目標屬性和目標標志。本發明還公開了一種用于跟蹤無人機的網絡模型，稱為雙邊流語義一致性跟蹤網絡，其包含特征提取模塊、類別級語義調制模塊、實例級語義調制模塊。由于多模態基準數據集中的所有不同的視頻序列中的標記的對象僅為單目標的無人機，因此該網絡可以充分利用目標跨不同視頻序列的特征。

在類別級語義調制階段的跟蹤器中，采用類別級的語義調制來搜索并生成錨點框，同時聯合使用跨視頻序列的特征來搜索、篩選并輸出包含無人機特征的候選框，以減少類內差異；最后利用細粒度的實例級功能來優化調整候選框與帶有目標實例信息的真值框間的差異，提高目標檢測與跟蹤的精準度。本方法融合目標在多模態下的信息并充分利用了目標跨不同視頻序列的語義特征，提高了跟蹤器的魯棒性和辨別能力。然而，由于雙邊流語義一致性方法僅在訓練中起作用，因此不會影響推理時的算力和時間消耗。

本發明公開了一種用于跟蹤無人機的雙邊流語義一致性方法，采用雙邊流語義一致性跟蹤網絡，簡稱跟蹤器，來實現，雙邊流語義一致性跟蹤網絡包含特征提取模塊、類別級語義調制模塊、實例級語義調制模塊，所述的三個模塊依次連接，其具體步驟包括：

S1，構建用于訓練和驗證無人機跟蹤性能的多模態基準數據集。采集若干個同時含有熱紅外和可見光的視頻序列對。針對每個可見光和紅外視頻圖像都進行無人機目標的邊界框標注，再標注圖像中的目標屬性和無人機存在與否的標簽，如果圖像中存在目標，則該標簽取值為1，否則該標簽取值為0，目標屬性包括目標是否飛離視線之外、目標是否被遮擋、目標是否快速移動、目標是否存在尺度變化、目標是否處于不同的亮度模式、是否存在熱交叉、是否存在目標低分辨率等；將每張圖像標注的內容保存到一個json格式的文件內，每張圖像的標準內容對應一個文件。多模態基準數據集被劃分為訓練集、驗證集和測試集，上述三種數據集劃分數目的比例為5:2:3，其中訓練集和驗證集來自同一視頻的非重疊片段，測試集采用的視頻片段與訓練集和驗證集均不相同且其包含的目標屬性比訓練集更多。多模態基準數據集中視頻的內容為在空中飛行的單目標無人機。為了增加無人機背景的多樣性和目標檢測的復雜性，在采集視頻對數據時設計多種場景，包括目標飛離視線之外、目標被遮擋、目標快速移動、目標尺度變化、不同的亮度模式(白天和夜晚)、熱交叉和目標低分辨率等。

所述的目標被遮擋，是指目標被建筑物、云彩或樹木等引起部分或全部遮擋。