[發明專利]一種旋翼作業飛行機器人目標跟蹤方法及系統

有效

• 申請號: 202010084629.4
• 申請日: 2020-02-10
• 公開（公告）號: CN111310631B
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 王耀南;周士琪;譚建豪;鐘杭;馮明濤;劉力銘
• 申請（專利權）人: 湖南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06T7/246
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 楊采良

本發明屬于視覺目標跟蹤技術領域，公開了一種旋翼作業飛行機器人目標跟蹤方法及系統，以Siamfc框架為基礎，通過偏移量學習，引入Resnet50作為特征提取網絡，使網絡學習到更多語義信息，應對目標外觀變化；跟蹤網絡在分類判別器的基礎上新增一個目標尺度估計模塊，可預測目標邊界框與目標真實框的IOU，準確的對目標邊界框進行預測，并通過反向梯度對邊界框進行迭代修正，使網絡能準確的對目標的尺度變化進行預測；利用Resnet50多層特征輸出，采用殘差融合的策略，對網絡不同層的輸出進行融合，進一步提升算法的魯棒性，提高網絡性能，并保障了網絡對小目標的判別能力，最終實現對目標的準確跟蹤。

技術領域

本發明屬于視覺目標跟蹤技術領域，尤其涉及一種旋翼作業飛行機器人目標跟蹤方法及系統。

背景技術

目前，視覺目標跟蹤是計算機視覺中的一個重要研究方向，有著廣泛的應用，例如：視頻監控，人機交互，無人駕駛等。過去二三十年視覺目標跟蹤技術取得了長足的進步，特別是最近兩年利用深度學習的目標跟蹤方法取得了令人滿意的效果，使目標跟蹤技術獲得了突破性的進展。

目標跟蹤技術在無人機領域有非常豐富的應用，戰場目標自動檢測與跟蹤技術系統已成為無人機對戰戰場實現態勢感知與精準打擊的基段。機載計算機通過對圖像進行一定的預處理、感興趣區域分析和目標特征提取，進一步實現對敵方目標的自動檢測和跟蹤。在民用方面，飛行器通過目標跟蹤可實現對特定目標的實時跟拍，在體育賽事和航拍等任務中都有非常多的應用。一個對光照變化、目標遮擋、快速運動、物體模糊等具有較強魯棒性的實時跟蹤算法是當前研究的重點。

但是，跟蹤過程中，由于目標遮擋、形變、光照變化等問題極易造成跟蹤目標的丟失，旋翼作業飛行機器人的控制算法有待完善，因此旋翼作業飛行機器人的目標跟蹤技術還存在諸多技術挑戰。采用傳統的基于Siamese網絡的目標跟蹤算法，由于其特征提取層太淺，對目標的特征表達能力不足，直接引入深度網絡反而會使算法的性能下降，不能充分應對實際跟蹤時的復雜變化。因此，亟需一種新的旋翼作業飛行機器人目標跟蹤方法，以解決現有技術中存在的問題。

通過上述分析，現有技術存在的問題及缺陷為：采用傳統的基于Siamese 網絡的目標跟蹤算法，由于其特征提取層太淺，對目標的特征表達能力不足。跟蹤算法需要在第一幀中就充分學習到目標的特征，以對目標進行跟蹤。而第一幀中只包含了少量的目標信息，旋翼飛行作業機器人在后續跟蹤過程中，可能會遇到目標形變、目標遮擋、光照變化、相機抖動等各種情況，這使得跟蹤器難以完成復雜情況下的跟蹤任務。并且當前的目標跟蹤算法大多缺少對目標的尺度估計模塊，很多采用多尺度搜索的方法確定目標的尺度變化，這導致算法的精度降低，多次搜索還降低了算法的實時性能。采用本發明的技術方案可以使跟蹤網絡更多的學習到目標的語義信息，解決在目標外觀發生形變、模糊、光照變化等情況下對目標的識別能力，通過引入一個尺度估計模塊，使網絡能準確的對目標的尺度進行預測，保證了跟蹤算法的高精度，并且滿足實時性能的需求。

解決以上問題及缺陷的難度為：通過引入深度網絡如ResNet50，在理論上可以使特征提取網絡學習到更豐富的目標信息，然而受到Siamese網絡平移不變性的限制，直接引入深度網絡后破壞了這種性能，反而會使跟蹤算法的性能下降。另外目標尺度模塊的預測是一個復雜的任務，需要網絡學習到更多的語義信息，而不是一些淺層的特征信息，因此同樣需要一個更深的特征提取網絡，設計一個有效的目標尺度估計模塊還需考慮諸多因素，如以何種方式嵌入到跟蹤網絡、網絡的感受野設計、通過何種方式對特征進行融合，一個與目標判別分類模塊不匹配的尺度估計模塊反而導致性能的下降。