[發明專利]一種基于深度學習的機載無人機多目標跟蹤系統的跟蹤方法

在審

• 申請號: 202010788407.0
• 申請日: 2020-08-07
• 公開（公告）號: CN111932588A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 郭佳昕;潘能;周美含;熊蓉
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 鄭海峰

本發明公開了一種基于深度學習的機載無人機多目標跟蹤系統的跟蹤方法，屬于無人機目標跟蹤領域。通過云臺攝像頭獲取實時圖像信息，進行基本預處理后通過深度學習算法對圖像中的多目標進行檢測并分別跟蹤，同時使用數據關聯算法將目標進行相鄰幀運動的關聯，完成一對一的匹配，實現多個目標當前的狀態估計以及歷史運動的記錄；根據目標的位置與速度預測結果，調節云臺使目標保持在圖像中央，實現單目測距，結合目標位置與速度實現對于目標的跟蹤飛行。本發明不依賴GPS，在跟蹤過程中實現視角保持，能夠快速、準確、穩定的跟蹤多目標并進行選擇性跟蹤，能夠較好處理跟蹤消失再出現等問題；同時能夠通過無線通信與用戶進行交互，反饋跟蹤狀態。

技術領域

本發明屬于無人機目標跟蹤領域，具體涉及一種基于深度學習的機載無人機多目標跟蹤系統的跟蹤方法。

背景技術

無人機通常是指由機載計算機系統和地面系統一起組合起來的可以自行完成飛行任務的無駕駛員的飛行器。相比于載人飛行器，具有體積小、質量輕、生產和運維成本低、機動性好、不存在機組人員安全問題等優點，可廣泛用于低空偵察、反恐打擊、情報收集等軍事任務。在民用方面，可用于氣象探測、災害監測、地質勘探、地圖測繪、農業植保、公安消防等諸多領域。近年來，隨著技術進步帶來了無人機成本的下降，其全球市場大幅增長，發展態勢迅猛。

目前，計算機視覺與無人機的結合，已成為了當下研究的熱點。不僅擴充了人類的視覺范圍，更是在安防救援、人機交互、目標跟蹤與檢測等方面發揮了更大效用。現有的無人機目標跟蹤技術中，多為單個目標的檢測與跟蹤，對目標類別不做限定，因此難以區分相似的類內對象，在實際應用中存在一定不便。在圖像處理中，無人機的運動會對目標檢測的質量造成干擾，容易出現目標脫離視野的情況。此外，由于無人機自身的定位大多基于GPS，GPS失效會影響跟蹤效果。

發明內容

針對上述背景技術的分析，本發明旨在提供一種基于深度學習的機載無人機多目標跟蹤系統的跟蹤方法，無人機通過云臺攝像頭獲取實時圖像信息，進行基本的去噪、去畸變等預處理后，使用YOLOV3算法對圖像中的多目標(行人、車輛等)完成快速、準確的檢測；基于檢測結果的矩形框，使用KCF算法實現對多個目標分別進行跟蹤，當跟蹤丟失則重新檢測，并使用數據關聯算法進行檢測與歷史跟蹤的匹配，即為利用歐式距離以及直方圖相似度，將目標進行相鄰幀運動的關聯，防止信息丟失，最后使用匈牙利算法，完成一對一的匹配，實現多個目標當前的狀態估計以及歷史運動的記錄；基于擴展卡爾曼濾波進一步實現對目標的位置與速度預測，之后通過對于云臺的PID控制實現目標保持在圖像中央，基于相機內參與外參實現目標距離估測，之后無人機結合目標位置與速度實現對于目標的跟蹤飛行。本發明利用視覺信息以及機載傳感器的信息，實現對多目標的跟蹤以及運動估計，同時控制云臺使得無人機在跟蹤過程中，地面目標始終保持在攝像機的圖像中心，以解決現有技術中無法跟蹤多個目標、依賴GPS、視角保持不穩等問題。

本發明主要通過以下技術方案實現：

一種基于深度學習的機載無人機多目標跟蹤系統的跟蹤方法，所述的機載無人機多目標跟蹤系統包括無人機、云臺、超聲波傳感器、機載電腦和相機；所述的機載電腦、云臺和超聲波傳感器均固定在無人機上，所述的相機安裝在云臺上；所述機載電腦與地面站通過無線通訊；

所述的跟蹤方法步驟如下：

S1：通過固定在無人機云臺上的相機獲取圖像；

S2：對圖像進行預處理，包括去噪、去畸變以及壓縮圖像尺寸處理；

S3：通過YOLOV3算法對預處理后的圖像進行多個目標檢測，獲得多個目標的檢測結果矩形框；

S4：基于每一個目標的檢測結果矩形框，采用KCF進行目標跟蹤，具體為：

S41：實時判斷跟蹤目標是否丟失，若跟蹤目標未丟失，則繼續當前跟蹤，且保存當前目標的位置；若跟蹤目標丟失，則返回S1重新進行目標檢測；