[發明專利]一種多目標位姿實時在線估計方法、系統、設備及介質

在審

• 申請號: 202310073055.4
• 申請日: 2023-01-17
• 公開（公告）號: CN116012450A
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 李森;胡玉龍;劉品;陳皓;李珂;唐藝菁
• 申請（專利權）人: 西安微電子技術研究所
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/246;G06V20/17;G06V10/82;G06V10/74;G06N3/0464;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 姚詠華

本發明公開了一種多目標位姿實時在線估計方法、系統、設備及介質，針對實時航拍圖像，一方面，通過分塊檢測與首尾互聯的方式實現地面目標位姿的快速估計；另一方面，結合數據關聯思想，對地面目標實時在線跟蹤，有效克服了航拍圖像中目標體積小、數量多、易被遮擋、動態非合作以及嵌入式設備計算能力有限等問題，提高航拍多目標位姿估計的效率，實現機載嵌入式環境下航拍地面目標在線實時估計，進而滿足災難救援、軍事監控等領域對地面目標探測感知的多目標、多維度以及強實時需求。

技術領域

本發明涉及無人系統智能視覺感知技術領域，具體為一種多目標位姿實時在線估計方法系統、設備及介質。

背景技術

近年來，隨著無人機技術迅猛發展，由于其移動性強、成本低、監測高度可變等優點，無人機已被廣泛應用于災難救援、軍事監控等領域。面向日趨豐富多樣的無人機探測感知任務，結合體積小、重量輕、功耗和成本低的視覺傳感器，對無人感知系統進一步提出了多目標、多維度以及強實時的能力需求，以支撐多種類、多數量救災/監控目標位置、姿態信息的即時感知，航拍多目標位姿實時估計已成為完善感知探測目標信息的重要基礎，是提升無人機感知系統自身智能水平的關鍵一環。

目前，受限于無人機感知系統載荷數量與信息處理能力，以及航拍目標體積小、數量多、動態非合作且容易被遮擋等原因，基于嵌入式設備的航拍多目標姿態在線實時估計難以實現。

發明內容

本發明目的在于提供一種多目標位姿實時在線估計方法，以克服現有技術中基于嵌入式設備的航拍多目標姿態在線實時估計難以實現的問題。

為實現上述目的，本發明提供如下技術方案：

一種多目標位姿實時在線估計方法，包括以下步驟：

S1：從不同高度及角度采集航拍車輛圖像，并標注圖像中的車頭及車輛，生成航拍車輛訓練集，并對航拍車輛訓練集進行訓練，生成目標檢測模型；

S2：對目標檢測模型進行輕量化，并將輕量化后的目標檢測模型部署在GPU嵌入式開發板上；

S3：將搭載有云臺攝像機的GPU嵌入式開發板安裝在無人機上，獲取航拍圖像，并將獲取到的航拍圖像輸入到輕量化后的目標檢測模型，獲得目標檢測結果；

S4：根據目標檢測結果分別計算車頭和車輛檢測框的重疊率，實現車輛和對應車頭的關聯，然后連接車輛和車頭的質心，計算車輛的姿態角；

S5：根據目標檢測結果，以歐氏距離作為相鄰幀目標間的相似度度量，建立關聯矩陣，求解全局最優匹配，對最優匹配結果進行篩選，得到目標跟蹤結果，將目標跟蹤結果與車輛姿態角進行匹配，獲得目標的實時位姿。

優選地，S1中采用YOLOv5s網絡對航拍車輛訓練集進行訓練。

優選地，目標檢測模型以添加Focus結構的CSPDarknet-53作為骨干網絡。

優選地，車頭和車輛檢測框的重疊率計算公式為：

其中，分別為車頭i和車輛j的檢測框的面積。

優選地，車輛姿態角的計算公式為：

其中，(x₁,y₁)和(x₂,y₂)分別為車頭和車輛的質心坐標。

優選地，關聯矩陣為：

其中，表示第t幀中檢測到的第i個車輛，M和N分別表示第t幀和第t+1幀中檢測出來的目標個數，表示車輛之間的歐氏距離。

優選地，求解全局最優匹配采用匈牙利算法。