[發明專利]一種基于三維重建的遠距離目標毀傷評估方法

在審

• 申請號: 202211328081.9
• 申請日: 2022-10-27
• 公開（公告）號: CN115690623A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 馬耀飛;呂建昊;周郁文;張文欣
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V20/17
• 分類號: G06V20/17;G06V10/147;G06V10/26;G06V10/25;G06V20/64;G06T7/269;G06T7/73;G06T15/00
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 周長琪

1.一種基于三維重建的遠距離目標毀傷評估方法，其特征在于，包括如下步驟：

步驟1，無人機上搭載變焦雙目相機拍攝目標所在區域，在拍攝圖像時采用均衡變焦成像策略；所述均衡變焦成像策略是：先設計調整相機視場角的恒定精度變焦曲線，將恒定精度變焦曲線的有效變焦段拉伸至整個有效工作距離，得到均衡變焦曲線，在目標深度不同時按照均衡變焦曲線調整相機視場角，進行相機變焦；

步驟2，對無人機拍攝的連續圖像進行多目標檢測、目標圖像分割與目標幀間定位；

步驟3，實現基于虛擬雙目基線的遠距離目標三維重建，包括：控制無人機在相距設定距離D的N個位置分別拍攝目標圖像，每相鄰位置距離作為虛擬雙目基線；利用步驟2對圖像進行多目標檢測、目標圖像分割與目標幀間定位；將拍攝的多個目標圖像進行雙目圖像校正和雙目匹配后，進行目標三維重構，獲得目標三維點云模型；設定距離D大于等于十米，N大于等于2；

步驟4，根據獲得的目標三維點云模型評估目標的毀傷狀態。

2.根據權利要求1所述的方法，其特征在于，所述的步驟1中，設計的恒定精度變焦曲線如下：

其中，fov為相機視場角，min(fov)、max(fov)分別是預先設置的最小視場角、最大視場角；z為目標深度，b為雙目相機的基線距離，w為圖像水平分辨率；Δz為每像素目標深度分辨率；

將恒定精度變焦曲線的有效變焦段拉伸至整個有效工作距離，得到均衡變焦曲線，其中整個有效工作距離的長度大于等于300米。

3.根據權利要求1或2所述的方法，其特征在于，所述的步驟1中，變焦雙目相機在目標深度每變化設定距離時執行一次變焦。

4.根據權利要求1所述的方法，其特征在于，所述的步驟2中，利用多目標檢測分割模塊檢測目標圖像區域，將目標區域從圖像中裁剪出來；再利用目標圖像定位形心計算模塊計算每個目標區域的形心作為目標圖像位置的坐標；然后利用稀疏光流追蹤的多目標幀間對應計算模塊通過稀疏光流追蹤目標圖像內關鍵點在連續圖像中的位置，計算目標圖像內關鍵點的光流平均值，作為目標整體位置偏移量，根據該偏移量判斷相鄰幀上的目標對應關系。

5.根據權利要求4所述的方法，其特征在于，所述的步驟2中，稀疏光流追蹤的多目標幀間對應計算模塊根據計算的偏移量，在相鄰幀之間，將所有目標的變動距離最短的兩目標，判定為同一目標。

6.根據權利要求4所述的方法，其特征在于，所述的步驟3中，利用虛擬基線雙目圖像校正模塊對無人機在不同位置拍攝的圖像進行校正，校正過程包括：記錄每次成像時雙目相機的位姿變化，計算校正后的相機位姿，將圖像重新投影到新的相機模型中，得到校正后的圖像。

7.根據權利要求6所述的方法，其特征在于，所述的步驟3中，利用虛擬基線雙目圖像校正模塊對無人機在不同位置拍攝的圖像進行校正時，若無人機在不同成像位置的姿態變化較小，通過目標圖像裁剪實現近似校正，具體為：對虛擬基線雙目圖像進行ORB特征點匹配，計算目標特征點對的平均垂直像素差，裁剪目標區域使特征點保持水平，保證極線水平。

8.根據權利要求4或6所述的方法，其特征在于，所述的步驟3中，利用虛擬基線雙目圖像校正模塊對無人機在不同位置拍攝的圖像進行校正后，利用SGBM雙目匹配模塊對雙目圖像進行匹配，最后利用虛擬基線的三維重建模塊對無人機在不同位置拍攝的圖像中識別的目標進行三維重構；其中，SGBM表示半全局塊匹配算法。

9.根據權利要求1所述的方法，其特征在于，所述的步驟4中，采用深度網絡模型，將目標三維點云數據為輸入，以量化的毀傷等級為輸出，來評估目標的毀傷狀態。