[發明專利]基于三維場景模型的吊艙姿態修正方法、裝置和無人機

有效

• 申請號: 202110871786.4
• 申請日: 2021-07-30
• 公開（公告）號: CN113415433B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 周黎明;郭有威;劉夯
• 申請（專利權）人: 成都縱橫大鵬無人機科技有限公司
• 主分類號: B64D47/08
• 分類號: B64D47/08;B64C39/02;G01C11/02
• 代理公司: 成都市集智匯華知識產權代理事務所(普通合伙) 51237
• 代理人: 羅艷

1.一種基于三維場景模型的吊艙姿態修正方法，其特征在于，包括：

獲取無人機的當前位置和當前姿態、吊艙的當前位置和當前姿態、吊艙攝像機的當前焦距值、以及吊艙攝像機采集的當前視頻幀圖像；

根據無人機的當前位置和當前姿態、吊艙的當前位置和當前姿態、吊艙攝像機的當前焦距值，基于預設三維場景模型生成對應的投影圖像，并獲取投影圖像的特征點及投影圖像的特征點對應三維空間點在世界坐標系的坐標；

從當前視頻幀圖像中提取特征點；

將當前視頻幀圖像的特征點與投影圖像的特征點進行匹配，根據匹配后的特征點、投影圖像的特征點對應三維空間點在世界坐標系的坐標重構出當前視頻幀圖像對應的吊艙攝像機的理論位置數據、理論姿態數據和理論焦距值；

根據無人機的當前位置和當前姿態、吊艙的當前位置和當前姿態計算吊艙攝像機的當前位置和當前姿態，根據吊艙攝像機的當前位置、當前姿態和當前焦距值、與吊艙攝像機的理論位置數據、理論姿態數據和理論焦距值的誤差值對吊艙姿態進行修正。

2.根據權利要求1所述的基于三維場景模型的吊艙姿態修正方法，其特征在于，所述根據無人機的當前位置和當前姿態、吊艙的當前位置和當前姿態、吊艙攝像機的當前焦距值，基于預設三維場景模型生成對應的投影圖像，并獲取投影圖像的特征點及投影圖像的特征點對應三維空間點在世界坐標系的坐標，包括：

將無人機的當前位置和當前姿態、吊艙的當前位置和當前姿態輸入預設三維場景模型中，得到吊艙攝像機在預設三維場景模型中的虛擬位置和虛擬姿態；

根據吊艙攝像機在預設三維場景模型中的虛擬位置和虛擬姿態、以及吊艙攝像機的當前焦距值在預設三維場景模型中生成對應的投影圖像，所述投影圖像包括紋理子圖像和位置子圖像；

從投影圖像的紋理子圖像中提取出特征點，并從位置子圖像中獲取每個特征點對應三維空間點在世界坐標系下的坐標。

3.根據權利要求2所述的基于三維場景模型的吊艙姿態修正方法，其特征在于，所述根據吊艙攝像機在預設三維場景模型中的虛擬位置和虛擬姿態、以及吊艙攝像機的當前焦距值在預設三維場景模型中生成對應的投影圖像，所述投影圖像包括紋理子圖像和位置子圖像，包括：

根據吊艙攝像機在預設三維場景模型中的虛擬位置和虛擬姿態、預設吊艙攝像機的尺寸和分辨率、以及吊艙攝像機的當前焦距值，計算出吊艙攝像機當前視場在預設三維場景模型中的投影方向和視場角；

根據吊艙攝像機當前視場在預設三維場景模型中的投影方向和視場角確定在預設三維場景模型中對應的投影區域，將投影區域的每一個網格的顏色渲染到投影圖像的紋理子圖像上、將每一個網格的三維坐標換算到世界坐標系后渲染到投影圖像的位置子圖像上，其中，對于投影區域中存在遮擋關系的若干網格，僅渲染位于前景部分的網格。

4.根據權利要求1所述的基于三維場景模型的吊艙姿態修正方法，其特征在于，所述根據匹配后的特征點、投影圖像的特征點對應三維空間點在世界坐標系的坐標重構出當前視頻幀圖像對應的吊艙攝像機的理論位置數據、理論姿態數據和理論焦距值，包括：

根據匹配后的特征點和投影圖像的特征點對應三維空間點在世界坐標系的坐標，計算出當前視頻幀圖像對應的吊艙攝像機矩陣；

根據吊艙攝像機矩陣與吊艙攝像機旋轉矩陣、吊艙攝像機相對于世界坐標系的中心位置、吊艙攝像機內參數矩陣、單位矩陣的數值關系，求解出吊艙攝像機旋轉矩陣、吊艙攝像機相對于世界坐標系的中心位置和吊艙攝像機內參數矩陣；

根據吊艙攝像機內參數矩陣和預設吊艙攝像機像素寬度求解出吊艙攝像機理論焦距值。

5.根據權利要求1所述的基于三維場景模型的吊艙姿態修正方法，其特征在于，所述預設三維場景模型的生成方法，包括：

通過地面人工采集圖像控制點，并結合無人機傾斜攝影技術，獲取可供三維重建的若干高分辨率圖像和地面圖像控制點信息；

將若干高分辨率圖像和地面圖像控制點信息輸入三維重建軟件中得到帶有地理位置信息的三維場景模型。