[發明專利]基于三維場景模型的吊艙姿態修正方法、裝置和無人機

有效

• 申請號: 202110871786.4
• 申請日: 2021-07-30
• 公開（公告）號: CN113415433B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 周黎明;郭有威;劉夯
• 申請（專利權）人: 成都縱橫大鵬無人機科技有限公司
• 主分類號: B64D47/08
• 分類號: B64D47/08;B64C39/02;G01C11/02
• 代理公司: 成都市集智匯華知識產權代理事務所(普通合伙) 51237
• 代理人: 羅艷

本申請提供一種基于三維場景模型的吊艙姿態修正方法，利用預設三維場景模型實時生成與當前視頻幀圖像最近似的投影圖像，然后將兩種圖像進行特征點匹配并通過算法獲得吊艙姿態和焦距的修正值。實現了在高度自動化的復雜場景無人機低空大傾斜角度視頻巡檢任務中，對姿態和攝像機進行校準以保證ROI區域被有效覆蓋，并提高了絕對定位精度，以保證作業的有效性。本申請同時還提供了一種基于三維場景模型的吊艙姿態修正裝置、無人機和計算機可讀存儲介質，均具有上述有益效果。

技術領域

本申請涉及吊艙姿態修正技術領域，特別涉及一種基于三維場景模型的吊艙姿態修正方法、基于三維場景模型的吊艙姿態修正裝置、無人機和計算機可讀存儲介質。

背景技術

配兩軸或三軸吊艙的無人機自動化巡檢作業是當下一個熱門方向，主要應用在電力、管道、河道、公路、鐵路、橋梁巡檢等領域。保證吊艙中攝像機所拍攝的視場區域為使用者所感興趣的區域ROI是后續能夠進行進一步圖像處理的前提條件,尤其是在巡線作用中，無人機往往是長距離線性飛行，如果中間某段圖像無效，可能導致整個飛行架次的作業成果無效。僅通過提高相對姿態精度無法滿足大范圍工作區域的任務要求。而為了進一步提高絕對姿態精確度則需要在感興趣的區域(ROI)內維護一組特殊的圖像控制點，或是采用基準圖像以提供絕對位置信息。

現有技術一將含有高程信息的基準圖像與無人機實時視頻圖像進行特征點匹配來進行無人機姿態校準，需要當前視頻圖像為與基準圖類似的角度拍攝，比如正射。如果當前視頻圖像相對基準圖的原始拍攝角度存在很大傾斜角度，或是當前攝像機處于周圍存在大量建筑物的復雜場景下時，基準圖匹配方法將無法開展。

現有技術二將無人機視頻圖像數據和深度相機的深度數據結合以更新原始場景模型，并在無人機飛行中通過檢測人工標簽物體優化無人機定位和姿態的方案，需要人工維護標簽物體，并且工作距離嚴重受限于深度相機的工作距離。

針對依靠圖像控制點來進行實時姿態校正方案中存在無人機起飛階段需要人工介入尋找ROI這一不便性。通常通過預先存儲若干基準圖來替代ROI區域的人工圖像控制點是一種提高自動化作業率的有效方式。但是預先存儲的基準圖只是某個角度(一般是向下正射)下拍攝的圖像，當無人機地處復雜環境例如周圍存在大量建筑物的場景時，拍攝到的圖像無法與基準圖進行有效的比對。

因此，如何提供一種解決上述技術問題的方案是本領域技術人員目前亟需解決的問題。

發明內容

本申請的目的是提供一種基于三維場景模型的吊艙姿態修正方法、基于三維場景模型的吊艙姿態修正裝置、無人機和計算機可讀存儲介質，能夠使無人機吊艙自動化地在復雜場景環境下開展巡檢作業并實時測量并修正無人機和所搭載吊艙的姿態和攝像機變焦焦距，保證ROI被有效覆蓋。其具體方案如下：

本申請提供一種基于三維場景模型的吊艙姿態修正方法，包括根據無人機的當前位置和當前姿態、吊艙的當前位置和當前姿態、吊艙攝像機的當前焦距值，基于預設三維場景模型生成對應的投影圖像，并獲取投影圖像的特征點及投影圖像的特征點對應三維空間點在世界坐標系的坐標；將當前視頻幀圖像的特征點與投影圖像的特征點進行匹配，根據匹配后的特征點、投影圖像的特征點對應三維空間點在世界坐標系的坐標重構出當前視頻幀圖像對應的吊艙攝像機的理論位置數據、理論姿態數據和理論焦距值；根據吊艙攝像機的當前位置、當前姿態和當前焦距值、與吊艙攝像機的理論位置數據、理論姿態數據和理論焦距值的誤差值對吊艙姿態進行修正。

可見，本申請利用預設三維場景模型實時生成與當前視頻幀圖像最近似的投影圖像，然后將兩種圖像進行特征點匹配并通過算法獲得吊艙姿態和焦距的修正值。實現了在高度自動化的復雜場景無人機低空大傾斜角度視頻巡檢任務中，對姿態和攝像機進行校準以保證ROI區域被有效覆蓋，并提高了絕對定位精度，以保證作業的有效性。本申請同時還提供了一種基于三維場景模型的吊艙姿態修正裝置、無人機和計算機可讀存儲介質，均具有上述有益效果，在此不再贅述。

附圖說明