[發明專利]一種多無人機航拍圖像的拼接方法及裝置

在審

• 申請號: 202011181759.6
• 申請日: 2020-10-29
• 公開（公告）號: CN112288634A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 賈子彥;吳雪濤;郭輝;吳曉慶;孫曉鋒;諸一琦;劉曉杰;姚克明;陶為戈;俞洋;宋偉;薛波
• 申請（專利權）人: 江蘇理工學院
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/33;G06K9/62
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 張勵

1.一種多無人機航拍圖像的拼接方法，其特征在于，包括以下步驟：

接收來自多個無人機的多個航拍圖像以及與各個所述航拍圖像相對應的拍攝信息；

根據與各個所述航拍圖像相對應的所述拍攝信息，對各個所述航拍圖像進行校正，并計算各個所述航拍圖像的圖像重疊區域，得到預處理圖像；

提取所述預處理圖像的特征點和特征描述符，進行特征匹配和特征融合處理，拼接得到全景圖像。

2.根據權利要求1所述的方法，其特征在于，所述拍攝信息包括各個所述航拍圖像在被拍攝時的時間信息、無人機的姿態信息和位置坐標；所述姿態信息包括俯仰角、翻滾角、偏航角和航高信息。

3.根據權利要求2所述的方法，其特征在于，所述根據與各個所述航拍圖像相對應的所述拍攝信息，對各個所述航拍圖像進行校正，包括：

根據與各個所述航拍圖像相對應的所述俯仰角、翻滾角、偏航角和航高信息，對與各個所述航拍圖像進行俯仰角校正、翻滾角校正、偏航角校正和航高校正處理。

4.根據權利要求2所述的方法，其特征在于，所述計算各個所述航拍圖像的圖像重疊區域，得到預處理圖像，包括：

根據與各個所述航拍圖像相對應的所述位置坐標和所述航高信息，計算出各個無人機與相鄰無人機之間的相對距離，根據所述相對距離計算各個所述航拍圖像的重疊區域；

對各個所述航拍圖像進行處理，保留所述重疊區域的像素值，并對非重疊區域的像素點進行賦值，得到圖像尺寸未改變卻只保留所述重疊區域的像素值的所述預處理圖像。

5.根據權利要求1所述的方法，其特征在于，所述提取所述預處理圖像的特征點和特征描述符，進行特征匹配和特征融合處理，拼接得到全景圖像，包括：

采用加速穩健特征算法SURF對所述預處理圖像進行特征點和特征描述符的提取，通過快速近似最近鄰算法FLANN進行特征匹配，利用隨機抽樣一致性算法RANSAC去除錯誤匹配點，得出變換矩陣，最后采用加權融合方法對圖像進行拼接處理，得到所述全景圖像。

6.一種多無人機航拍圖像的拼接系統，其特征在于，包括地面站和多個無人機；所述無人機包括用于采集航拍圖像的圖像模塊和用于將采集的航拍圖像發送給所述地面站的通信交互模塊；

所述地面站用于接收來自多個所述無人機的多個航拍圖像以及與各個所述航拍圖像相對應的拍攝信息；根據與各個所述航拍圖像相對應的所述拍攝信息，對各個所述航拍圖像進行校正，并計算各個所述航拍圖像的圖像重疊區域，得到預處理圖像；提取所述預處理圖像的特征點和特征描述符，進行特征匹配和特征融合處理，拼接得到全景圖像。

7.根據權利要求6所述的系統，其特征在于，所述無人機還包括用于感測所述無人機在拍攝航拍圖像時的姿態信息的姿態模塊和用于感測所述無人機在拍攝航拍圖像時的位置坐標的位置模塊；

所述拍攝信息包括各個所述航拍圖像在被拍攝時的時間信息、無人機的姿態信息和位置坐標；所述姿態信息包括俯仰角、翻滾角、偏航角和航高信息。

8.根據權利要求7所述的系統，其特征在于，所述地面站在根據與各個所述航拍圖像相對應的所述拍攝信息，對各個所述航拍圖像進行校正時，具體用于：

根據與各個所述航拍圖像相對應的所述俯仰角、翻滾角、偏航角和航高信息，對與各個所述航拍圖像進行俯仰角校正、翻滾角校正、偏航角校正和航高校正處理。

9.根據權利要求7所述的系統，其特征在于，所述地面站在計算各個所述航拍圖像的圖像重疊區域，得到預處理圖像時，具體用于：

根據與各個所述航拍圖像相對應的所述位置坐標和所述航高信息，計算出各個無人機與相鄰無人機之間的相對距離，根據所述相對距離計算各個所述航拍圖像的重疊區域；

對各個所述航拍圖像進行處理，保留所述重疊區域的像素值，并對非重疊區域的像素點進行賦值，得到圖像尺寸未改變卻只保留所述重疊區域的像素值的所述預處理圖像。

10.根據權利要求6所述的系統，其特征在于，所述地面站在提取所述預處理圖像的特征點和特征描述符，進行特征匹配和特征融合處理，拼接得到全景圖像時，具體用于：

采用加速穩健特征算法SURF對所述預處理圖像進行特征點和特征描述符的提取，通過快速近似最近鄰算法FLANN進行特征匹配，利用隨機抽樣一致性算法RANSAC去除錯誤匹配點，得出變換矩陣，最后采用加權融合方法對圖像進行拼接處理，得到所述全景圖像。