[發明專利]一種多無人機航拍圖像的拼接方法及裝置

在審

• 申請號: 202011181759.6
• 申請日: 2020-10-29
• 公開（公告）號: CN112288634A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 賈子彥;吳雪濤;郭輝;吳曉慶;孫曉鋒;諸一琦;劉曉杰;姚克明;陶為戈;俞洋;宋偉;薛波
• 申請（專利權）人: 江蘇理工學院
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/33;G06K9/62
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 張勵

本申請公開了一種多無人機航拍圖像的拼接方法及系統，接收來自多個無人機的多個航拍圖像以及與各個航拍圖像相對應的拍攝信息；根據與各個航拍圖像相對應的拍攝信息，對各個航拍圖像進行校正，并計算各個航拍圖像的圖像重疊區域，得到預處理圖像；提取預處理圖像的特征點和特征描述符，進行特征匹配和特征融合處理，拼接得到全景圖像。本申請能夠接收多個無人機采集的多個航拍圖像來進行拼接，并且在拼接時根據航拍圖像的拍攝信息對航拍圖像進行校正，并確定多個航拍圖像的重疊區域，然后進行特征匹配和特征融合，這一拼接過程不需要依賴地面控制點，因此可以提高拼接全景圖像的時效性和精確性。

技術領域

本申請涉及無人機航拍圖像處理技術領域，特別涉及一種多無人機航拍圖像的拼接方法及裝置。

背景技術

隨著科技的不斷發展，無人機以其機動靈活，經濟高效和快速實時的優勢，被廣泛應用在地理測繪，災害監測，災后救援等領域。

由于單架無人機存在視覺信息量小、單次圖像采集不全面的問題，傳統的無人機航拍圖像拼接是對航拍序列圖像進行拼接的，需要預先設定無人機的飛行路徑，然后控制無人機在飛行過程中按照序列拍攝圖像，然后把按照序列拍攝的圖像進行拼接。

但是，在發生森林火災，地震等災害以后，越早得到受災地區的圖像信息，就能越早了解到受災地區的情況，進而越快指定相關應對措施，減少更大的損失，所以圖像采集的實時性尤為重要。而這種依靠無人機航拍序列圖像進行拼接的方法的實時性很低。甚至，如果拍攝中出現效果較差的圖像，還會影響全景圖像的拼接效果，再次拍攝又會耗費時間和精力，因此這種依靠無人機航拍序列圖像進行拼接的方法難以及時有效地反饋全景圖像信息。

并且，這種依靠無人機航拍序列圖像進行拼接的方法，在拼接圖像時，對圖像進行幾何校正主要依靠設定的地面控制點，但是在發生森林火災，地震等災害以后，地面控制點很難設定，拼接圖像的幾何校正也就難以完成，容易導致全景圖像的拼接效果很差。

發明內容

針對上述問題，本發明提供一種多無人機航拍圖像的拼接方法，以提高拼接全景圖像的時效性和精確性。

基于上述目的，本申請提供的技術方案如下：

一種多無人機航拍圖像的拼接方法，包括以下步驟：

接收來自多個無人機的多個航拍圖像以及與各個所述航拍圖像相對應的拍攝信息；

根據與各個所述航拍圖像相對應的所述拍攝信息，對各個所述航拍圖像進行校正，并計算各個所述航拍圖像的圖像重疊區域，得到預處理圖像；

提取所述預處理圖像的特征點和特征描述符，進行特征匹配和特征融合處理，拼接得到全景圖像。

優選地，所述拍攝信息包括各個所述航拍圖像在被拍攝時的時間信息、無人機的姿態信息和位置坐標；所述姿態信息包括俯仰角、翻滾角、偏航角和航高信息。

優選地，所述根據與各個所述航拍圖像相對應的所述拍攝信息，對各個所述航拍圖像進行校正，包括：

根據與各個所述航拍圖像相對應的所述俯仰角、翻滾角、偏航角和航高信息，對與各個所述航拍圖像進行俯仰角校正、翻滾角校正、偏航角校正和航高校正處理。

優選地，所述計算各個所述航拍圖像的圖像重疊區域，得到預處理圖像，包括：

根據與各個所述航拍圖像相對應的所述位置坐標和所述航高信息，計算出各個無人機與相鄰無人機之間的相對距離，根據所述相對距離計算各個所述航拍圖像的重疊區域；

對各個所述航拍圖像進行處理，保留所述重疊區域的像素值，并對非重疊區域的像素點進行賦值，得到圖像尺寸未改變卻只保留所述重疊區域的像素值的所述預處理圖像。

優選地，所述提取所述預處理圖像的特征點和特征描述符，進行特征匹配和特征融合處理，拼接得到全景圖像，包括：