[發(fā)明專利]一種用于無人機(jī)的360度立體全景觀測系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 201810314065.1
• 申請日: 2018-04-10
• 公開（公告）號: CN108769569B
• 公開（公告）日: 2021-04-13
• 發(fā)明（設(shè)計(jì)）人: 晁涌耀;梁艷菊;常嘉義
• 申請（專利權(quán)）人: 昆山微電子技術(shù)研究院
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N5/232;G06T3/40;G06T5/50;G06T7/80
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 劉廣達(dá)

一種用于無人機(jī)的360度立體全景觀測系統(tǒng)，包括：觀測子系統(tǒng)與處理子系統(tǒng)，其中，所述觀測子系統(tǒng)由觀測無人機(jī)所處空間6個(gè)方向的多個(gè)攝像頭組成，所述處理子系統(tǒng)與所述觀測子系統(tǒng)進(jìn)行通信。與現(xiàn)有技術(shù)相比，可對無人機(jī)所在高度上四周的環(huán)境信息、無人機(jī)高度上方的環(huán)境圖像信息進(jìn)行觀測，具備覆蓋水平360°和垂直360°全方位的視野的能力。此外，本發(fā)明加入了高程感知模塊，兼容北斗/GPS衛(wèi)星信息與慣性傳感器信息，使得本發(fā)明對無人機(jī)觀測環(huán)境中的位置和高程信息的探測更準(zhǔn)確。采用2D和3D建模對圖像對進(jìn)行觀測，高度信息融合環(huán)境圖像信息，對環(huán)境的描述更精確。

技術(shù)領(lǐng)域

本發(fā)明涉及無人機(jī)航拍領(lǐng)域，特別是涉及了一種用于無人機(jī)的360度立體全景觀測系統(tǒng)及方法，用于實(shí)現(xiàn)無人機(jī)的360度立體全景觀測。

背景技術(shù)

隨著經(jīng)濟(jì)的飛速發(fā)展和社會(huì)的不斷進(jìn)步，無人機(jī)搭載多種傳感器系統(tǒng)的環(huán)境探測技術(shù)在許多方面得到廣泛的應(yīng)用。在環(huán)境保護(hù)中的環(huán)境監(jiān)測方面，無人機(jī)因其時(shí)效性強(qiáng)，機(jī)動(dòng)性好，巡查范圍廣的特點(diǎn)，可用于大范圍內(nèi)探明環(huán)境情況。在測繪方面，測繪無人機(jī)作為一種低成本、高精度、操作簡便的遙感影像獲取設(shè)備應(yīng)運(yùn)而生，并在傳統(tǒng)測繪、數(shù)字城市建設(shè)、地理國情監(jiān)測、災(zāi)害應(yīng)急處理等方面取得了很好的效果。

現(xiàn)有無人機(jī)觀測系統(tǒng)主要對俯視地面的場景進(jìn)行拍攝和拼接，系統(tǒng)可以全面觀測地面場景的狀況，單無法采集到環(huán)繞無人機(jī)的圖像和無人機(jī)上方的圖像，在環(huán)境監(jiān)測時(shí)，無法反應(yīng)立體的環(huán)境情況。在飛行高度不高的情況下，難以觀測全方位的環(huán)境情況。

申請?zhí)枺?01610969823.4本發(fā)明了一種無人機(jī)全景視覺跟蹤方法、無人機(jī)以及控制終端，該方法包括：獲取多個(gè)相機(jī)在同一時(shí)間點(diǎn)拍攝的圖像；拼接該多個(gè)相機(jī)在同一時(shí)間點(diǎn)拍攝的圖像形成全景圖像；將每次拼接的該全景圖像傳送至與無人機(jī)無線連接的控制終端。

上述專利中，存在兩個(gè)問題：1.相機(jī)均設(shè)置在無人機(jī)的下方，無法感知無人機(jī)平行高度及平行高度以上的圖像信息。其只在俯視平面上具備全景信息，在垂直方向上不具備全景信息。2.圖像信息沒有與無人機(jī)高程信息結(jié)合，無法詳細(xì)探測實(shí)際環(huán)境中在各個(gè)高程上，實(shí)際環(huán)境中的立體信息。

發(fā)明內(nèi)容

針對上述問題，根據(jù)本發(fā)明的一個(gè)方面，公開了一種用于無人機(jī)的360度立體全景觀測系統(tǒng)，包括：觀測子系統(tǒng)與處理子系統(tǒng)，其中，所述觀測子系統(tǒng)由觀測無人機(jī)下方、觀測無人機(jī)上方以及觀測無人機(jī)四周的多個(gè)攝像頭組成，所述處理子系統(tǒng)與所述觀測子系統(tǒng)進(jìn)行通信，所述處理子系統(tǒng)用于對所述觀測子系統(tǒng)中多個(gè)攝像頭獲得的圖像進(jìn)行處理。

優(yōu)選的，所述觀測子系統(tǒng)還包括：用于固定所述多個(gè)攝像頭的結(jié)構(gòu)。

優(yōu)選的，所述處理子系統(tǒng)包括：核心處理器模塊、系統(tǒng)存儲(chǔ)模塊、視頻存儲(chǔ)模塊、圖像數(shù)據(jù)同步模塊以及位置高程感知模塊，其中所述系統(tǒng)存儲(chǔ)模塊、所述視頻存儲(chǔ)模塊、所述圖像數(shù)據(jù)同步模塊以及所述位置高程感知模塊分別與所述核心處理器模塊相連。

更優(yōu)選的，所述核心處理器模塊為，DSP、GPU、FPGA或CPU，用于控制場景圖像數(shù)據(jù)的讀入、圖像拼接、圖像處理與用戶交互。

更優(yōu)選的，所述圖像數(shù)據(jù)同步處理模塊用于多路攝像頭的同步處理，所述位置高程感知模塊，用于獲得系統(tǒng)所在的經(jīng)緯度信息以及高程信息，所述通訊模塊用于和外界進(jìn)行通訊，所述系統(tǒng)存儲(chǔ)模塊與所述視頻存儲(chǔ)模塊分別用于存儲(chǔ)控制程序與合成全景圖像數(shù)據(jù)，其中所述視頻存儲(chǔ)模塊為SD卡或TF卡。

根據(jù)本發(fā)明的另一個(gè)方面，公開了一種使用上述一種用于無人機(jī)的360度立體全景觀測系統(tǒng)的方法，其特征在于，包括：

所述觀測子系統(tǒng)采集圖像數(shù)據(jù)；

所述處理子系統(tǒng)對所述圖像數(shù)據(jù)進(jìn)行圖像預(yù)處理；

所述處理子系統(tǒng)根據(jù)攝像頭的內(nèi)外參數(shù)據(jù)對所述預(yù)處理后的圖像數(shù)據(jù)進(jìn)行圖像校正；