[發(fā)明專利]一種用于無(wú)人機(jī)的360度立體全景觀測(cè)系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810314065.1
• 申請(qǐng)日: 2018-04-10
• 公開（公告）號(hào): CN108769569B
• 公開（公告）日: 2021-04-13
• 發(fā)明（設(shè)計(jì)）人: 晁涌耀;梁艷菊;常嘉義
• 申請(qǐng)（專利權(quán)）人: 昆山微電子技術(shù)研究院
• 主分類號(hào): H04N7/18
• 分類號(hào): H04N7/18;H04N5/232;G06T3/40;G06T5/50;G06T7/80
• 代理公司: 北京辰權(quán)知識(shí)產(chǎn)權(quán)代理有限公司 11619
• 代理人: 劉廣達(dá)

一種用于無(wú)人機(jī)的360度立體全景觀測(cè)系統(tǒng)，包括：觀測(cè)子系統(tǒng)與處理子系統(tǒng)，其中，所述觀測(cè)子系統(tǒng)由觀測(cè)無(wú)人機(jī)所處空間6個(gè)方向的多個(gè)攝像頭組成，所述處理子系統(tǒng)與所述觀測(cè)子系統(tǒng)進(jìn)行通信。與現(xiàn)有技術(shù)相比，可對(duì)無(wú)人機(jī)所在高度上四周的環(huán)境信息、無(wú)人機(jī)高度上方的環(huán)境圖像信息進(jìn)行觀測(cè)，具備覆蓋水平360°和垂直360°全方位的視野的能力。此外，本發(fā)明加入了高程感知模塊，兼容北斗/GPS衛(wèi)星信息與慣性傳感器信息，使得本發(fā)明對(duì)無(wú)人機(jī)觀測(cè)環(huán)境中的位置和高程信息的探測(cè)更準(zhǔn)確。采用2D和3D建模對(duì)圖像對(duì)進(jìn)行觀測(cè)，高度信息融合環(huán)境圖像信息，對(duì)環(huán)境的描述更精確。

技術(shù)領(lǐng)域

本發(fā)明涉及無(wú)人機(jī)航拍領(lǐng)域，特別是涉及了一種用于無(wú)人機(jī)的360度立體全景觀測(cè)系統(tǒng)及方法，用于實(shí)現(xiàn)無(wú)人機(jī)的360度立體全景觀測(cè)。

背景技術(shù)

隨著經(jīng)濟(jì)的飛速發(fā)展和社會(huì)的不斷進(jìn)步，無(wú)人機(jī)搭載多種傳感器系統(tǒng)的環(huán)境探測(cè)技術(shù)在許多方面得到廣泛的應(yīng)用。在環(huán)境保護(hù)中的環(huán)境監(jiān)測(cè)方面，無(wú)人機(jī)因其時(shí)效性強(qiáng)，機(jī)動(dòng)性好，巡查范圍廣的特點(diǎn)，可用于大范圍內(nèi)探明環(huán)境情況。在測(cè)繪方面，測(cè)繪無(wú)人機(jī)作為一種低成本、高精度、操作簡(jiǎn)便的遙感影像獲取設(shè)備應(yīng)運(yùn)而生，并在傳統(tǒng)測(cè)繪、數(shù)字城市建設(shè)、地理國(guó)情監(jiān)測(cè)、災(zāi)害應(yīng)急處理等方面取得了很好的效果。

現(xiàn)有無(wú)人機(jī)觀測(cè)系統(tǒng)主要對(duì)俯視地面的場(chǎng)景進(jìn)行拍攝和拼接，系統(tǒng)可以全面觀測(cè)地面場(chǎng)景的狀況，單無(wú)法采集到環(huán)繞無(wú)人機(jī)的圖像和無(wú)人機(jī)上方的圖像，在環(huán)境監(jiān)測(cè)時(shí)，無(wú)法反應(yīng)立體的環(huán)境情況。在飛行高度不高的情況下，難以觀測(cè)全方位的環(huán)境情況。

申請(qǐng)?zhí)枺?01610969823.4本發(fā)明了一種無(wú)人機(jī)全景視覺(jué)跟蹤方法、無(wú)人機(jī)以及控制終端，該方法包括：獲取多個(gè)相機(jī)在同一時(shí)間點(diǎn)拍攝的圖像；拼接該多個(gè)相機(jī)在同一時(shí)間點(diǎn)拍攝的圖像形成全景圖像；將每次拼接的該全景圖像傳送至與無(wú)人機(jī)無(wú)線連接的控制終端。

上述專利中，存在兩個(gè)問(wèn)題：1.相機(jī)均設(shè)置在無(wú)人機(jī)的下方，無(wú)法感知無(wú)人機(jī)平行高度及平行高度以上的圖像信息。其只在俯視平面上具備全景信息，在垂直方向上不具備全景信息。2.圖像信息沒(méi)有與無(wú)人機(jī)高程信息結(jié)合，無(wú)法詳細(xì)探測(cè)實(shí)際環(huán)境中在各個(gè)高程上，實(shí)際環(huán)境中的立體信息。

發(fā)明內(nèi)容

針對(duì)上述問(wèn)題，根據(jù)本發(fā)明的一個(gè)方面，公開了一種用于無(wú)人機(jī)的360度立體全景觀測(cè)系統(tǒng)，包括：觀測(cè)子系統(tǒng)與處理子系統(tǒng)，其中，所述觀測(cè)子系統(tǒng)由觀測(cè)無(wú)人機(jī)下方、觀測(cè)無(wú)人機(jī)上方以及觀測(cè)無(wú)人機(jī)四周的多個(gè)攝像頭組成，所述處理子系統(tǒng)與所述觀測(cè)子系統(tǒng)進(jìn)行通信，所述處理子系統(tǒng)用于對(duì)所述觀測(cè)子系統(tǒng)中多個(gè)攝像頭獲得的圖像進(jìn)行處理。

優(yōu)選的，所述觀測(cè)子系統(tǒng)還包括：用于固定所述多個(gè)攝像頭的結(jié)構(gòu)。

優(yōu)選的，所述處理子系統(tǒng)包括：核心處理器模塊、系統(tǒng)存儲(chǔ)模塊、視頻存儲(chǔ)模塊、圖像數(shù)據(jù)同步模塊以及位置高程感知模塊，其中所述系統(tǒng)存儲(chǔ)模塊、所述視頻存儲(chǔ)模塊、所述圖像數(shù)據(jù)同步模塊以及所述位置高程感知模塊分別與所述核心處理器模塊相連。

更優(yōu)選的，所述核心處理器模塊為，DSP、GPU、FPGA或CPU，用于控制場(chǎng)景圖像數(shù)據(jù)的讀入、圖像拼接、圖像處理與用戶交互。

更優(yōu)選的，所述圖像數(shù)據(jù)同步處理模塊用于多路攝像頭的同步處理，所述位置高程感知模塊，用于獲得系統(tǒng)所在的經(jīng)緯度信息以及高程信息，所述通訊模塊用于和外界進(jìn)行通訊，所述系統(tǒng)存儲(chǔ)模塊與所述視頻存儲(chǔ)模塊分別用于存儲(chǔ)控制程序與合成全景圖像數(shù)據(jù)，其中所述視頻存儲(chǔ)模塊為SD卡或TF卡。

根據(jù)本發(fā)明的另一個(gè)方面，公開了一種使用上述一種用于無(wú)人機(jī)的360度立體全景觀測(cè)系統(tǒng)的方法，其特征在于，包括：

所述觀測(cè)子系統(tǒng)采集圖像數(shù)據(jù)；

所述處理子系統(tǒng)對(duì)所述圖像數(shù)據(jù)進(jìn)行圖像預(yù)處理；

所述處理子系統(tǒng)根據(jù)攝像頭的內(nèi)外參數(shù)據(jù)對(duì)所述預(yù)處理后的圖像數(shù)據(jù)進(jìn)行圖像校正；