[發(fā)明專利]基于多無人機(jī)和機(jī)器視覺的云觀測系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202011261879.7
• 申請日: 2020-11-12
• 公開（公告）號: CN112347956B
• 公開（公告）日: 2022-05-06
• 發(fā)明（設(shè)計(jì)）人: 馬建;曾錚;魏照宇;周磊;張寅丁
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: G06V20/17
• 分類號: G06V20/17;G06V10/74;G06V20/10;G06T7/11;G06T7/136;G06T7/20;G06T7/70;G06T17/00
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

1.一種基于多無人機(jī)和機(jī)器視覺的云觀測系統(tǒng)，其特征在于，包括：

觀測單元：至少兩臺無人機(jī)協(xié)同注視云團(tuán)拍攝視頻，得到至少兩組從不同視角同時(shí)觀測的圖像，能夠使用對比度最強(qiáng)的紅光通道進(jìn)行圖像匹配；

定位航姿單元：觀測單元匹配圖像精準(zhǔn)定位云微團(tuán)的同時(shí)，定姿單元精確獲知和控制無人機(jī)搭載攝像頭的間距與姿態(tài)角度；

視覺圖像匹配單元：之后利用觀測單元獲得的無人機(jī)拍攝的云團(tuán)形態(tài)與其他無人機(jī)拍攝的紅光圖像作多區(qū)域空間相關(guān)系數(shù)，尋找像素級別的最高相關(guān)點(diǎn)來匹配；將所有無人機(jī)中已經(jīng)找到的匹配點(diǎn)，分別再度向?qū)?yīng)的下一個(gè)時(shí)刻T_i+1匹配，至少匹配一次，匹配到像素級別的最高相關(guān)點(diǎn)之后得到相鄰至少兩個(gè)時(shí)間點(diǎn)同一云微團(tuán)的所在像素位置，然后在這個(gè)時(shí)刻T_i+1重新開始，進(jìn)行到再下一個(gè)時(shí)刻T_i+2，得到每臺無人機(jī)的至少兩條平行的時(shí)間序列；

云體三維風(fēng)速場重建單元：利用同一時(shí)刻同一云團(tuán)在多無人機(jī)的像素位置，以及定位航姿單元獲得的無人機(jī)在此時(shí)刻的參數(shù)，運(yùn)用三維多視圖射影幾何算法重建云微團(tuán)的三維位置；

所述云體三維風(fēng)速場重建單元運(yùn)用三維多視圖射影幾何算法重建云微團(tuán)的三維位置，得到了至少兩條平行錯(cuò)開的云空間坐標(biāo)的時(shí)間序列，再利用至少兩條平行錯(cuò)開的空間坐標(biāo)的時(shí)間序列得到三維風(fēng)速場。

2.根據(jù)權(quán)利要求1所述的基于多無人機(jī)和機(jī)器視覺的云觀測系統(tǒng)，其特征在于，所述觀測單元在觀測地點(diǎn)附近，多無人機(jī)在相近位置升空至指定高度和指定基線距離，對云團(tuán)進(jìn)行持續(xù)跟蹤觀測。

3.根據(jù)權(quán)利要求1所述的基于多無人機(jī)和機(jī)器視覺的云觀測系統(tǒng)，其特征在于，所述觀測單元在上升到指定高度后，長機(jī)尋找最佳云量的俯仰角和航向角，僚機(jī)根據(jù)長機(jī)判斷的方向，自動轉(zhuǎn)到相同姿態(tài)角。

4.根據(jù)權(quán)利要求1所述的基于多無人機(jī)和機(jī)器視覺的云觀測系統(tǒng)，其特征在于，所述定姿單元結(jié)合無人機(jī)采用ADS 輔助的 SINS/GPS 松組合導(dǎo)航算法為后臺進(jìn)行的圖像匹配和三維重建算法的精確輸出奠定參數(shù)基礎(chǔ)。

5.根據(jù)權(quán)利要求1所述的基于多無人機(jī)和機(jī)器視覺的云觀測系統(tǒng)，其特征在于，所述視覺圖像匹配單元在任意時(shí)刻T_i，選取一無人機(jī)拍攝的紅光圖像，通過計(jì)算分區(qū)標(biāo)準(zhǔn)差大于設(shè)定閾值識別有云區(qū)域，把有云區(qū)域中云的形態(tài)與其他無人機(jī)拍攝的紅光圖像作多區(qū)域空間相關(guān)系數(shù)，尋找像素級別的最高相關(guān)點(diǎn)來匹配觀測區(qū)域。

6.根據(jù)權(quán)利要求1所述的基于多無人機(jī)和機(jī)器視覺的云觀測系統(tǒng)，其特征在于，得到至少兩條平行錯(cuò)開的云空間坐標(biāo)的時(shí)間序列后用時(shí)間步滯后的序列減去前一個(gè)，再除以取樣間隔，就得到了拉格朗日差分云團(tuán)邊界三維風(fēng)速的時(shí)間序列。

7.一種基于多無人機(jī)和機(jī)器視覺的云觀測方法，其特征在于，包括如下步驟：

觀測步驟：使用至少兩臺無人機(jī)協(xié)同主視云團(tuán)拍攝視頻，使用對比度最強(qiáng)的紅光通道進(jìn)行圖像匹配，匹配圖像精準(zhǔn)定位云微團(tuán)，實(shí)現(xiàn)三維信息重建以及云動力過程的反演；

拍攝持續(xù)定姿步驟：將定姿單元結(jié)合無人機(jī)平臺采用 ADS 輔助的 SINS/GPS 松組合的導(dǎo)航算法，精確和穩(wěn)定地控制無人機(jī)搭載攝像頭的間距和姿態(tài)，為后臺進(jìn)行的圖像匹配和三維重建算法的精確輸出奠定參數(shù)基礎(chǔ)；

視覺圖像匹配步驟：利用觀測單元獲得的無人機(jī)拍攝的云團(tuán)形態(tài)與其他無人機(jī)拍攝的紅光圖像作多區(qū)域空間相關(guān)系數(shù)，尋找像素級別的最高相關(guān)點(diǎn)來匹配；將所有無人機(jī)中已經(jīng)找到的匹配點(diǎn)，分別再度向?qū)?yīng)的下一個(gè)時(shí)刻Ti+1匹配，至少匹配一次，匹配到像素級別的最高相關(guān)點(diǎn)之后得到相鄰至少兩個(gè)時(shí)間點(diǎn)同一云微團(tuán)的所在像素位置，然后在這個(gè)時(shí)刻Ti+1重新開始，進(jìn)行到再下一個(gè)時(shí)刻Ti+2，得到每臺無人機(jī)的至少兩條平行的時(shí)間序列；

云體三維風(fēng)速場重建步驟：利用同一時(shí)刻同一云團(tuán)在多無人機(jī)的像素位置，以及無人機(jī)在此時(shí)刻的定位航姿參數(shù)，運(yùn)用三維多視圖射影幾何算法重建云微團(tuán)的三維位置，再利用至少兩條平行錯(cuò)開的云空間坐標(biāo)的時(shí)間序列得到三維風(fēng)速場；

所述云體三維風(fēng)速場重建步驟運(yùn)用三維多視圖射影幾何算法重建云微團(tuán)的三維位置，得到了至少兩條平行錯(cuò)開的云空間坐標(biāo)的時(shí)間序列，再利用至少兩條平行錯(cuò)開的空間坐標(biāo)的時(shí)間序列得到三維風(fēng)速場。