[發(fā)明專利]一種基于球面成像的多無(wú)人機(jī)自組群互感理解方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911409374.8
• 申請(qǐng)日: 2019-12-31
• 公開(kāi)（公告）號(hào): CN111176309B
• 公開(kāi)（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 楊成偉;李杰;劉暢;王子泉;楊宇;李娟;熊婧;唐水源;王守猛
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué);北京大翔航空科技有限公司
• 主分類號(hào): G05D1/08
• 分類號(hào): G05D1/08;G05D1/10;G05D1/12
• 代理公司: 北京邦創(chuàng)至誠(chéng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11717
• 代理人: 張希宇

1.一種基于球面成像的多無(wú)人機(jī)自組群互感理解方法，其特征在于，包括：在無(wú)人機(jī)群失去通信聯(lián)絡(luò)的條件下，每架無(wú)人機(jī)仍然保留先前的分組信息、任務(wù)信息以及組內(nèi)各無(wú)人機(jī)初始位姿；每架無(wú)人機(jī)利用球面復(fù)眼成像信息，從眾多的相似目標(biāo)中，將本組內(nèi)的領(lǐng)航機(jī)和跟隨機(jī)檢測(cè)出來(lái)，并對(duì)組內(nèi)各友機(jī)目標(biāo)進(jìn)行持續(xù)跟蹤，同時(shí)得到各友機(jī)的位置和姿態(tài)估計(jì)結(jié)果；

所述每架無(wú)人機(jī)利用球面復(fù)眼成像信息，從眾多的相似目標(biāo)中，將本組內(nèi)的領(lǐng)航機(jī)和跟隨機(jī)檢測(cè)出來(lái)，并對(duì)組內(nèi)各友機(jī)目標(biāo)進(jìn)行持續(xù)跟蹤，同時(shí)得到各友機(jī)的位置和姿態(tài)估計(jì)結(jié)果包括采用如下方法：

S1、球面復(fù)眼成像友機(jī)目標(biāo)檢測(cè)、跟蹤與位姿估計(jì)；

S2、面向群體行為互感自洽的深度學(xué)習(xí)理解與預(yù)測(cè)；

所述球面復(fù)眼成像友機(jī)目標(biāo)檢測(cè)、跟蹤與位姿估計(jì)包括如下方法：

通過(guò)研究一種面向搭載球面復(fù)眼相機(jī)無(wú)人機(jī)組群任務(wù)的球面卷積神經(jīng)網(wǎng)絡(luò)以促使多種球面投影計(jì)算機(jī)視覺(jué)任務(wù)的完成，以球面成像的卷積神經(jīng)元轉(zhuǎn)換網(wǎng)絡(luò)為依托，與若干透視投影成像領(lǐng)域的優(yōu)勢(shì)網(wǎng)絡(luò)結(jié)合，形成相應(yīng)的球面成像圖像增強(qiáng)、目標(biāo)檢測(cè)、目標(biāo)跟蹤、位姿估計(jì)卷積神經(jīng)網(wǎng)絡(luò)；

其中，球面成像的卷積神經(jīng)元轉(zhuǎn)換網(wǎng)絡(luò)用于將普通透視投影成像的卷積神經(jīng)元轉(zhuǎn)換為球面投影成像的卷積神經(jīng)元，在計(jì)算卷積計(jì)算時(shí)，通過(guò)卷積神經(jīng)元的替換，實(shí)現(xiàn)卷積神經(jīng)元轉(zhuǎn)換：

式中，K為卷積神經(jīng)元，I為特征圖，x和y分別為當(dāng)前輸入圖像中像素點(diǎn)的橫縱坐標(biāo)，i和j分別為卷積神經(jīng)元中卷積核的橫縱坐標(biāo)；

其中，球面成像圖像增強(qiáng)擬與深度圖像先驗(yàn)方法結(jié)合，從噪聲球面圖像開(kāi)始，訓(xùn)練一個(gè)生成網(wǎng)絡(luò)，目標(biāo)是擬合一個(gè)低質(zhì)量的球面圖像，將該生成網(wǎng)絡(luò)中間結(jié)果輸出，即可得到增強(qiáng)后的球面圖像；球面成像目標(biāo)檢測(cè)擬與YOLOV3結(jié)合，目的是在球面成像中實(shí)時(shí)檢測(cè)多架無(wú)人機(jī)，初始時(shí)能結(jié)合組內(nèi)無(wú)人機(jī)初始位姿進(jìn)行檢測(cè)位置估計(jì)；球面成像目標(biāo)跟蹤與Real-time MDNet結(jié)合，目的是在球面成像中實(shí)時(shí)持續(xù)跟蹤多架無(wú)人機(jī)；球面成像位姿估計(jì)與Convolutional Pose Machine結(jié)合，同時(shí)聯(lián)合復(fù)眼定位和無(wú)人機(jī)動(dòng)力學(xué)方程，精確估計(jì)球面成像中各無(wú)人機(jī)的位姿。

2.根據(jù)權(quán)利要求1所述的基于球面成像的多無(wú)人機(jī)自組群互感理解方法，其特征在于，在位姿估計(jì)時(shí)，采用無(wú)人機(jī)動(dòng)力學(xué)方程將為位姿估計(jì)提供約束條件和數(shù)據(jù)支撐，假設(shè)不考慮地球曲率和自轉(zhuǎn)以及無(wú)人機(jī)的彈性變形和質(zhì)量變化，根據(jù)飛行力學(xué)中歐美體制規(guī)范，在機(jī)體坐標(biāo)系下建立無(wú)人機(jī)飛行動(dòng)力學(xué)方程如下：

無(wú)人機(jī)運(yùn)動(dòng)學(xué)方程組為：

式中，[u，v，w]^T為無(wú)人機(jī)速度分量；為機(jī)體姿態(tài)角；[p，q，r]^T為角速度；[x_g，y_g，h]^T為飛機(jī)在地面坐標(biāo)系下的坐標(biāo)；[F_x，F(xiàn)_y，F(xiàn)_z]^T為氣動(dòng)合力分量；[M_x，M_y，M_z]^T為氣動(dòng)合力矩分量；ω^*為角速度修正量；I為單位矩陣；m為無(wú)人機(jī)質(zhì)量；g為重力加速度。

3.根據(jù)權(quán)利要求1所述的基于球面成像的多無(wú)人機(jī)自組群互感理解方法，其特征在于，所述球面復(fù)眼成像友機(jī)目標(biāo)檢測(cè)、跟蹤與位姿估計(jì)還包括球面成像的訓(xùn)練數(shù)據(jù)集構(gòu)建方法：

采用真實(shí)數(shù)據(jù)與虛擬數(shù)據(jù)結(jié)合的混合形式，并研究半監(jiān)督訓(xùn)練方法，以支持真實(shí)數(shù)據(jù)與虛擬數(shù)據(jù)的混合訓(xùn)練，包括采用三種數(shù)據(jù)訓(xùn)練球面卷積神經(jīng)網(wǎng)絡(luò)：

第一種，在訓(xùn)練球面卷積神經(jīng)網(wǎng)絡(luò)時(shí)，獲取真實(shí)全景背景視頻與真實(shí)無(wú)人機(jī)群采集的數(shù)據(jù)以訓(xùn)練球面卷積神經(jīng)網(wǎng)絡(luò)，其中，第一種數(shù)據(jù)的數(shù)量在三種數(shù)據(jù)中最少；

第二種，在訓(xùn)練球面卷積神經(jīng)網(wǎng)絡(luò)時(shí)，獲取真實(shí)全景背景視頻與虛擬無(wú)人機(jī)群構(gòu)成的混合現(xiàn)實(shí)視頻所提供的數(shù)據(jù)，第二種數(shù)據(jù)的數(shù)量在三種數(shù)據(jù)中較多，以自動(dòng)獲得無(wú)人機(jī)位置、速度、姿態(tài)的標(biāo)簽；

第三種，在訓(xùn)練球面卷積神經(jīng)網(wǎng)絡(luò)時(shí)，虛擬全景背景視頻與虛擬無(wú)人機(jī)群構(gòu)成的純虛擬帶標(biāo)簽的數(shù)據(jù)，第三種數(shù)據(jù)的數(shù)量在三種數(shù)據(jù)中最多，作為訓(xùn)練球面卷積神經(jīng)網(wǎng)絡(luò)的重要補(bǔ)充；

通過(guò)上述三種數(shù)據(jù)訓(xùn)練出來(lái)的球面卷積神經(jīng)網(wǎng)絡(luò)將采用多項(xiàng)認(rèn)證與聯(lián)合優(yōu)化的方式進(jìn)行訓(xùn)練。