[發(fā)明專利]一種基于視覺的固定翼飛行器飛行趨勢(shì)判斷方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011326682.7
• 申請(qǐng)日: 2020-11-24
• 公開（公告）號(hào): CN112597799B
• 公開（公告）日: 2022-09-27
• 發(fā)明（設(shè)計(jì)）人: 楊宇;張晟;李杰;楊成偉;劉暢;王振北
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類號(hào): G06V20/13
• 分類號(hào): G06V20/13;G06V10/77;G06V10/82;G06N3/04;G06N3/08;G06T7/60;G06T7/73
• 代理公司: 北京理工大學(xué)專利中心 11120
• 代理人: 代麗;郭德忠

1.一種基于視覺的固定翼飛行器飛行趨勢(shì)判斷方法，其特征在于，包括如下步驟：

S1、基于深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)和相對(duì)姿態(tài)判斷；

其中，在制作數(shù)據(jù)集時(shí)，采用幀對(duì)齊的方式，將每幀圖像與歐拉角數(shù)據(jù)對(duì)齊，并將獲得的相對(duì)歐拉角轉(zhuǎn)換為深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練集的標(biāo)簽；

S2、基于先驗(yàn)知識(shí)進(jìn)行目標(biāo)邊緣點(diǎn)提取；

S3、基于已知尺寸進(jìn)行目標(biāo)測(cè)距，對(duì)組內(nèi)合作單位目標(biāo)進(jìn)行持續(xù)跟蹤，獲得各友方無人機(jī)的相對(duì)距離信息，從而對(duì)合作單位的飛行趨勢(shì)進(jìn)行判斷；

另外，在編隊(duì)無人機(jī)失去通訊的條件下，每架無人機(jī)僅通過自身位姿信息和相機(jī)捕捉的視覺信息對(duì)編隊(duì)中其他合作單位的相對(duì)位姿進(jìn)行判斷；具體地，S3中所述基于先驗(yàn)知識(shí)的目標(biāo)測(cè)距通過如下步驟實(shí)現(xiàn)：

通過獲得到合作單位目標(biāo)的特征像素尺寸后，根據(jù)相機(jī)成像原理進(jìn)行目標(biāo)無人機(jī)的測(cè)距：當(dāng)檢測(cè)出的相對(duì)姿態(tài)為左或右側(cè)時(shí)，帶入公式：

其中，D為測(cè)出距離，H為目標(biāo)無人機(jī)機(jī)身高，f_y是圖像在垂直方向上的像素焦距，b_h為目標(biāo)無人機(jī)身高像素尺寸；

其余姿態(tài)公式為：

其中，W為目標(biāo)無人機(jī)主翼翼展，f_x是圖像在水平方向上的像素焦距，b_w為目標(biāo)無人機(jī)主翼翼展像素尺寸；

在測(cè)出D后，根據(jù)姿態(tài)不同將目標(biāo)無人機(jī)的在設(shè)相機(jī)光心在像素坐標(biāo)系中的坐標(biāo)為(C_x,C_y)，根據(jù)相機(jī)成像的原理，得到公式：

其中，(u，v)為目標(biāo)無人機(jī)中心點(diǎn)在像素坐標(biāo)系中的坐標(biāo)； (X，Y，Z)^T為目標(biāo)無人機(jī)在相機(jī)坐標(biāo)系中的坐標(biāo)，從而計(jì)算得到無人機(jī)相對(duì)于相機(jī)兩個(gè)光軸的角度θ₁和θ₂：

θ₁和θ₂即為無人機(jī)B相對(duì)無人機(jī)A的兩個(gè)角度；

根據(jù)θ₁和θ₂以及計(jì)算得到的(X，Y，Z)^T，初步實(shí)現(xiàn)對(duì)無人機(jī)的定位，并將其轉(zhuǎn)化到世界坐標(biāo)系中。

2.如權(quán)利要求1所述的基于視覺的固定翼飛行器飛行趨勢(shì)判斷方法，其特征在于，具體地，S1中所述目標(biāo)檢測(cè)和相對(duì)姿態(tài)判斷包括如下步驟：

制作數(shù)據(jù)集：設(shè)定觀測(cè)無人機(jī)為無人機(jī)A，被測(cè)無人機(jī)為無人機(jī)B，得到相應(yīng)的旋轉(zhuǎn)矩陣：

求得無人機(jī)B在無人機(jī)A參考坐標(biāo)系下的旋轉(zhuǎn)矩陣R：

設(shè)旋轉(zhuǎn)矩陣為：

其中，α、β和γ分別對(duì)應(yīng)無人機(jī)B在以無人機(jī)A為參考坐標(biāo)系下的滾轉(zhuǎn)角、俯仰角和偏航角；求解無人機(jī)B在以無人機(jī)A為參考坐標(biāo)系下的姿態(tài)角為：

θ_pitch＝β＝arcsin(-r₁₃)

設(shè)定來區(qū)分飛行器此刻是正常顛簸還是運(yùn)動(dòng)姿態(tài)正在發(fā)生變化的一個(gè)相應(yīng)的閾值；將數(shù)據(jù)集中的數(shù)據(jù)分為左上、上、右上、左、前、右、左下、下和右下9種不同的姿態(tài)。

3.如權(quán)利要求1所述的基于視覺的固定翼飛行器飛行趨勢(shì)判斷方法，其特征在于，具體地，S2中所述基于先驗(yàn)知識(shí)的邊緣點(diǎn)提取方法通過如下步驟實(shí)現(xiàn)：

通過深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn)目標(biāo)檢測(cè)后，將目標(biāo)邊界框提取出來，并將邊界框中目標(biāo)圖像經(jīng)過二維高斯濾波處理，具體公式如下：

式中，K為處理后的像素值，σ為方差；

在之后使用Canny算子和Sobel差分算子得到圖像中梯度的幅值方向，從而得到目標(biāo)的邊緣點(diǎn)，邊緣點(diǎn)提取公式如下：

θ＝atan2(G_y,G_x)

式中，G_x和G_y代表Sobel算子提取的差分，θ為梯度方向；

在獲取經(jīng)過高斯濾波銳化后的目標(biāo)邊緣點(diǎn)后進(jìn)行主成分分析后得到機(jī)體軸，根據(jù)機(jī)體軸的方向提取圖像中無人機(jī)前翼所占的像素值；當(dāng)圖像中為無人機(jī)側(cè)面投影時(shí)，獲得無人機(jī)的機(jī)身長(zhǎng)度和機(jī)身高度。