[發(fā)明專利]一種基于關(guān)鍵點(diǎn)以及骨架的飛機(jī)姿態(tài)估計(jì)方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010919546.2
• 申請日: 2020-09-04
• 公開（公告）號(hào): CN112037282B
• 公開（公告）日: 2021-06-15
• 發(fā)明（設(shè)計(jì)）人: 魏振忠;樊潤澤;許庭兵
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06K9/32;G06N3/04
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 劉鳳玲

1.一種基于關(guān)鍵點(diǎn)以及骨架的飛機(jī)姿態(tài)估計(jì)方法，其特征在于，包括：

獲取數(shù)據(jù)集；所述數(shù)據(jù)集包括：真實(shí)數(shù)據(jù)集以及虛擬數(shù)據(jù)集；所述真實(shí)數(shù)據(jù)集包括：在不同姿態(tài)、光照、背景、天氣條件下的飛機(jī)飛行圖像及對應(yīng)的標(biāo)注數(shù)據(jù)；所述虛擬數(shù)據(jù)集包括：通過OpenGL渲染得到虛擬圖像以及通過算法計(jì)算得到的標(biāo)注數(shù)據(jù)；所述標(biāo)注數(shù)據(jù)包括：相機(jī)的焦距、像元大小、飛機(jī)的二維檢測框、飛機(jī)相對于相機(jī)的姿態(tài)、飛機(jī)三維檢測框在圖像上投影點(diǎn)坐標(biāo)、飛機(jī)關(guān)鍵點(diǎn)在圖像上投影點(diǎn)坐標(biāo)以及飛機(jī)骨架在圖像上投影位置；

根據(jù)所述數(shù)據(jù)集訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)；所述卷積神經(jīng)網(wǎng)絡(luò)以單幅RGB圖像為輸入，以位置概率分布圖為輸出；所述位置概率分布圖包括：骨架位置概率分布圖和關(guān)鍵點(diǎn)位置概率分布圖；

根據(jù)所述位置概率分布圖確定關(guān)鍵點(diǎn)位置、關(guān)鍵點(diǎn)置信概率、骨架位置以及骨架置信概率；

所述根據(jù)所述位置概率分布圖確定關(guān)鍵點(diǎn)位置、關(guān)鍵點(diǎn)置信概率、骨架位置以及骨架置信概率，具體包括：

遍歷所述關(guān)鍵點(diǎn)位置概率分布圖，將最大概率值的位置確定為所述關(guān)鍵點(diǎn)位置；

將所述最大概率值確定為所述關(guān)鍵點(diǎn)置信概率；

遍歷所述骨架位置概率分布圖，將概率值大于設(shè)定閾值的位置確定為骨架待選位置；

根據(jù)所述骨架待選位置，采用最小二乘法進(jìn)行擬合，確定所述骨架位置；

將所述骨架待選位置到所述骨架位置的平均距離的倒數(shù)作為所述骨架置信概率；

根據(jù)所述關(guān)鍵點(diǎn)位置、所述關(guān)鍵點(diǎn)置信概率、所述骨架位置以及所述骨架置信概率，采用姿態(tài)求解算法確定飛機(jī)姿態(tài)；

所述根據(jù)所述關(guān)鍵點(diǎn)位置、所述關(guān)鍵點(diǎn)置信概率、所述骨架位置以及所述骨架置信概率，采用姿態(tài)求解算法確定飛機(jī)姿態(tài)，具體包括：

根據(jù)所述關(guān)鍵點(diǎn)置信概率和所述關(guān)鍵點(diǎn)位置以及關(guān)鍵點(diǎn)的相機(jī)成像模型，計(jì)算關(guān)鍵點(diǎn)位置以及重投影點(diǎn)位置誤差；

根據(jù)所述關(guān)鍵點(diǎn)位置以及重投影點(diǎn)位置誤差構(gòu)建關(guān)鍵點(diǎn)損失函數(shù)；

根據(jù)所述骨架位置以及所述骨架置信概率以及骨架的相機(jī)成像模型，計(jì)算骨架以及重投影骨架位置誤差；

根據(jù)所述骨架以及重投影骨架位置誤差構(gòu)建骨架損失函數(shù)；

根據(jù)所述關(guān)鍵點(diǎn)損失函數(shù)和所述骨架損失函數(shù)確定姿態(tài)優(yōu)化函數(shù)；

采用姿態(tài)求解算法對姿態(tài)優(yōu)化函數(shù)進(jìn)行求解，確定所述飛機(jī)姿態(tài)。

2.根據(jù)權(quán)利要求1所述的一種基于關(guān)鍵點(diǎn)以及骨架的飛機(jī)姿態(tài)估計(jì)方法，其特征在于，所述根據(jù)所述數(shù)據(jù)集訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，具體包括：

利用所述數(shù)據(jù)集，采用隨機(jī)梯度下降算法對所述卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

3.根據(jù)權(quán)利要求1所述的一種基于關(guān)鍵點(diǎn)以及骨架的飛機(jī)姿態(tài)估計(jì)方法，其特征在于，所述根據(jù)所述位置概率分布圖確定關(guān)鍵點(diǎn)位置、關(guān)鍵點(diǎn)置信概率、骨架位置以及骨架置信概率，之前還包括：

通過檢測網(wǎng)絡(luò)YOLO V3檢測圖像中的飛機(jī)目標(biāo)區(qū)域。