[發(fā)明專利]基于部件分割與特征融合的飛行器圖像細(xì)粒度識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010038491.4
• 申請(qǐng)日: 2020-01-14
• 公開（公告）號(hào): CN111274893B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 熊運(yùn)生;牛新;竇勇;姜晶菲;王康;郄航
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍國(guó)防科技大學(xué)
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06V10/80;G06V10/82;G06V20/10;G06N3/04;G06N3/08
• 代理公司: 長(zhǎng)沙中科啟明知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 43226
• 代理人: 匡治兵

1.一種基于部件分割與特征融合的飛行器圖像細(xì)粒度識(shí)別方法，其特征在于包括以下步驟：

第一步，構(gòu)建基于部件分割與特征融合的飛行器遙感圖像細(xì)粒度識(shí)別系統(tǒng)，該系統(tǒng)由關(guān)鍵點(diǎn)檢測(cè)子系統(tǒng)、共享特征抽取器、部件特征生成器、特征融合子系統(tǒng)、損失函數(shù)模塊構(gòu)成；

關(guān)鍵點(diǎn)檢測(cè)子系統(tǒng)與共享特征抽取器、部件特征生成器相連，從數(shù)據(jù)集中讀取飛行器原始遙感圖像，檢測(cè)飛行器原始遙感圖像中的6個(gè)關(guān)鍵點(diǎn)，得到6個(gè)關(guān)鍵點(diǎn)的坐標(biāo)值，將坐標(biāo)值發(fā)送給共享特征抽取器和部件特征生成器；關(guān)鍵點(diǎn)檢測(cè)子系統(tǒng)是一個(gè)神經(jīng)網(wǎng)絡(luò)，對(duì)圖像中的關(guān)鍵點(diǎn)進(jìn)行檢測(cè)，得到關(guān)鍵點(diǎn)的坐標(biāo)；6個(gè)關(guān)鍵點(diǎn)分別為機(jī)頭K1、機(jī)身與左機(jī)翼前緣交匯點(diǎn)K2、機(jī)身與右機(jī)翼前緣交匯點(diǎn)K3、左機(jī)翼遠(yuǎn)端K4、右機(jī)翼遠(yuǎn)端K5、尾翼中點(diǎn)K6；

共享特征抽取器與關(guān)鍵點(diǎn)檢測(cè)子系統(tǒng)、部件特征生成器相連，以飛行器原始遙感圖像以及關(guān)鍵點(diǎn)檢測(cè)子系統(tǒng)輸出的關(guān)鍵點(diǎn)坐標(biāo)作為輸入，對(duì)原始遙感圖像進(jìn)行向上矯正，對(duì)向上矯正后的原始遙感圖像進(jìn)行特征抽取，將抽取得到的特征圖輸出給部件特征生成器；

部件特征生成器與關(guān)鍵點(diǎn)檢測(cè)子系統(tǒng)、共享特征抽取器、特征融合子系統(tǒng)相連，從關(guān)鍵點(diǎn)檢測(cè)子系統(tǒng)接收6個(gè)關(guān)鍵點(diǎn)坐標(biāo)，從共享特征抽取器接收抽取的特征圖，利用6個(gè)關(guān)鍵點(diǎn)坐標(biāo)生成飛行器的四個(gè)部件框，分別為機(jī)身P1、左翼P2、右翼P3和尾翼P4，將四個(gè)部件框映射到抽取得到的特征圖上，獲得飛行器4個(gè)部件對(duì)應(yīng)的特征子圖，分別命名為T1、T2、T3、T4，將T1、T2、T3、T4輸出給特征融合子系統(tǒng)；

特征融合子系統(tǒng)與部件特征生成器、損失函數(shù)模塊相連，特征融合子系統(tǒng)包括4部件特征全連接層即PFC1、PFC2、PFC3、PFC4，一個(gè)聯(lián)合全連接層CFC，一個(gè)全連接層FC，以及一個(gè)Softmax層；PFC1、PFC2、PFC3、PFC4都與CFC相連，PFC1以特征子圖T1作為輸入，PFC2以特征子圖T2作為輸入，PFC3以特征子圖T3作為輸入，PFC4以T4作為輸入，PFC1、PFC2、PFC3、PFC4分別提取T1、T2、T3、T4內(nèi)部特征，獲得具有內(nèi)部特征的4個(gè)特征矢量，分別命名為TE1、TE2、TE3、TE4，將TE1、TE2、TE3、TE4輸出給CFC；CFC與PFC1、PFC2、PFC3、PFC4以及FC層相連，接收TE1、TE2、TE3、TE4，將TE1、TE2、TE3、TE4進(jìn)行疊加，形成新的特征圖TE5；FC層與CFC層及Softmax層相連，從CFC接收TE5，對(duì)TE5進(jìn)行特征融合，生成特征向量V，將生成的特征向量V輸出給Softmax層；Softmax層與CFC相連，從CFC接收融合后的特征向量V，對(duì)特征向量V進(jìn)行概率計(jì)算，得到圖像對(duì)應(yīng)于各種飛行器類別的預(yù)測(cè)概率即預(yù)測(cè)類別概率；在對(duì)基于部件分割與特征融合的飛行器遙感圖像細(xì)粒度識(shí)別系統(tǒng)訓(xùn)練時(shí)將預(yù)測(cè)類別概率發(fā)送給損失函數(shù)模塊，在收到損失函數(shù)模塊發(fā)送的交叉熵?fù)p失值時(shí)采用反向傳播算法對(duì)系統(tǒng)的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整；在實(shí)際識(shí)別時(shí)，選擇預(yù)測(cè)類別概率中的最大值對(duì)應(yīng)的類型作為系統(tǒng)識(shí)別出的飛行器類別；

損失函數(shù)模塊與特征融合子系統(tǒng)相連，在對(duì)基于部件分割與特征融合的飛行器遙感圖像細(xì)粒度識(shí)別系統(tǒng)訓(xùn)練時(shí)從特征融合子系統(tǒng)接收?qǐng)D像的預(yù)測(cè)類別概率，并從數(shù)據(jù)集中獲取原始遙感圖像對(duì)應(yīng)的真實(shí)類別概率，計(jì)算預(yù)測(cè)類別概率和真實(shí)類別概率之間的交叉熵?fù)p失值，將計(jì)算出的交叉熵?fù)p失值返回給特征融合子系統(tǒng)；

第二步，構(gòu)建數(shù)據(jù)集，方法是：

2.1用Google Earth軟件采集一個(gè)包含Q種類型的飛行器遙感圖像數(shù)據(jù)集，每類飛行器采集100張圖像，每張圖像都被縮放到224×224×3的尺寸，尺寸的單位是像素，第一個(gè)數(shù)字代表圖像的長(zhǎng)，第二個(gè)數(shù)字代表圖像的寬，第三個(gè)數(shù)字代表圖像的通道數(shù)；Q為飛行器的類別數(shù)，為正整數(shù)；

2.2對(duì)步驟2.1中采集的飛行器遙感圖像數(shù)據(jù)集進(jìn)行劃分，其中α％的圖片被分作訓(xùn)練集，β％的圖像被作為測(cè)試集，并保證測(cè)試集中的圖像從未在訓(xùn)練集中出現(xiàn)過，其中α+β＝100，且αβ；

2.3對(duì)測(cè)試集和訓(xùn)練集中的每張圖像進(jìn)行數(shù)據(jù)增廣，將圖像每20度進(jìn)行一次旋轉(zhuǎn)形成新的圖像，每一張圖像生成18張?jiān)鰪V圖像，測(cè)試集和訓(xùn)練集共有Q×100×18張圖像；

2.4用數(shù)字0到Q-1作為Q類飛行器的類別編碼，標(biāo)注增廣后的每張圖片的真實(shí)類別概率，并用labelme標(biāo)注每張圖像的6個(gè)真實(shí)關(guān)鍵點(diǎn)；

第三步，訓(xùn)練關(guān)鍵點(diǎn)檢測(cè)子系統(tǒng)；

第四步，將共享特征抽取器、部件特征生成器和特征融合子系統(tǒng)作為一個(gè)整體進(jìn)行訓(xùn)練，方法是：

4.1設(shè)定訓(xùn)練參數(shù)：選擇優(yōu)化算法為Adam優(yōu)化算法，損失函數(shù)為交叉熵即CE loss，訓(xùn)練次數(shù)為140輪，初始化學(xué)習(xí)率為0.001；

4.2初始化訓(xùn)練輪數(shù)變量N＝1；

4.3共享特征抽取器依次從訓(xùn)練集中讀取32張圖片，對(duì)每張圖片進(jìn)行向上矯正；

4.4共享特征抽取器將矯正后的32張圖像作為一個(gè)mini-batch，令這32幅圖像為I₁，…，I_n，…，I₃₂，1≤n≤32；對(duì)每張圖像生成一幅尺寸為56×56×128的特征圖，令這32幅特征圖像為TF₁，…，TF_n，…，TF₃₂；

4.5令變量n＝1；

4.6部件生成器以圖像I_n的6個(gè)真實(shí)關(guān)鍵點(diǎn)坐標(biāo)作為基準(zhǔn)，為圖像I_n生成4個(gè)部件框，方法是：

4.6.1根據(jù)I_n估算飛行器的高度和寬度，計(jì)算出飛行器的尺寸，包括飛行器的最大寬度W_obj、長(zhǎng)度H_obj、飛行器的機(jī)身寬度W_backbone；

4.6.2生成機(jī)身骨干部件框P1，方法是以關(guān)鍵點(diǎn)K1所在位置往上方偏移5個(gè)像素點(diǎn)作為P1的頂邊中點(diǎn)坐標(biāo)，以2*W_backbone為P1的寬度、H_obj為P1的高度生成一個(gè)矩形框；

4.6.3生成尾翼部件框P4，方法是以W_obj/2、H_obj/2作為P4的寬度與高度，以關(guān)鍵點(diǎn)K6的X坐標(biāo)作為P4的X軸中點(diǎn)，以K6的Y坐標(biāo)為基準(zhǔn)，往上H_obj*3/8作為P4上邊界，往下H_obj1/8作為P4的下邊界，生成P4；

4.6.4生成左翼部件框P2，方法是：

4.6.4.1計(jì)算左機(jī)翼夾角：在關(guān)鍵點(diǎn)K2與K4之間作一條連線，命名為L(zhǎng)2，計(jì)算L2與L1之間的夾角θ1，該夾角即為左機(jī)翼夾角；

4.6.4.2當(dāng)左機(jī)翼夾角小于等于60度時(shí)，以K2和K4的連線為對(duì)角線作矩形框，即為左翼部件框P2，轉(zhuǎn)4.6.5；當(dāng)左機(jī)翼夾角大于60度時(shí)，用關(guān)鍵點(diǎn)K2與K4的Y坐標(biāo)之差作為機(jī)翼的高度H_Wing1，以K2的Y坐標(biāo)往上偏移H_Wing1/2生成關(guān)鍵點(diǎn)K2’,以K4的Y坐標(biāo)往下偏移H_Wing1/2生成關(guān)鍵點(diǎn)K4’，以K2’和K4’為對(duì)角線作矩形框，即為P2，轉(zhuǎn)4.6.5；

4.6.5生成右翼部件框P3，方法是：

4.6.5.1計(jì)算右機(jī)翼夾角：在關(guān)鍵點(diǎn)K3與K5之間作一條連線，命名為L(zhǎng)3，計(jì)算L3與L1之間的夾角θ2，該夾角即為右機(jī)翼夾角；

4.6.5.2當(dāng)右機(jī)翼夾角小于等于60度時(shí)，以K3和K5的連線為對(duì)角線作矩形框，即為右翼部件框P3，轉(zhuǎn)4.7；當(dāng)右機(jī)翼夾角大于60度時(shí)，用關(guān)鍵點(diǎn)K3與K5的Y坐標(biāo)之差作為機(jī)翼的高度H_Wing2，以K3的Y坐標(biāo)往上偏移H_Wing2/2生成關(guān)鍵點(diǎn)K3’,以K5的Y坐標(biāo)往下偏移H_Wing2/2生成關(guān)鍵點(diǎn)K5’，以K3’和K5’為對(duì)角線作矩形框，即為P3，轉(zhuǎn)4.7；

4.7將部件框P1、P2、P3、P4的位置按4:1的尺寸比例映射到TF_n上，分割出4個(gè)部件對(duì)應(yīng)的特征子圖P1’、P2’、P3’、P4’，然后將P1’、P2’、P3’、P4’都調(diào)整為尺寸大小7×7×128，生成尺寸相同的特征子圖T1、T2、T3、T4；

4.8 PFC1對(duì)T1進(jìn)一步提取內(nèi)部特征，生成特征圖TE1；同時(shí)PFC2對(duì)T2進(jìn)一步提取內(nèi)部特征，生成特征圖TE2；同時(shí)PFC3對(duì)T3進(jìn)一步提取內(nèi)部特征，生成特征圖TE3；同時(shí)PFC4對(duì)T4進(jìn)一步提取內(nèi)部特征，生成特征圖TE4；E1、TE2、TE3、TE4的尺寸大小都為7×7×128；

4.9聯(lián)合全連接層CFC以TE1、TE2、TE3、TE4為輸入，將尺寸為7×7×128的TE1、TE2、TE3、TE4在第三個(gè)維度即通道上進(jìn)行疊加，形成尺寸為7×7×512的特征圖TE5，然后將TE5輸入全連接層FC；

4.10全連接層FC從CFC層接收特征圖TE5，對(duì)TE5中各像素分別乘以一個(gè)比例因子，實(shí)現(xiàn)特征融合，生成長(zhǎng)度為Q的特征向量V，將V輸出給softmax層；

4.11 softmax層從FC接收特征向量V，對(duì)V進(jìn)行概率計(jì)算，得到圖像對(duì)應(yīng)于各種飛行器各個(gè)類別的預(yù)測(cè)概率即預(yù)測(cè)類別概率，并將預(yù)測(cè)類別概率發(fā)送給損失函數(shù)模塊；計(jì)算方法如下：

4.11.1令變量i＝1；

4.11.2設(shè)V中第i個(gè)值為Vi，則Vi對(duì)應(yīng)的預(yù)測(cè)概率值s_i為：

其中，e是自然常數(shù)；

4.11.3如果iQ,令i＝i+1，轉(zhuǎn)4.11.1；否則，將圖像I_n對(duì)應(yīng)于各種飛行器Q個(gè)類別的預(yù)測(cè)類別概率s₁，…，s_i，…，s_Q發(fā)送給損失函數(shù)模塊，轉(zhuǎn)4.12；

4.12損失函數(shù)模塊從softmax層接收s₁，…，s_i，…，s_Q，并從數(shù)據(jù)集中獲取圖像I_n的真實(shí)類別概率，計(jì)算預(yù)測(cè)類別概率和真實(shí)類別概率之間的交叉熵?fù)p失值L_n，計(jì)算公式如下：

其中，p_i是圖像I_n對(duì)應(yīng)于各種飛行器Q個(gè)類別中第i個(gè)類別的真實(shí)類別概率；

4.13如果n32,令n＝n+1，轉(zhuǎn)4.6；否則，轉(zhuǎn)4.14；

4.14令總的損失函數(shù)值L＝L₁+…+L_n…+L₃₂，然后根據(jù)設(shè)置的學(xué)習(xí)率，用反向傳播算法更新共享特征抽取器、部件特征生成器和特征融合子系統(tǒng)的參數(shù)；

4.15令N＝N+1,如果N≤100，轉(zhuǎn)4.3；如果100N≤120，令學(xué)習(xí)率為0.0001，轉(zhuǎn)4.3；如果120N≤140，令學(xué)習(xí)率為0.00001，轉(zhuǎn)4.3；如果140N，訓(xùn)練完畢；

第五步，利用訓(xùn)練好的飛行器識(shí)別系統(tǒng)對(duì)飛行器圖像進(jìn)行細(xì)粒度識(shí)別，方法是：

5.1從測(cè)試集中任意選取一張圖像進(jìn)行飛行器細(xì)粒度識(shí)別，令選取的圖像為I；

5.2將圖像I輸入關(guān)鍵點(diǎn)檢測(cè)子系統(tǒng)，獲得I中飛行器的6個(gè)關(guān)鍵點(diǎn)K1、K2、K3、K4、K5、K6的坐標(biāo)；

5.3共享特征抽取器從測(cè)試集讀取圖像I，從關(guān)鍵點(diǎn)檢測(cè)子系統(tǒng)接收6個(gè)關(guān)鍵點(diǎn)K1、K2、K3、K4、K5、K6的坐標(biāo)，利用關(guān)鍵點(diǎn)K1和K6將圖像I進(jìn)行向上矯正，然后提取圖像的特征，獲得像素尺寸為56×56×128的特征圖I’；

5.4部件特征生成器從關(guān)鍵點(diǎn)檢測(cè)子系統(tǒng)接收6個(gè)關(guān)鍵點(diǎn)K1、K2、K3、K4、K5、K6的坐標(biāo)，從共享特征抽取器接收特征圖I’，生成4個(gè)飛行器部件框P1、P2、P3、P4；具體步驟如下：

5.4.1計(jì)算飛行器的W_obj、H_obj、W_backbone；

5.4.2生成機(jī)身骨干部件框P1，方法是以關(guān)鍵點(diǎn)K1所在位置往上方偏移5個(gè)像素點(diǎn)作為P1的頂邊中點(diǎn)坐標(biāo)，以2*W_backbone為P1的寬度、H_obj為P1的高度生成一個(gè)矩形框；

5.4.3生成尾翼部件框P4，方法是以W_obj/2、H_obj/2作為P4的寬度與高度，以關(guān)鍵點(diǎn)K6的X坐標(biāo)作為P4的X軸中點(diǎn)，以K6的Y坐標(biāo)為基準(zhǔn)，往上H_obj*3/8作為P4上邊界，往下H_obj1/8作為P4的下邊界，生成P4；

5.4.4生成左翼部件框P2方法是：

5.4.4.1計(jì)算左機(jī)翼夾角：在關(guān)鍵點(diǎn)K2與K4之間作一條連線，命名為L(zhǎng)2，計(jì)算L2與L1之間的夾角θ1，該夾角即為左機(jī)翼夾角；

5.4.4.2當(dāng)左機(jī)翼夾角小于等于60度時(shí)，以K2和K4的連線為對(duì)角線作矩形框，即為左翼部件框P2，轉(zhuǎn)5.4.5；當(dāng)左機(jī)翼夾角大于60度的情況，用關(guān)鍵點(diǎn)K2與K4的Y坐標(biāo)之差作為機(jī)翼的高度H_Wing1，以K2的Y坐標(biāo)往上偏移H_Wing1/2生成關(guān)鍵點(diǎn)K2’,以K4的Y坐標(biāo)往下偏移H_Wing1/2生成關(guān)鍵點(diǎn)K4’，以K2’和K4’為對(duì)角線作矩形框，即為P2，轉(zhuǎn)5.4.5；

5.4.5生成右翼部件框P3，其生成方法按右機(jī)翼夾角分兩種情況進(jìn)行處理，具體方法包括以下步驟：

5.4.5.1計(jì)算右機(jī)翼夾角：在關(guān)鍵點(diǎn)K3與K5之間作一條連線，命名為L(zhǎng)3，計(jì)算L3與L1之間的夾角θ2，該夾角即為右機(jī)翼夾角；

5.4.5.2當(dāng)右機(jī)翼夾角小于等于60度時(shí)，以K3和K5的連線為對(duì)角線作矩形框，即為右機(jī)翼部件框P3，轉(zhuǎn)5.5；當(dāng)右機(jī)翼夾角大于60度時(shí)，用關(guān)鍵點(diǎn)K3與K5的Y坐標(biāo)之差作為機(jī)翼的高度H_Wing2，以K3的Y坐標(biāo)往上偏移H_Wing2/2生成關(guān)鍵點(diǎn)K3’,以K5的Y坐標(biāo)往下偏移H_Wing2/2生成關(guān)鍵點(diǎn)K5’，以K2’和K4’為對(duì)角線作矩形框，即為P3，轉(zhuǎn)5.5；

5.5部件特征生成器將部件框P1、P2、P3、P4的位置映射到步驟5.3生成的特征圖I’上，分割出4個(gè)部件對(duì)應(yīng)的特征子圖T1、T2、T3、T4；

5.6PFC1對(duì)T1進(jìn)一步提取內(nèi)部特征，生成特征圖TE1；同時(shí)PFC2對(duì)T2進(jìn)一步提取內(nèi)部特征，生成特征圖TE2；同時(shí)PFC3對(duì)T3進(jìn)一步提取內(nèi)部特征，生成特征圖TE3；同時(shí)PFC4對(duì)T4進(jìn)一步提取內(nèi)部特征，生成特征圖TE4；

5.7聯(lián)合全連接層CFC以TE1、TE2、TE3、TE4為輸入，將尺寸為7×7×128的TE1、TE2、TE3、TE4在第三個(gè)維度即通道上進(jìn)行疊加，形成尺寸為7×7×512的特征圖TE5，然后將TE5輸入全連接層FC；

5.8全連接層FC從CFC層接收特征圖TE5，對(duì)TE5中各像素分別乘以一個(gè)比例因子，實(shí)現(xiàn)特征融合，生成長(zhǎng)度為Q的特征向量V，將生成的特征向量V輸出給softmax層；

5.9 softmax層從FC接收輸出的特征向量V，對(duì)特征向量V進(jìn)行概率計(jì)算，得到圖像對(duì)應(yīng)于各種飛行器各個(gè)類別的預(yù)測(cè)概率，計(jì)算方法如下：

5.9.1令變量i＝1；

5.9.2設(shè)V中第i個(gè)值為Vi，通過公式四計(jì)算得到Vi對(duì)應(yīng)的預(yù)測(cè)概率s_i；

5.9.3如果iQ,令i＝i+1，轉(zhuǎn)5.9.1；否則，轉(zhuǎn)5.10；

5.10從softmax層輸出的Q個(gè)預(yù)測(cè)概率s₁，…，s_i，…，s_Q中選擇最大概率值，最大概率對(duì)應(yīng)的類型就作為系統(tǒng)識(shí)別出的飛行器類別。