[發(fā)明專利]一種細(xì)粒度昆蟲圖像分類方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111395529.4
• 申請(qǐng)日: 2021-11-23
• 公開（公告）號(hào): CN114187183A
• 公開（公告）日: 2022-03-15
• 發(fā)明（設(shè)計(jì)）人: 徐杰;方偉政;李非非;蘇光輝;余飛;楊帆
• 申請(qǐng)（專利權(quán)）人: 成都星億年智慧科技有限公司
• 主分類號(hào): G06T3/60
• 分類號(hào): G06T3/60;G06T7/11;G06T3/40;G06N3/08;G06N3/02;G06K9/62;G06V10/764
• 代理公司: 四川鼎韜律師事務(wù)所 51332
• 代理人: 溫利平

1.一種細(xì)粒度昆蟲圖像分類方法，其特征在于，包括以下步驟：

(1)、圖像采集及預(yù)處理；

采集不同種類昆蟲的不同形態(tài)的細(xì)粒度圖片，經(jīng)過人工篩選方式刪除重復(fù)、模糊、過曝的低質(zhì)量圖片，使剩余的圖片滿足類內(nèi)差異大、類間差異小的特點(diǎn)；

(2)、建立圖片標(biāo)簽；

將每一張圖片打上三層的類別標(biāo)簽，記為(y₁，y₂，y₃)，三層類別標(biāo)簽之間存在樹狀的映射關(guān)系；其中，第一層類別標(biāo)簽y₁表示昆蟲的“目”，第二層類別標(biāo)簽y₂表示同一目下視覺特征相近的昆蟲類別，第三層類別標(biāo)簽y₃表示昆蟲的細(xì)粒度類別；

(3)、圖片增強(qiáng)處理；

(3.1)、圖片縮放：將每一張圖片的長(zhǎng)寬經(jīng)雙線性插值方法采樣至固定像素大小；

(3.2)、圖片隨機(jī)旋轉(zhuǎn)：設(shè)置旋轉(zhuǎn)因子factor；在[-factor，factor]內(nèi)隨機(jī)采樣一個(gè)值作為圖片的旋轉(zhuǎn)角度并控制圖片旋轉(zhuǎn)，其中，當(dāng)旋轉(zhuǎn)角度不為90°或180°時(shí)，利用黑色對(duì)旋轉(zhuǎn)操作時(shí)留下的無像素區(qū)域進(jìn)行填充；

(3.3)、圖片隨機(jī)水平或豎直翻轉(zhuǎn)：設(shè)置概率因子p；在[0，1]內(nèi)隨機(jī)產(chǎn)生一個(gè)概率值，如果概率值小于p，則對(duì)圖片進(jìn)行隨機(jī)水平或豎直翻轉(zhuǎn)操作，否則，圖片不翻轉(zhuǎn)；

(3.4)、圖片隨機(jī)裁剪：先將圖片放大至原始圖片的1.25倍，然后在放大后的圖片中隨機(jī)裁剪一個(gè)大小為網(wǎng)絡(luò)輸入尺寸的區(qū)域；

(3.5)、圖片的顏色抖動(dòng)處理；

(3.5.1)、設(shè)置抖動(dòng)因子Factor；

(3.5.2)、增強(qiáng)圖片的亮度：在max(0，1-Factor)～(1+Factor)之間隨機(jī)產(chǎn)生一個(gè)數(shù)值s作為亮度的縮放因子，再將原始圖片的亮度值bright乘以縮放因子s，得到增強(qiáng)后的亮度值

(3.5.3)、增強(qiáng)圖片的對(duì)比度：在max(0，1-Factor)～(1+Factor)之間隨機(jī)產(chǎn)生一個(gè)數(shù)值s作為對(duì)比度的縮放因子，再將原始圖片的對(duì)比度contrast乘以縮放因子s，得到增強(qiáng)后的對(duì)比度值

(3.5.4)、增強(qiáng)圖片的飽和度：在max(0，1-Factor)～(1+Factor)之間隨機(jī)產(chǎn)生一個(gè)數(shù)值s作為飽和度的縮放因子，再將原始圖片的飽和度saturation乘以縮放因子s，得到增強(qiáng)后的飽和度值

(3.5.5)、通過標(biāo)簽控制增強(qiáng)圖片的色相：初始化一個(gè)類別集合s，當(dāng)一類圖片中含有通過拍攝標(biāo)本采集的圖片時(shí)，將該類別加入集合中。對(duì)圖片進(jìn)行色相增強(qiáng)前，判斷該圖片所屬類別是否屬于集合s，若屬于，則對(duì)圖像做色相增強(qiáng)，若不屬于，則不做增強(qiáng)。色相增強(qiáng)操作為：在max(0，1-Factor)～(1+Factor)之間隨機(jī)產(chǎn)生一個(gè)數(shù)值s作為色相的偏移因子。對(duì)圖片做色相增強(qiáng)前，再將原始圖片的色相值hue按照偏移因子s在色相環(huán)上進(jìn)行偏移操作，得到增強(qiáng)后的色相值

(4)、設(shè)置訓(xùn)練數(shù)據(jù)集，將增強(qiáng)后的圖片及對(duì)應(yīng)的標(biāo)簽設(shè)為訓(xùn)練數(shù)據(jù)集；

(5)、搭建用于昆蟲分類的神經(jīng)網(wǎng)絡(luò)模型；

以現(xiàn)有的resnet50網(wǎng)絡(luò)為基礎(chǔ)模型，Resnet50整個(gè)特征提取部分被劃分為5個(gè)stage，在stage3、stage4、stage5后各自添加一個(gè)通道注意力機(jī)制模塊，通道注意力機(jī)制模塊工作原理如下：每一個(gè)stage的輸出特征I是一個(gè)c×w×h的三維矩陣，矩陣中的每個(gè)元素記為I_i，j，k，其中，i∈[1，c]，j∈[1，w]，k∈[1，h]，c為通道數(shù)，w、h為寬和高；

通道注意力機(jī)制模塊為輸出特征I增加長(zhǎng)度為c的注意力權(quán)重W，得到通道注意力機(jī)制的輸出特征其各個(gè)元素的值記為其中，w_i為權(quán)重系數(shù)；

在經(jīng)過stage5以及通道注意力機(jī)制模塊之后，加入改進(jìn)后的雙線性池化層，具體工作原理如下：將輸出特征展開為長(zhǎng)度為c×(w×h)的二維向量，記為然后對(duì)進(jìn)行雙線性融合，得到最終的輸出特征最后再將輸出特征展開為長(zhǎng)度為c×c的一維向量，記為

(6)、訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型；

將增強(qiáng)后的圖片及對(duì)應(yīng)的標(biāo)簽輸入至神經(jīng)網(wǎng)絡(luò)模型，神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)出輸入圖片中對(duì)應(yīng)昆蟲的類別

(6.1)、在訓(xùn)練數(shù)據(jù)集中，從隨機(jī)挑選b張圖片及對(duì)應(yīng)的標(biāo)簽作為本輪訓(xùn)練的輸入，并輸入至訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型；

(6.2)、通過神經(jīng)網(wǎng)絡(luò)模型提取出b張圖片的輸出特征其中，每張圖片的輸出特征是一個(gè)長(zhǎng)度為c×c的一維向量；

(6.3)、將將每張圖片的輸出特征通過全連接層進(jìn)行降維處理，得到各個(gè)圖片的分類判別結(jié)果p_i，其中，分類判別結(jié)果p_i是一個(gè)一維矩陣，長(zhǎng)度為訓(xùn)練數(shù)據(jù)集中昆蟲種類個(gè)數(shù)M，分類判別結(jié)果中每一項(xiàng)為網(wǎng)絡(luò)判定為對(duì)應(yīng)種類昆蟲的概率，最后將概率最大者作為預(yù)測(cè)結(jié)果，記為并根據(jù)得到對(duì)應(yīng)的

(6.4)、計(jì)算本輪訓(xùn)練完成后的損失函數(shù)值L；

其中，β₁為超參數(shù)，通過幾組對(duì)比實(shí)驗(yàn)取值為0.5，為輸出特征中第三級(jí)標(biāo)簽對(duì)應(yīng)的損失函數(shù)值，為輸出特征中第二級(jí)標(biāo)簽對(duì)應(yīng)的損失函數(shù)值，L_CE為分類判別結(jié)果對(duì)應(yīng)的損失函數(shù)值；

其中，表示在本次訓(xùn)練的b張輸入圖片中，當(dāng)任意兩張圖片i與j的三級(jí)標(biāo)簽相同時(shí)為1，否則為0，Δ為預(yù)設(shè)的閾值；p為輸出特征的維度，p∈[1，c×c]；

其中，λ_i表示第i張輸入圖片所屬類別的圖片個(gè)數(shù)在本輪b張輸入圖片中的占比；y_iτ為判別系數(shù)，當(dāng)?shù)趇張輸入圖片的真實(shí)標(biāo)簽值等于τ時(shí)y_iτ為1，否則為0；p_iτ的值為分類判別結(jié)果p_i中第τ個(gè)元素的值；

(6.5)、本輪訓(xùn)練完成后，通過梯度下降法對(duì)本輪損失函數(shù)值進(jìn)行反向傳播，從而更新網(wǎng)絡(luò)參數(shù)，然后再返回步驟(6.1)進(jìn)行下一輪的訓(xùn)練，直至網(wǎng)絡(luò)收斂，從而得到訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型；

(6)、昆蟲圖片的實(shí)時(shí)分類；

將待檢測(cè)的細(xì)粒度昆蟲圖片，經(jīng)過圖片縮放操作縮放至與訓(xùn)練數(shù)據(jù)相同的尺寸，輸入至訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)，從而直接輸出圖片中昆蟲屬于類別。