[發(fā)明專利]一種多尺度反卷積網(wǎng)絡(luò)實(shí)現(xiàn)植物葉部病斑分割與識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011047680.4
• 申請(qǐng)日: 2020-09-29
• 公開（公告）號(hào): CN112183635A
• 公開（公告）日: 2021-01-05
• 發(fā)明（設(shè)計(jì)）人: 顧興健;朱劍峰;任守綱;徐煥良;李慶鐵;薛衛(wèi)
• 申請(qǐng)（專利權(quán)）人: 南京農(nóng)業(yè)大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/06;G06T3/40;G06T7/11
• 代理公司: 南京天華專利代理有限責(zé)任公司 32218
• 代理人: 莫英妍;徐冬濤

1.一種多尺度反卷積網(wǎng)絡(luò)實(shí)現(xiàn)植物葉部病斑分割與識(shí)別方法，其特征在于，包括以下步驟：

步驟1：利用多尺度殘差塊構(gòu)建多尺度特征提取模塊，獲取病害圖像的高級(jí)語義特征圖；

步驟2：構(gòu)建分類與橋接模塊：首先將高級(jí)語義特征圖送入全連接層進(jìn)行計(jì)算，得到的神經(jīng)元包含判定圖像類別的關(guān)鍵特征，利用交叉熵?fù)p失函數(shù)計(jì)算病害圖像分類損失，并訓(xùn)練SoftMax分類器，獲取正確的類別概率分布，并輸出病害類別預(yù)測，更新網(wǎng)絡(luò)參數(shù)；然后對(duì)神經(jīng)元進(jìn)行線性變換，得到特定病害類別的激活圖，所述激活圖包含特定類別病斑區(qū)域；

步驟3：對(duì)特定病害類別的激活圖進(jìn)行上采樣，獲得預(yù)測的病斑分割圖像；

步驟4：對(duì)于每個(gè)病害類別，選取若干張圖像進(jìn)行像素級(jí)標(biāo)記，計(jì)算每個(gè)像素點(diǎn)的二分類交叉熵?fù)p失，使用模型損失函數(shù)共同優(yōu)化分類損失和分割損失，更新網(wǎng)絡(luò)參數(shù)；

步驟5：每個(gè)epoch訓(xùn)練結(jié)束后，記錄訓(xùn)練準(zhǔn)確率和平均損失；用訓(xùn)練后的模型對(duì)所有測試樣本進(jìn)行預(yù)測，記錄測試準(zhǔn)確率和平均損失；選擇在測試集上病害識(shí)別損失最小的權(quán)重，作為最終的植物葉部病斑分割與識(shí)別模型。

2.根據(jù)權(quán)利要求1所述的多尺度反卷積網(wǎng)絡(luò)實(shí)現(xiàn)植物葉部病斑分割與識(shí)別方法，其特征在于，步驟1中獲取病害圖像的高級(jí)語義特征圖的步驟具體包括：

將ResNet-50的特征提取部分作為多尺度特征提取模塊的基本骨架，將ResNet-50中的殘差塊替換為多尺度殘差塊，構(gòu)建多尺度特征提取模塊；

其中，多尺度殘差塊的結(jié)構(gòu)為：輸入的特征圖經(jīng)過1×1卷積層得到特征圖x，將它按通道數(shù)平均分成s份，得到特征子圖x_i(i＝1,2,3...s)，其中s的值設(shè)置為4；x₁直接輸出，其余特征子圖分別對(duì)應(yīng)著3×3的卷積運(yùn)算k_i，x_i與經(jīng)過k_i-1運(yùn)算得到的特征圖相加后，輸入到k_i中，y_i是特征子圖x_i對(duì)應(yīng)的輸出，高級(jí)語義特征圖的計(jì)算寫為：

其中，每個(gè)3×3的卷積運(yùn)算k_i都可能直接接收特征子圖x_i；每經(jīng)過k_i運(yùn)算，特征子圖的感受野都有增加的可能性，這種類殘差式的多卷積組合結(jié)構(gòu)使得同一特征層可以自由組合不同尺寸的感受野，最后使用1×1的卷積層將特征子圖的輸出合并為同一個(gè)張量繼續(xù)向下傳遞。

3.根據(jù)權(quán)利要求1或2所述的多尺度反卷積網(wǎng)絡(luò)實(shí)現(xiàn)植物葉部病斑分割與識(shí)別方法，其特征在于，步驟2獲取特定病害類別的激活圖的步驟具體包括：

步驟2-1：采用全連接層將多尺度特征提取模塊獲得的高級(jí)語義特征圖y_i映射為類別向量采用softmax分類器將類別向量映射到[0,1]之間，采用交叉熵?fù)p失函數(shù)計(jì)算病害圖像分類損失為：

其中，表示第i個(gè)訓(xùn)練樣本預(yù)測為第j個(gè)類別的概率值，表示第i個(gè)訓(xùn)練樣本標(biāo)注的真實(shí)病害類別，c為病害類別總數(shù)，N為訓(xùn)練樣本總數(shù)；

步驟2-2：將類別向量經(jīng)過反向全連接的線性變換映射為高維特征向量，并重塑為特征圖形式F＝(H,W,C)，其中H和W是特征圖的高度和寬度，C為特征圖通道數(shù)；為防止特征丟失，將反向全連接前后的特征向量和特征圖對(duì)應(yīng)相加，通過向量加法進(jìn)行特征融合，獲得特定病害類別的激活圖。

4.根據(jù)權(quán)利要求1所述的多尺度反卷積網(wǎng)絡(luò)實(shí)現(xiàn)植物葉部病斑分割與識(shí)別方法，其特征在于，步驟3對(duì)特定病害類別的激活圖進(jìn)行上采樣的步驟具體包括：

采用上采樣率為2的最近鄰插值法與卷積操作相結(jié)合進(jìn)行反卷積，對(duì)多尺度特征提取模塊中對(duì)應(yīng)大小的特征圖采用跳躍連接操作進(jìn)行向量拼接，將特定病害類別的激活圖經(jīng)過上采樣逐步恢復(fù)至原始圖像分辨率大小，最后采用Sigmoid函數(shù)將其映射到(0,1)之間，設(shè)置閾值為0.5、灰度值大于0.5的像素為病斑像素，得到預(yù)測的病斑分割圖像。

5.根據(jù)權(quán)利要求1所述的多尺度反卷積網(wǎng)絡(luò)的植物葉部病斑分割與識(shí)別方法，其特征在于，步驟4計(jì)算二分類交叉熵?fù)p失和模型損失函數(shù)的步驟具體包括：

步驟4-1：計(jì)算預(yù)測的病斑分割圖像與病斑像素級(jí)標(biāo)注圖像的交叉熵值，可以評(píng)定分割模型的訓(xùn)練效果，二分類交叉熵?fù)p失為:

其中，N為圖像包含的總像素個(gè)數(shù),為第i個(gè)訓(xùn)練樣本經(jīng)過反卷積模塊輸出的二值圖中第j個(gè)像素的預(yù)測值，j為0表示背景像素，j為1表示病斑像素；為第i個(gè)訓(xùn)練樣本中第j個(gè)像素的真實(shí)值；

步驟4-2：訓(xùn)練時(shí)使用模型損失函數(shù)共同優(yōu)化分類損失和分割損失，對(duì)病斑像素級(jí)標(biāo)注圖像訓(xùn)練一輪后，訓(xùn)練一部分病害類別標(biāo)注樣本，再使用像素級(jí)標(biāo)注的訓(xùn)練集訓(xùn)練一次，如此交替迭代訓(xùn)練，直到病害類別標(biāo)注的訓(xùn)練樣本全部訓(xùn)練結(jié)束即完成一個(gè)epoch訓(xùn)練，其中，模型損失函數(shù)為：

L＝k*l_cls+(1-k)*l_seg

其中，l_cls為第一個(gè)分類器輸出的病害類別分類損失，l_seg為第二個(gè)分類器輸出的病斑分割損失，在訓(xùn)練有病斑標(biāo)注的樣本時(shí)，模型更加關(guān)注病斑像素的位置信息；在訓(xùn)練無病斑標(biāo)注的樣本時(shí)，模型只關(guān)注圖像類別信息。