[發(fā)明專利]基于改進(jìn)DenseNet模型的番茄葉片病害識別方法

在審

• 申請?zhí)枺?/td>: 202310402769.5
• 申請日: 2023-04-10
• 公開（公告）號: CN116563845A
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 王奕男;謝志軍;莊黎波
• 申請（專利權(quán)）人: 寧波大學(xué);寧波時(shí)新生態(tài)農(nóng)業(yè)有限公司
• 主分類號: G06V20/68
• 分類號: G06V20/68;G06V10/77;G06V10/80;G06V10/42;G06V10/44;G06V10/52;G06V10/82;G06N3/0464;G06N3/0455;G06N3/047;G06N3/048;G06V10/764
• 代理公司: 寧波奧圣專利代理有限公司 33226
• 代理人: 方小惠

1.一種基于改進(jìn)的DenseNet模型的番茄葉片病害識別方法，其特征在于包括以下步驟：

S1、對DenseNet模型進(jìn)行如下四點(diǎn)改進(jìn)，得到LGDNet(Lightweight?Ghost?DenseNetwork)模型：

一、先將DensenNet模型的每個(gè)Dense?Block中的多個(gè)依次連接的Bottleneck?layer均采用三個(gè)依次連接的Ghost?bottleneck模塊進(jìn)行替換，將這三個(gè)依次連接的Ghostbottleneck按照先后順序分別命名為第一Ghost?bottleneck，第二Ghost?bottleneck和第三Ghost?bottleneck，此時(shí)，DensenNet模型中除最后一個(gè)Dense?Block的第三Ghostbottleneck與其全局平均池化層連接，其中每個(gè)Dense?Block中的第三Ghost?bottleneck均與一個(gè)Transition?Layer連接；

二、每三個(gè)依次連接的Ghost?bottleneck模塊中，將第二Ghost?bottleneck中的第二個(gè)Ghost模塊中的卷積核大小為3×3的普通卷積替換成卷積核大小為3、填充為2、步長為1、膨脹率為1的空洞卷積，以及第三Ghost?bottleneck中的第二個(gè)Ghost模塊中的卷積核大小為3×3的普通卷積替換成卷積核大小為3、填充為3、步長為1、膨脹率為2的空洞卷積，進(jìn)一步擴(kuò)大模型的感受野；

三、每三個(gè)依次連接的Ghost?bottleneck模塊中，在所述的第一Ghost?bottleneck和所述的第二Ghost?bottleneck之間、所述的第二Ghost?bottleneck和所述的第三Ghostbottleneck之間以及所述的第三Ghost?bottleneck和Transition?Layer或全局平均池化層之間均增加一個(gè)CMIFA注意力機(jī)制模塊，此時(shí)所述的第一Ghost?bottleneck和所述的第二Ghost?bottleneck不再直接連接，而是通過一個(gè)CMIFA注意力機(jī)制模塊連接，所述的第二Ghost?bottleneck和所述的第三Ghost?bottleneck不再直接連接，而是通過一個(gè)CMIFA注意力機(jī)制模塊連接，所述的第三Ghost?bottleneck和Transition?Layer或全局平均池化層不再直接連接，而是通過一個(gè)CMIFA注意力機(jī)制模塊連接；

四、用最大池化層替換了Dense?block中的每個(gè)Transition?Layer的平均池化層；

對所述的DenseNet模型進(jìn)行以上四點(diǎn)改進(jìn)后得到的LGDNet模型包括1個(gè)FeatureBlock、4個(gè)Dense?Block、3個(gè)Transition?Layer、1個(gè)全局平均池化層和1個(gè)全連接層；4個(gè)Dense?Block按照先后順序，F(xiàn)eature?Block位于第一個(gè)Dense?Block之前，第一個(gè)DenseBlock和第二個(gè)Dense?Block之間存在一個(gè)所述的Transition?Layer，第二個(gè)Dense?Block和第三個(gè)Dense?Block之間存在一個(gè)所述的Transition?Layer，第三個(gè)Dense?Block和第四個(gè)Dense?Block之間存在一個(gè)所述的Transition?Layer，全局平均池化層位于第四個(gè)DenseBlock之后，全連接層位于全局平均池化層之后；所述的Feature?Block由一個(gè)卷積核大小為7×7，填充為3，步長為2的卷積層和一個(gè)卷積核大小為3×3，步長為2的最大池化層組成，所述的Feature?Block用于對輸入其內(nèi)的特征圖進(jìn)行降采樣；每個(gè)所述的TransitionLayer均由一個(gè)卷積核大小為1×1，填充為0，步長為1的卷積層和一個(gè)卷積核大小為3×3，填充為1，步長為2的最大池化層組成，將與其連接的Dense?Block輸出的特征圖的尺寸縮小1/2后進(jìn)行輸出，提高計(jì)算效率；所述的全局平均池化層用于將與其連接的Dense?Block輸出的特征圖進(jìn)行降維后得到降維特征圖輸出，極大地減少了LGDNet模型的參數(shù)，并LGDNet模型在結(jié)構(gòu)上做正則化防止過擬合；所述的全連接層用于將所述的全局平均池化層輸出的降維特征圖非線性地映射成包含所有特征信息的一維特征向量，進(jìn)而通過softmax函數(shù)將其轉(zhuǎn)化為分類成各個(gè)類別的概率，用以獲得最終的類別輸出。

S2、準(zhǔn)備數(shù)據(jù)集，具體過程為：

S2.1、在番茄種植農(nóng)場拍攝患有病害的N張番茄葉片圖像，其中，N為大于2000的整數(shù)，然后通過番茄葉片病害專家人工對N張番茄葉片圖像對應(yīng)的病害類型進(jìn)行確定，得到每張番茄葉片圖像的病害類型，即每張番茄葉片圖像的標(biāo)簽；將每張番茄葉片圖像按照其病害類型進(jìn)行貼標(biāo)簽，采用此時(shí)得到N張具有標(biāo)簽的番茄葉片病害圖像構(gòu)成番茄葉片病害原始圖像數(shù)據(jù)集；

S2.2、對番茄葉片病害原始圖像數(shù)據(jù)集進(jìn)行預(yù)處理，具體處理過程如下：

S2.2.1、采用翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)、亮度變換、高斯模糊、添加攪動、隨機(jī)裁剪和隨機(jī)平移這幾種方法對番茄葉片病害原始圖像數(shù)據(jù)集中的每張方法番茄葉片圖像進(jìn)行處理，得到番茄葉片病害擴(kuò)充圖像數(shù)據(jù)集；

S2.2.2、將番茄葉片病害擴(kuò)充圖像數(shù)據(jù)集中每張番茄葉片圖像的圖像分辨率均先縮放為224×224，再進(jìn)行歸一化處理，得到番茄葉片病害歸一化圖像數(shù)據(jù)集；

S2.2.3、先將番茄葉片病害歸一化圖像數(shù)據(jù)集中每個(gè)病害類型的番茄葉片圖像按照6:2:2的比例劃分為訓(xùn)練集、測試集和驗(yàn)證集，如果某個(gè)病害類型的番茄葉片圖像的總數(shù)量不能被10整除，則將多余的番茄葉片圖像放到該病害類型的訓(xùn)練集中；然后將所有病害類型的訓(xùn)練集組合在一起得到整體訓(xùn)練集，將所有病害類型的測試集組合在一起得到整體測試集，將所有病害類型的驗(yàn)證集組合在一起得到整體驗(yàn)證集；

S3、利用步驟S2得到的整體訓(xùn)練集輸入到所述的LGDNet模型，對所述的LGDNet模型進(jìn)行訓(xùn)練，其中所述的LGDNet模型的初始學(xué)習(xí)率設(shè)置為0.1，優(yōu)化器動量設(shè)置為0.9，權(quán)重衰減設(shè)置為0.0001，batch_size設(shè)置為16，在訓(xùn)練過程中，使用SGDM優(yōu)化算法優(yōu)化所述的LGDNet模型的網(wǎng)絡(luò)權(quán)重，使用余弦退火法將學(xué)習(xí)率動態(tài)調(diào)整為0.00001，當(dāng)訓(xùn)練完60個(gè)epoch后就結(jié)束訓(xùn)練，每個(gè)epoch訓(xùn)練完成后就得到一個(gè)訓(xùn)練后的LGDNet模型，此時(shí)得到60個(gè)訓(xùn)練后的LGDNet模型；

S4、利用S3在每個(gè)epoch后訓(xùn)練所得到的LGDNet模型，對步驟S2得到的整體測試集中每個(gè)番茄葉片圖像分別進(jìn)行預(yù)測識別，并計(jì)算其識別準(zhǔn)確率，按照識別準(zhǔn)確率的大小，保存識別準(zhǔn)確率最高的三個(gè)訓(xùn)練后的LGDNet模型，如果出現(xiàn)識別準(zhǔn)確率最高的訓(xùn)練后的LGDNet模型數(shù)量超過三個(gè)的情況，則都保存；

S5、采用S4保存的所有LGDNet模型，對步驟S2得到的整體驗(yàn)證集中每個(gè)番茄葉片圖像進(jìn)行預(yù)測識別，并計(jì)算識別準(zhǔn)確率，將其中識別準(zhǔn)確率最高的一個(gè)的LGDNet模型作為最佳LGDNet模型，如果此時(shí)出現(xiàn)多個(gè)識別準(zhǔn)確率最高的LGDNet模型，則選擇在同epoch下整體測試集識別準(zhǔn)確率最高的LGDNet模型作為最佳LGDNet模型，若此時(shí)存在多個(gè)在同epoch下整體測試集的識別準(zhǔn)確率最高的LGDNet模型，則選擇在同epoch下整體訓(xùn)練數(shù)據(jù)集識別準(zhǔn)確率最高的LGDNet模型作為最佳LGDNet模型，若仍存在多個(gè)同epoch下整體訓(xùn)練數(shù)據(jù)集識別準(zhǔn)確率最高的LGDNet模型，則隨機(jī)選擇一個(gè)LGDNet模型作為最佳LGDNet模型，保存最佳LGDNet模型的網(wǎng)絡(luò)權(quán)重；

S6、拍攝待識別的番茄葉片病害圖像，并將該番茄葉片病害圖片按照步驟S2.2.2相同的方法進(jìn)行處理后輸入到最佳LGDNet模型進(jìn)行病害識別，最佳LGDNet模型輸出其識別結(jié)果以及準(zhǔn)確度。

2.根據(jù)權(quán)利要求1所述的基于改進(jìn)的DenseNet模型的番茄葉片病害識別方法，其特征在于所述的CMIFA注意力機(jī)制模塊包括第一平均池化層、第二平均池化層、第一最大池化層、第二最大池化層、第一特征融合層、第一卷積層、第二卷積層和第二特征融合層；所述的CMIFA注意力機(jī)制模塊分別通過所述的第一平均池化層、所述的第二平均池化層、所述的第一最大池化層、所述的第二最大池化層和所述的第二特征融合層連接位于其之前的Ghostbottleneck模塊；所述的第一平均池化層的卷積核大小為1×w，用于接入與其連接的Ghostbottleneck模塊輸出的特征圖，在寬度維度上進(jìn)行平均池化的操作，得到通道為c，高為h，寬為1的特征圖1輸出到第一特征融合層；其中，w為與其連接的Ghost?bottleneck模塊輸出的特征圖寬度，c為與其連接的Ghost?bottleneck模塊輸出的特征圖的通道數(shù)，h為與其連接的Ghost?bottleneck模塊輸出的特征圖的高度；所述的第二平均池化層的卷積核大小為h×1，用于接入與其連接的Ghost?bottleneck模塊輸出的特征圖，在高度維度進(jìn)行平均池化的操作，得到通道為c，高為1，寬為w的特征圖2輸出到第一特征融合層；所述的第一最大池化層的卷積核大小為1×w，用于接入與其連接的Ghost?bottleneck模塊輸出的特征圖，在寬度維度進(jìn)行最大池化的操作，得到通道為c，高為h，寬為1的特征圖3輸出到第一特征融合層；所述的第二最大池化層的卷積核大小為h×1，用于接入與其連接的Ghostbottleneck模塊輸出的特征圖，在高度維度進(jìn)行平均池化的操作，得到通道為c，高為1，寬為w的特征圖4輸出到第一特征融合層；所述的第一特征融合層包含第一重塑單元和第一特征拼接單元；所述的第一重塑單元用于接入所述的第一平均池化層輸出的特征圖1、所述的第二平均池化層輸出的特征圖2、所述的第一最大池化層輸出的特征圖3和所述的第二最大池化層輸出的特征圖4，并對特征圖1進(jìn)行重塑操作，得到通道為1，高為c，寬為h的特征圖5輸出到第一特征拼接單元、對特征圖2進(jìn)行重塑操作，得到通道為1，高為c，寬為w的特征圖6輸出到第一特征拼接單元、對特征圖3進(jìn)行重塑操作，得到通道為1，高為c，寬為h的特征圖7輸出到第一特征拼接單元、對特征圖4進(jìn)行重塑操作，得到通道為1，高為c，寬為w的特征圖8輸出到第一特征拼接單元；所述的第一特征拼接單元用于接入特征圖5、特征圖6、特征圖7和特征圖8，并將特征圖5、特征圖6、特征圖7和特征圖8這4張?zhí)卣鲌D在寬度維度進(jìn)行拼接得到通道為1，高為c，寬為2×h+2×w的拼接特征圖9分別輸出到第一卷積層和第二卷積層；所述的第一卷積層的卷積核大小為1×k₁，填充為k₁/2，步長為1，用于接入所述的第一特征融合層輸出的特征圖9，進(jìn)行卷積處理得到通道為1，高為c，寬為2×h+2×w的特征圖10輸出到第二特征融合層，其中k₁采用式(1)計(jì)算：

k₁＝odd(︱log₂h?︳)??????????????????????(1)

式(1)中k₁為第一卷積層的卷積核寬度大小，odd()為向下舍入到最接近的奇數(shù)操作，||為絕對值符號；

所述的第二卷積層的卷積核大小為k₂×1，填充為k₂/2，步長為1，用于接入所述的第一特征融合層輸出的特征圖9，進(jìn)行卷積處理得到通道為1，高為c，寬為2×h+2×w的特征圖11輸出到第二特征融合層；其中k₂采用式(2)計(jì)算：

k₂＝odd(︱log₂c?︳)???????????????????????(2)

式(2)中k₂為第二卷積層的卷積核高度大小；

所述的第二特征融合層包含第一逐元素相加函數(shù)、第一特征分離單元、第二重塑單元、第一Hard-sigmoid激活函數(shù)、第二Hard-sigmoid激活函數(shù)、第三Hard-sigmoid激活函數(shù)、第四Hard-sigmoid激活函數(shù)、第一逐元素相乘函數(shù)、第二逐元素相乘函數(shù)、注意力融合單元和第三逐元素相乘函數(shù)；所述的第二特征融合層通過其第三逐元素相乘函數(shù)連接相應(yīng)的Ghost?bottleneck模塊；所述的第一逐元素相加函數(shù)用于接入所述的第一卷積層輸出的特征圖10和所述的第二卷積層輸出的特征圖11，并對這兩個(gè)特征圖進(jìn)行逐元素相加，得到通道為1，高為c，寬為2×h+2×w的特征圖12輸出到所述的第一特征分離單元；所述的第一特征分離單元用于接入所述的第一逐元素相加函數(shù)輸出的特征圖12，并先對特征圖12在寬度維度上按照h,w,h,w的大小進(jìn)行分割，得到通道為1，高為c，寬為h的特征圖13、通道為1，高為c，寬為w的特征圖14、通道為1，高為c，寬為h的特征圖15以及通道為1，高為c，寬為w的特征圖16，并將特征圖13、特征圖14、特征圖15以及特征圖16輸出到所述的第二重塑單元；所述的第二重塑單元用于接入特征圖13、特征圖14、特征圖15和特征圖16，并將特征圖13進(jìn)行重塑操作得到通道為c，高為h，寬為1的特征圖17輸出到所述的第一Hard-sigmoid激活函數(shù)，將特征圖14進(jìn)行重塑操作得到通道為c，高為1，寬為w的特征圖18輸出到所述的第二Hard-sigmoid激活函數(shù)，將特征圖15進(jìn)行重塑操作得到通道為c，高為h，寬為1的特征圖19輸出到所述的第三Hard-sigmoid激活函數(shù)，將特征圖16進(jìn)行重塑操作得到通道為c，高為1，寬為w的特征圖20輸出到所述的第四Hard-sigmoid激活函數(shù)；所述的第一Hard-sigmoid激活函數(shù)用于接入所述的第二重塑單元輸出的特征圖17，并對其通過Hard-sigmoid函數(shù)進(jìn)行處理，得到通道為c，高為h，寬為1的特征圖注意力1輸出到所述的第一逐元素相乘函數(shù)；所述的第二Hard-sigmoid激活函數(shù)用于接入所述的第二重塑單元輸出的特征圖18，并對其通過Hard-sigmoid函數(shù)進(jìn)行處理，得到通道為c，高為1，寬為w的特征圖注意力2輸出到所述的第一逐元素相乘函數(shù)；所述的第三Hard-sigmoid激活函數(shù)用于接入所述的第二重塑單元輸出的特征圖19，并對其通過Hard-sigmoid函數(shù)進(jìn)行處理，得到通道為c，高為h，寬為1的特征圖注意力3輸出到所述的第二逐元素相乘函數(shù)；所述的第四Hard-sigmoid激活函數(shù)用于接入所述的第二重塑單元輸出的特征圖20，并對其通過Hard-sigmoid函數(shù)進(jìn)行處理，得到通道為c，高為1，寬為w的特征圖注意力4輸出到所述的第二逐元素相乘函數(shù)；所述的第一逐元素相乘函數(shù)用于接入所述的第一Hard-sigmoid激活函數(shù)輸出的特征圖注意力1與所述的第二Hard-sigmoid激活函數(shù)輸出的特征圖注意力2，并對這兩個(gè)特征圖注意力進(jìn)行逐元素相乘，得到通道為c，高為h，寬為w的特征圖注意力5輸出到所述的注意力融合單元；所述的第二逐元素相乘函數(shù)用于接入所述的第三Hard-sigmoid激活函數(shù)輸出的特征圖注意力3與所述的第四Hard-sigmoid激活函數(shù)輸出的特征圖注意力4，并對這兩個(gè)特征圖注意力進(jìn)行逐元素相乘，得到通道為c，高為h，寬為w的特征圖注意力6輸出到所述的注意力融合單元；所述的注意力融合單元用于接入所述的第一逐元素相乘函數(shù)輸出的特征圖注意力5與所述的第二逐元素相乘函數(shù)輸出的特征圖注意力6，并將特征圖注意力5逐元素與可適應(yīng)性參數(shù)ɑ相乘得到第一個(gè)結(jié)果、以及將特征圖注意力6逐元素與1-ɑ相乘得到第二個(gè)結(jié)果，然后將這兩個(gè)結(jié)果逐元素相加得到通道為c，高為h，寬為w的特征圖注意力7輸出到所述的第三逐元素相乘函數(shù)；其中可適應(yīng)性參數(shù)ɑ初始值設(shè)置為0.5，可適應(yīng)性參數(shù)ɑ隨著模型的不斷訓(xùn)練會不斷的進(jìn)行更新，直到訓(xùn)練結(jié)束，每次計(jì)算時(shí)可適應(yīng)性參數(shù)ɑ的取值為其當(dāng)前最新值；所述的第三逐元素相乘函數(shù)用于接入特征圖注意力7和與其連接的Ghost?bottleneck模塊輸出的特征圖，并對特征圖注意力7和Ghost?bottleneck模塊輸出的特征圖進(jìn)行逐元素相乘，得到通道為c，高為h，寬為w的特征圖21輸出，所述的第三逐元素相乘函數(shù)輸出的特征圖21即為所述的CMIFA注意力機(jī)制模塊的輸出，特征圖21輸出至位于所述的CMIFA注意力機(jī)制模塊之后且與該CMIFA注意力機(jī)制模塊連接的Ghost?bottleneck模塊、Transition?Layer或全局平均池化層。