[發(fā)明專利]一種自然場景下多階段草莓果實快速檢測方法

有效

• 申請?zhí)枺?/td>: 202110354577.2
• 申請日: 2021-04-01
• 公開（公告）號: CN112926605B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計）人: 王巖;孟慶魯;周艷聰;張波;胡德計;谷曉英;馬茜;楊丹丹
• 申請（專利權(quán)）人: 天津商業(yè)大學(xué)
• 主分類號: G06V10/40
• 分類號: G06V10/40;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津市三利專利商標(biāo)代理有限公司 12107
• 代理人: 仝林葉

1.一種自然場景下多階段草莓果實快速檢測方法，其特征在于：

第一步，自然環(huán)境中拍攝草莓圖像數(shù)據(jù)，按照生長階段將草莓果實劃分為6類：成熟果實、變色期幼果、膨大期幼果、初期幼果、花朵和花蕾；

第二步，使用指揮網(wǎng)絡(luò)提取細(xì)節(jié)指導(dǎo)特征：

第2.1步，將上述第一步得到的草莓圖像作為輸入，首先使用卷積核大小為3×3的深度卷積層將圖像大小歸一化為608×608像素，然后使用卷積核大小為1×1的卷積層進(jìn)行特征提取，得到輸出的特征圖為G_2.1；

第2.2步，使用卷積核大小為3×3的深度可分離卷積層提取G_2.1的特征，得到輸出的特征圖為G_2.2，如下公式(1)所示：

G_2.2＝γ₃(G_2.1) (1)

其中：γ₃為卷積核大小為3×3的深度可分離卷積層；

第2.3步，使用卷積核大小為1×1的卷積層擴(kuò)充通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，得到輸出的特征圖為G_2.3，如下公式(2)所示：

G_2.3＝γ₃(φ₁(G_2.2)) (2)

其中：γ₃為卷積核大小為3×3的深度可分離卷積層，φ₁為卷積核大小為1×1的卷積層；

第2.4步，使用卷積核大小為1×1的卷積層擴(kuò)充通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，得到輸出的特征圖為G_2.4，如下公式(3)所示：

G_2.4＝γ₃(φ₁(G_2.3)) (3)

其中：γ₃為卷積核大小為3×3的深度可分離卷積層，φ₁為卷積核大小為1×1的卷積層；

第2.5步，使用卷積核大小為1×1的卷積層擴(kuò)充通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，得到輸出的特征圖為G_2.5，如下公式(4)所示：

G_2.5＝γ₃(φ₁(G_2.4)) (4)

其中：γ₃為卷積核大小為3×3的深度可分離卷積層，φ₁為卷積核大小為1×1的卷積層；

第三步，使用指揮網(wǎng)絡(luò)與主干網(wǎng)絡(luò)相結(jié)合的雙流網(wǎng)絡(luò)提取特征：

第3.1步，將特征圖G_2.1作為輸入特征圖，使用卷積核大小為3×3的深度可分離卷積層進(jìn)行特征降維，然后與第2.2步中提取的特征G_2.2相加，得到特征圖G_3.1，如下公式(5)所示：

G_3.1＝γ₃(G_2.1)+G_2.2 (5)

其中：γ₃為卷積核大小為3×3的深度可分離卷積層；

第3.2步，構(gòu)建Drs_2模塊并提取特征：將特征圖G_3.1作為輸入特征圖，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.1相加，得到特征圖G_3.2.1，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.2.1相加后使用卷積核大小為1×1的卷積層提取輸出特征圖G_3.2；

第3.3步，將特征圖G_3.2作為輸入特征圖，使用卷積核大小為3×3的深度可分離卷積層進(jìn)行特征降維，然后與第2.3步中提取的特征G_2.3相加，得到特征圖G_3.3，如下公式(6)所示：

G_3.3＝γ₃(G_3.2)+G_2.3 (6)

其中：γ₃為卷積核大小為3×3的深度可分離卷積層；

第3.4步，構(gòu)建Drs_4模塊并提取特征：將特征圖G_3.3作為輸入特征圖，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.3相加，得到特征圖G_3.4.1，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.4.1相加得到特征圖G_3.4.2，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.4.2相加得到特征圖G_3.4.3，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.4.3相加后使用卷積核大小為1×1的卷積層提取輸出特征圖G_3.4；

第3.5步，將特征圖G_3.4作為輸入特征圖，使用卷積核大小為3×3的深度可分離卷積層進(jìn)行特征降維，然后與第2.4步中提取的特征G_2.4相加，得到特征圖G_3.5，如下公式(7)所示：

G_3.5＝γ₃(G_3.4)+G_2.4 (7)

其中：γ₃為卷積核大小為3×3的深度可分離卷積層；

第3.6步，構(gòu)建Drs_8模塊并提取特征：將特征圖G_3.5作為輸入特征圖，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.5相加，得到特征圖G_3.6.1，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.6.1相加得到特征圖G_3.6.2，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.6.2相加得到特征圖G_3.6.3，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.6.3相加得到特征圖G_3.6.4，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.6.3相加得到特征圖G_3.6.4，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.6.4相加得到特征圖G_3.6.5，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.6.5相加得到特征圖G_3.6.6，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.6.6相加得到特征圖G_3.6.7，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，與G_3.6.7相加后使用卷積核大小為1×1的卷積層提取輸出特征圖G_3.6；

第3.7步，將特征圖G_3.6作為輸入特征圖，使用卷積核大小為3×3的深度可分離卷積層進(jìn)行特征降維，然后與第2.5步中提取的特征G_2.5相加，得到特征圖G_3.7，如下公式(8)所示：

G_3.7＝γ₃(G_3.6)+G_2.5 (8)

其中：γ₃為卷積核大小為3×3的深度可分離卷積層；

第3.8步，再次使用Drs_8模塊進(jìn)行特征提取，得到特征圖G_3.8；

第四步，將上述第3.6步、第3.8步輸出的特征圖進(jìn)行兩級特征融合：

第4.1步，將第3.6步提取的特征圖G_3.6作為輸入，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，得到特征圖G_4.1；

第4.2步，使用卷積核大小為1×1的卷積層提取G_4.1的特征，得到特征圖G_4.2，特征值作為預(yù)測值；

第4.3步，將特征圖G_4.1進(jìn)行二倍上采樣，與第3.8步輸出的特征圖G_3.8進(jìn)行特征拼接，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，使用卷積核大小為1×1的卷積層提升通道數(shù)，使用卷積核大小為3×3的深度可分離卷積層提取特征，使用卷積核大小為1×1的卷積層提取特征，得到特征圖G_4.3，特征值作為預(yù)測值；

第五步，使用結(jié)合指數(shù)增強(qiáng)二值交叉熵和二倍增強(qiáng)均方誤差的損失函數(shù)計算上述第4.2步、第4.3步輸出的預(yù)測值與實際值之間的損失；

第六步，對模型預(yù)測結(jié)果進(jìn)行NMS，生成最終檢測結(jié)果；

至此，完成了自然場景下基于Directorial and lightweight–You Only Look Oncev3，結(jié)合指揮網(wǎng)絡(luò)的輕量級YOLOv3網(wǎng)絡(luò)的多階段草莓果實檢測。