[發(fā)明專利]一種基于無(wú)人機(jī)和深度學(xué)習(xí)的農(nóng)作物雜草檢測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202210267089.2
• 申請(qǐng)日: 2022-03-17
• 公開（公告）號(hào): CN114648500B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 羅強(qiáng);韓潤(rùn)華;殷志堅(jiān);楊貞;余亮;熊朝松
• 申請(qǐng)（專利權(quán)）人: 江西科技師范大學(xué)
• 主分類號(hào): G06T7/00
• 分類號(hào): G06T7/00;G06N3/048;G06N3/08;G06T5/50;G01S19/42
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 楊舟濤

1.一種基于無(wú)人機(jī)和深度學(xué)習(xí)的農(nóng)作物雜草檢測(cè)方法，其特征在于：具體包括以下步驟：

步驟1、收集包含雜草的圖像，并對(duì)圖像中的雜草進(jìn)行標(biāo)注，形成雜草數(shù)據(jù)集；

步驟2、構(gòu)建改進(jìn)的NanoDet模型，作為雜草識(shí)別模型，使用步驟1得到的雜草數(shù)據(jù)集進(jìn)行訓(xùn)練；所述改進(jìn)的NanoDet模型具體為：主干網(wǎng)絡(luò)使用CSPnet卷積塊的ShuffleNetV2-1.5x；FPN部分使用PAN結(jié)構(gòu)，針對(duì)主干網(wǎng)絡(luò)輸出的8、16、32倍下采樣特征圖進(jìn)行多尺度特征融合，并在每層特征的輸出之后，使用注意力模塊進(jìn)行特征整合；所述注意力模塊為GSE注意力模塊，輸入特征在GSE注意力模塊中首先經(jīng)過(guò)兩個(gè)Ghost卷積和Sigmoid函數(shù)，然后與原始輸入特征點(diǎn)乘，得到注意力特征；

步驟3、將步驟2訓(xùn)練好雜草識(shí)別模型移植到無(wú)人機(jī)中，再使用無(wú)人機(jī)掃描待除草的種植區(qū)域；無(wú)人機(jī)在掃描過(guò)程中通過(guò)雜草識(shí)別模型進(jìn)行實(shí)時(shí)檢測(cè)，當(dāng)雜草識(shí)別模型判斷掃描圖像中存在雜草時(shí)，通過(guò)GPS定位雜草所在的位置，并將坐標(biāo)返回到后臺(tái)。

2.如權(quán)利要求1所述一種基于無(wú)人機(jī)和深度學(xué)習(xí)的農(nóng)作物雜草檢測(cè)方法，其特征在于：所述多尺度特征融合過(guò)程為：首先，對(duì)32倍下采樣特征圖通過(guò)雙線性插值方式進(jìn)行上采樣，與16倍下采樣特征圖直接相加，得到融合后的16倍下采樣特征圖；然后將融合后的16倍下采樣特征圖繼續(xù)通過(guò)雙線性插值的方式進(jìn)行上采樣，與8倍下采樣特征圖直接相加融合，輸出8倍下采樣結(jié)果，再將融合的結(jié)果通過(guò)線性插值進(jìn)行下采樣，與融合后的16倍下采樣特征圖進(jìn)行相加融合，輸出16倍下采樣結(jié)果，再對(duì)融合的結(jié)果通過(guò)線性插值進(jìn)行下采樣，與32倍下采樣特征圖進(jìn)行相加融合，輸出32倍下采樣結(jié)果。

3.如權(quán)利要求1所述一種基于無(wú)人機(jī)和深度學(xué)習(xí)的農(nóng)作物雜草檢測(cè)方法，其特征在于：在步驟1中使用無(wú)人機(jī)拍攝包含雜草的圖片，并按照pascal?voc格式制作雜草數(shù)據(jù)集。

4.如權(quán)利要求1所述一種基于無(wú)人機(jī)和深度學(xué)習(xí)的農(nóng)作物雜草檢測(cè)方法，其特征在于：在步驟3的雜草識(shí)別過(guò)程中，調(diào)整無(wú)人機(jī)的掃描和圖像傳輸頻率，保證輸入雜草識(shí)別模型的圖像不存在重復(fù)部分。

5.一種基于無(wú)人機(jī)和深度學(xué)習(xí)的農(nóng)作物雜草檢測(cè)裝置，其特征在于：包括無(wú)人機(jī)和固定在無(wú)人機(jī)上的控制模塊、視覺模塊、定位模塊；所述視覺模塊用于在無(wú)人機(jī)飛行過(guò)程中，拍攝種植區(qū)域圖片，并傳輸?shù)娇刂颇K中；所述控制模塊上移植了訓(xùn)練后的雜草識(shí)別模型，對(duì)接收到的圖片進(jìn)行實(shí)時(shí)識(shí)別；當(dāng)識(shí)別到圖片中包含雜草時(shí)，調(diào)用定位模塊獲取位置坐標(biāo)，并返回到控制后臺(tái)；

所述雜草識(shí)別模型為改進(jìn)的NanoDet模型，具體為：主干網(wǎng)絡(luò)使用CSPnet卷積塊的ShuffleNetV2-1.5x；FPN部分使用PAN結(jié)構(gòu)，針對(duì)主干網(wǎng)絡(luò)輸出的8、16、32倍下采樣特征圖進(jìn)行多尺度特征融合，并在每層特征的輸出之后，使用注意力模塊進(jìn)行特征整合；所述注意力模塊為GSE注意力模塊，輸入特征在GSE注意力模塊中首先經(jīng)過(guò)兩個(gè)Ghost卷積和Sigmoid函數(shù)，然后與原始輸入特征點(diǎn)乘，得到注意力特征。