[發(fā)明專利]智慧農(nóng)業(yè)下農(nóng)事行為管理系統(tǒng)及其方法

在審

• 申請?zhí)枺?/td>: 202211626545.4
• 申請日: 2022-12-16
• 公開（公告）號: CN115880094A
• 公開（公告）日: 2023-03-31
• 發(fā)明（設(shè)計(jì)）人: 許怡欣;趙家偉
• 申請（專利權(quán)）人: 馬鞍山格亞科技有限公司
• 主分類號: G06Q50/02
• 分類號: G06Q50/02;G06V20/10;G06V20/40;G06V10/25;G06V10/764;G06V10/77;G06V10/82;G06N3/0464
• 代理公司: 北京恒泰銘睿知識產(chǎn)權(quán)代理有限公司 11642
• 代理人: 蘇天功

本申請涉及智慧農(nóng)業(yè)技術(shù)領(lǐng)域，其具體地公開了一種智慧農(nóng)業(yè)下農(nóng)事行為管理系統(tǒng)及其方法，其通過對象檢測網(wǎng)絡(luò)對農(nóng)民作業(yè)監(jiān)控視頻中提取的關(guān)鍵幀進(jìn)行感興趣區(qū)域提取，以得到多個(gè)感興趣區(qū)域，并選擇以三維卷積神經(jīng)網(wǎng)絡(luò)作為特征提取器進(jìn)行編碼和特征提取，以提取農(nóng)民動(dòng)作特征圖和農(nóng)作物變化特征圖，接著，計(jì)算所述農(nóng)民動(dòng)作特征圖和所述農(nóng)作物變化特征圖之間的交互特征以得到分類特征矩陣，最后，將所述分類特征矩陣通過分類器就可以得到用于表示農(nóng)事行為的分類標(biāo)簽，包括但不限于除草、澆水、噴藥、休息等。通過這樣的方式，能夠有效地拉開類間間距和縮小類內(nèi)差異以提高農(nóng)事行為標(biāo)注的準(zhǔn)確率，進(jìn)而優(yōu)化后續(xù)農(nóng)事活動(dòng)和數(shù)據(jù)分析。

技術(shù)領(lǐng)域

本申請涉及智慧農(nóng)業(yè)技術(shù)領(lǐng)域，且更為具體地，涉及一種智慧農(nóng)業(yè)下農(nóng)事行為管理系統(tǒng)及其方法。

背景技術(shù)

智慧農(nóng)業(yè)是指現(xiàn)代科學(xué)技術(shù)與農(nóng)業(yè)種植相結(jié)合，從而實(shí)現(xiàn)無人化、自動(dòng)化、智能化管理，對于發(fā)展中國家而言，智慧農(nóng)業(yè)是智慧經(jīng)濟(jì)主要的組成部分，是發(fā)展中國家消除貧困、實(shí)現(xiàn)后發(fā)優(yōu)勢、經(jīng)濟(jì)發(fā)展后來居上、實(shí)現(xiàn)趕超戰(zhàn)略的主要途徑。

在智慧農(nóng)業(yè)中，對農(nóng)民的農(nóng)事行為進(jìn)行準(zhǔn)確識別是后續(xù)農(nóng)事活動(dòng)優(yōu)化和數(shù)據(jù)分析的基礎(chǔ)。但是，不同類別的農(nóng)事活動(dòng)中可能存在相似的行為(例如除草和澆水等)，也就是，不同農(nóng)事行為中可能部分農(nóng)事行為的類間距過小，這增加了農(nóng)事行為識別的難度。同時(shí)，同一類型的農(nóng)事行為中可能因不同樣本之間的差距過大而被識別為不同農(nóng)事行為，也就是，農(nóng)事行為的類內(nèi)間距過大，這也增加了農(nóng)事行為識別的難度。

因此，期待一種優(yōu)化的智慧農(nóng)業(yè)下農(nóng)事行為管理系統(tǒng)，其能夠較為準(zhǔn)確地識別農(nóng)事行為類型。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，提出了本申請。本申請的實(shí)施例提供了一種智慧農(nóng)業(yè)下農(nóng)事行為管理系統(tǒng)及其方法，其通過農(nóng)民對象檢測網(wǎng)絡(luò)對視頻中提取的關(guān)鍵幀進(jìn)行感興趣區(qū)域提取，以得到多個(gè)感興趣區(qū)域，并選擇以三維卷積神經(jīng)網(wǎng)絡(luò)作為特征提取器進(jìn)行編碼和特征提取，以提取農(nóng)民動(dòng)作特征圖和農(nóng)作物變化特征圖，接著，計(jì)算所述農(nóng)民動(dòng)作特征圖和所述農(nóng)作物變化特征圖之間的交互特征以得到分類特征矩陣，最后，將所述分類特征矩陣通過分類器就可以得到用于表示農(nóng)事行為的分類標(biāo)簽，包括但不限于除草、澆水、噴藥、休息等。通過這樣的方式，能夠有效地拉開類間間距和縮小類內(nèi)差異以提高農(nóng)事行為標(biāo)注的準(zhǔn)確率，進(jìn)而優(yōu)化后續(xù)農(nóng)事活動(dòng)和數(shù)據(jù)分析。

根據(jù)本申請的一個(gè)方面，提供了一種智慧農(nóng)業(yè)下農(nóng)事行為管理系統(tǒng)，其包括：作業(yè)監(jiān)控視頻采集模塊，用于通過部署于智慧農(nóng)田的攝像頭采集農(nóng)民的作業(yè)監(jiān)控視頻；采樣模塊，用于從所述作業(yè)監(jiān)控視頻中提取多個(gè)關(guān)鍵幀；第一目標(biāo)檢測模塊，用于將所述多個(gè)關(guān)鍵幀中各個(gè)關(guān)鍵幀分別通過農(nóng)民對象檢測網(wǎng)絡(luò)以得到多個(gè)第一感興趣區(qū)域；第二目標(biāo)檢測模塊，用于將所述多個(gè)關(guān)鍵幀中各個(gè)關(guān)鍵幀分別通過農(nóng)作物對象檢測網(wǎng)絡(luò)以得到多個(gè)第二感興趣區(qū)域；三維編碼模塊，用于將所述多個(gè)第一感興趣區(qū)域和所述多個(gè)第二感興趣區(qū)域分別通過使用三維卷積核的卷積神經(jīng)網(wǎng)絡(luò)模型以得到農(nóng)民動(dòng)作特征圖和農(nóng)作物變化特征圖；降維模塊，用于對所述農(nóng)民動(dòng)作特征圖和所述農(nóng)作物變化特征圖分別進(jìn)行沿通道維度的全局均值池化處理以得到農(nóng)民動(dòng)作特征向量和農(nóng)作物變化特征向量；關(guān)聯(lián)編碼模塊，用于對所述農(nóng)民動(dòng)作特征向量和所述農(nóng)作物變化特征向量進(jìn)行聯(lián)合編碼以得到分類特征矩陣；校正模塊，用于對所述分類特征矩陣中各個(gè)位置的特征值進(jìn)行校正以得到校正后分類特征矩陣；以及行為標(biāo)簽生成模塊，用于將所述校正后分類特征矩陣通過分類器以得到分類結(jié)果，所述分類結(jié)果用于表示農(nóng)事行為的分類標(biāo)簽。

在上述智慧農(nóng)業(yè)下農(nóng)事行為管理系統(tǒng)中，所述采樣模塊，進(jìn)一步用于以預(yù)定采樣頻率從所述作業(yè)監(jiān)控視頻中提取所述多個(gè)關(guān)鍵幀。

在上述智慧農(nóng)業(yè)下農(nóng)事行為管理系統(tǒng)中，所述農(nóng)民對象檢測網(wǎng)絡(luò)為基于無錨窗的目標(biāo)檢測網(wǎng)絡(luò)，所述基于無錨窗的目標(biāo)檢測網(wǎng)絡(luò)為YOLOv1、FCOS、CenterNet、CornerNet、ExtremeNet或RepPoints。