[發明專利]智慧農業下農事行為管理系統及其方法

在審

• 申請號: 202211626545.4
• 申請日: 2022-12-16
• 公開（公告）號: CN115880094A
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 許怡欣;趙家偉
• 申請（專利權）人: 馬鞍山格亞科技有限公司
• 主分類號: G06Q50/02
• 分類號: G06Q50/02;G06V20/10;G06V20/40;G06V10/25;G06V10/764;G06V10/77;G06V10/82;G06N3/0464
• 代理公司: 北京恒泰銘睿知識產權代理有限公司 11642
• 代理人: 蘇天功

1.一種智慧農業下農事行為管理系統，其特征在于，包括：作業監控視頻采集模塊，用于通過部署于智慧農田的攝像頭采集農民的作業監控視頻采樣模塊，用于從所述作業監控視頻中提取多個關鍵幀；第一目標檢測模塊，用于將所述多個關鍵幀中各個關鍵幀分別通過農民對象檢測網絡以得到多個第一感興趣區域；第二目標檢測模塊，用于將所述多個關鍵幀中各個關鍵幀分別通過農作物對象檢測網絡以得到多個第二感興趣區域；三維編碼模塊，用于將所述多個第一感興趣區域和所述多個第二感興趣區域分別通過使用三維卷積核的卷積神經網絡模型以得到農民動作特征圖和農作物變化特征圖；降維模塊，用于對所述農民動作特征圖和所述農作物變化特征圖分別進行沿通道維度的全局均值池化處理以得到農民動作特征向量和農作物變化特征向量；關聯編碼模塊，用于對所述農民動作特征向量和所述農作物變化特征向量進行聯合編碼以得到分類特征矩陣；校正模塊，用于對所述分類特征矩陣中各個位置的特征值進行校正以得到校正后分類特征矩陣；以及行為標簽生成模塊，用于將所述校正后分類特征矩陣通過分類器以得到分類結果，所述分類結果用于表示農事行為的分類標簽。

2.根據權利要求1所述的智慧農業下農事行為管理系統，其特征在于，所述采樣模塊，進一步用于以預定采樣頻率從所述作業監控視頻中提取所述多個關鍵幀。

3.根據權利要求2所述的智慧農業下農事行為管理系統，其特征在于，所述農民對象檢測網絡為基于無錨窗的目標檢測網絡，所述基于無錨窗的目標檢測網絡為YOLOv1、FCOS、CenterNet、CornerNet、ExtremeNet或RepPoints。

4.根據權利要求2所述的智慧農業下農事行為管理系統，其特征在于，所述農作物對象檢測網絡為基于錨窗的目標檢測網絡，所述基于錨窗的目標檢測網絡為Fast R-CNN、Faster R-CNN或RetinaNet。

5.根據權利要求1所述的智慧農業下農事行為管理系統，其特征在于，所述三維編碼模塊，包括：第一張量數據構造單元，用于將所述多個第一感興趣區域排列為第一三維輸入張量；第一卷積編碼單元，用于使用所述卷積神經網絡模型的各層在層的正向傳遞中分別對輸入數據進行基于所述三維卷積核的卷積處理、池化處理和非線性激活處理以由所述卷積神經網絡模型的最后一層輸出所述農民動作特征圖，其中，所述卷積神經網絡模型的第一層的輸入為所述第一三維輸入張量；第二張量數據構造單元，用于將所述多個第二感興趣區域排列為第二三維輸入張量；第二卷積編碼單元，用于使用所述卷積神經網絡模型的各層在層的正向傳遞中分別對輸入數據進行基于所述三維卷積核的卷積處理、池化處理和非線性激活處理以由所述卷積神經網絡模型的最后一層輸出所述農作物變化特征圖。

6.根據權利要求5所述的智慧農業下農事行為管理系統，其特征在于，所述關聯編碼模塊，進一步用于：以如下公式對所述農民動作特征向量和所述農作物變化特征向量進行聯合編碼以得到所述分類特征矩陣；

所述公式為：其中，M_c為分類特征矩陣，v₁為農民動作特征向量且v₂為農作物變化特征向量。

7.根據權利要求6所述的智慧農業下農事行為管理系統，其特征在于，所述校正模塊，進一步用于以如下公式對所述分類特征矩陣中各個位置的特征值進行校正以得到所述校正后分類特征矩陣；

其中，所述公式為：

l_i為第i個標簽的標簽值，且p_i為分類特征矩陣在第i個標簽下的概率值，f為分類特征矩陣的特征值。