[發明專利]用于智能噴藥機器人的美國白蛾幼蟲網幕圖像定位方法

有效

• 申請號: 201910305842.0
• 申請日: 2019-04-16
• 公開（公告）號: CN110009702B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 趙穎;高嚴;馮德瀛;張來剛;趙棟杰;孫群
• 申請（專利權）人: 聊城大學
• 主分類號: G06T7/90
• 分類號: G06T7/90;G06T7/73;G06T7/62;G06T7/11;G06T5/50;G06N3/08;G06N3/0464
• 代理公司: 北京中索知識產權代理有限公司 11640
• 代理人: 商金婷

1.一種用于智能噴藥機器人的美國白蛾幼蟲網幕圖像定位方法，其特征在于：所述方法包括：

步驟1，采集美國白蛾幼蟲網幕圖片，截取圖片中的不同部位作為樣本，對所有樣本進行分類，并利用樣本訓練卷積神經網絡得到白蛾幼蟲網幕識別模型；

步驟2，對智能噴藥機器人采集到的視頻圖像進行穩像處理獲得穩定的單幀圖像，利用不重合滑動窗口遍歷每幀圖像，得到多個候選框；

步驟3，利用所述白蛾幼蟲網幕識別模型對各個候選框進行篩選，得到優秀候選框；

步驟4，對所有優秀候選框進行融合處理，得到一個連續的目標輪廓框，該目標輪廓框即為白蛾幼蟲網幕的位置，智能噴藥機器人對該目標輪廓框內進行噴藥;

所述步驟1中的對樣本進行分類的操作包括：將所有樣本分為三類，分別為白蛾網幕類、有白蛾網幕類和無白蛾網幕類；其中屬于白蛾網幕類的是絕大部分區域含有白蛾網幕的樣本，屬于有白蛾網幕類是有小部分區域含有白蛾網幕的樣本，屬于無白蛾網幕類的是無白蛾網幕的樣本;

所述步驟1中的利用樣本訓練卷積神經網絡得到白蛾幼蟲網幕識別模型的操作包括：

（11）建立卷積神經網絡；

（12）將所有樣本中的一部分作為測試集，另一部分作為驗證集；

（13）利用測試集和驗證集對所述卷積神經網絡進行訓練，得到訓練好的卷積神經網絡，即白蛾幼蟲網幕識別模型；

所述步驟（11）中建立的卷積神經網絡包括輸入層、第一卷積層、第二卷積層、第三卷積層、全局均值池化層、輸出層;

所述步驟（13）中的利用測試集和驗證集對所述卷積神經網絡進行訓練的操作包括：

從輸入層輸入RGB空間的樣本；利用第一卷積層、第二卷積層、第三卷積層對RGB空間的樣本進行特征提取得到RGB空間的特征圖；

將樣本從RGB空間轉到YUV空間，利用第一卷積層、第二卷積層、第三卷積層對所有YUV空間的樣本進行特征提取得到YUV空間的特征圖；

將RGB空間的特征圖、YUV空間的特征圖一起輸入到全局均值池化層；

所述全局均值池化層對RGB空間的特征圖、YUV空間的特征圖求全局均值；并將全局均值發送給輸出層。

2.根據權利要求1所述的用于智能噴藥機器人的美國白蛾幼蟲網幕圖像定位方法，其特征在于：所述輸出層含有三個神經元，分別對應優秀、合格、不合格；

所述優秀對應白蛾網幕類，所述合格對應有白蛾網幕類，所述不合格對應無白蛾網幕類。

3.根據權利要求1所述的用于智能噴藥機器人的美國白蛾幼蟲網幕圖像定位方法，其特征在于：所述步驟2中的利用不重合滑動窗口遍歷每幀圖像，得到多個候選框的操作包括：

（21）依據圖像的大小確定滑動窗口的尺寸：每幀圖像的寬和高能分別被滑動窗口的寬w和高h整除；設置滑動窗口的面積最小值S_n；

（22）以圖像的左上角為坐標原點，以圖像的右側作為x軸正方向，以圖像的下側作為y軸正方向建立圖像坐標系；將圖像的坐標原點作為滑動窗口起始點，將滑動窗口的寬作為滑動窗口x軸方向的步長，將滑動窗口的高作為圖像y軸的步長；

（23）將滑動窗口按照從左到右、從上到下的順序進行滑動；滑動窗口的尺寸和移動到的位置即為候選框的尺寸和位置，這樣得到多個候選框。