[發(fā)明專利]基于深度神經(jīng)網(wǎng)絡(luò)的水果檢測方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110737328.1
• 申請日: 2021-06-30
• 公開（公告）號: CN113313708B
• 公開（公告）日: 2022-10-18
• 發(fā)明（設(shè)計）人: 江明;徐印赟;吳云飛;劉富春;盧志遠(yuǎn)
• 申請（專利權(quán)）人: 安徽工程大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/25;G06V10/44;G06V10/774;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 蕪湖安匯知識產(chǎn)權(quán)代理有限公司 34107
• 代理人: 鐘雪

1.一種基于深度神經(jīng)網(wǎng)絡(luò)的水果檢測方法，其特征在于，所述方法具體包括如下步驟：

S1、相機采集圖像，所述圖像中包含至少一個目標(biāo)物體；

S2、將采集到的圖像輸入神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)輸出含有檢測框的目標(biāo)物體及其置信度得分；

S3、檢測并刪除圖像中各目標(biāo)物體的冗余檢測框，剩余檢測框內(nèi)的圖像即為目標(biāo)物體圖像；

所述神經(jīng)網(wǎng)絡(luò)包括：

用于檢測大目標(biāo)物體的第一目標(biāo)檢測層，在第一目標(biāo)檢測層的前端設(shè)置SPP5模塊,SPP5模塊的兩端分別連接CSPDarknet53結(jié)構(gòu)的深層卷積層及第一特征檢測單元I，深層卷積層將輸出的深層特征圖傳輸至SPP5模塊，經(jīng)SPP5模塊處理后的圖像輸出至第一特征檢測單元I；

用于檢測中目標(biāo)物體的第二目標(biāo)檢測層,第二目標(biāo)檢測層上設(shè)有第一特征檢測單元Ⅱ；

用于檢測小目標(biāo)物體的第三目標(biāo)檢測層，在第三目標(biāo)檢測層的前端設(shè)置有SPP模塊,SPP模塊的兩端分別連接CSPDarknet53結(jié)構(gòu)的淺層卷積層及第一特征檢測單元Ⅲ，淺層卷積層將淺層特征圖輸出至SPP模塊，經(jīng)SPP模塊處理后的圖像輸出至第一特征檢測單元Ⅲ；

第一特征檢測單元I輸出的特征圖像進(jìn)行上采樣后,傳輸至第一特征檢測單元Ⅱ，對第一特征檢測單元Ⅱ輸出的特征圖像進(jìn)行上采樣,輸出至第一特征檢測單元Ⅲ；

其中，SPP模塊的池化核大小為1×1，5×5，9×9，13×13；

SPP5模塊的池化核大小細(xì)化為1×1，4×4，7×7，10×10，13×13。

2.如權(quán)利要求1所述基于深度神經(jīng)網(wǎng)絡(luò)的水果檢測方法，其特征在于，在步驟S3之后還包括如下步驟：

基于識別出的目標(biāo)物體圖像進(jìn)行分揀，其分揀方法具體包括如下步驟：

S4、計算目標(biāo)物體中心在圖像坐標(biāo)系中的圖像坐標(biāo)，將目標(biāo)物體中心的圖像坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)系下的空間坐標(biāo)，并計算目標(biāo)物體的大小；

S5、對目標(biāo)物體的空間坐標(biāo)進(jìn)行逆運動學(xué)角度求解，進(jìn)行機械臂抓取；

S6、機械臂單軸轉(zhuǎn)動進(jìn)行缺陷檢測，將無缺陷的目標(biāo)物體按照尺寸大小進(jìn)行分揀。

3.如權(quán)利要求1所述基于深度神經(jīng)網(wǎng)絡(luò)的水果檢測方法，其特征在于，目標(biāo)物體圖像的獲取具體包括如下步驟：

S31、基于目標(biāo)物體的類別將檢測框進(jìn)行分類，每類檢測框按置信度得分降序排列，選擇置信度得分最高的檢測框；

S32、計算其他檢測框與置信度得分最高檢測框的曼哈頓距離P，刪除曼哈頓距離P小于閾值ε₁的檢測框；

S33、計算剩余檢測框的與置信度得分最高檢測框的加權(quán)曼哈頓距離WP及中心點距離交并比DIOU，將WP小于閾值ε₂且DIOU小于等于閾值N_t的檢測框進(jìn)行刪除；

S34、保留曼哈頓距離P大于等于閾值ε₁且WP大于等于閾值ε₂，或者是曼哈頓距離P大于等于閾值ε₁且DIOU小于等于閾值N_t的檢測框，檢測保留的檢測框數(shù)量是否為1，若檢測結(jié)果為是，則將該保留的檢測框作為該類目標(biāo)物體的檢測框，若檢測結(jié)果為否，則執(zhí)行步驟S35；

S35、將置信度得分最高的檢測框作為該類目標(biāo)物體的檢測框，在保留的檢測框中重新選擇置信度得分最高的檢測框，執(zhí)行步驟S32。

4.如權(quán)利要求3所述基于深度神經(jīng)網(wǎng)絡(luò)的水果檢測方法，其特征在于，檢測框k1與檢測框k2間的曼哈頓距離P的計算公式具體如下：

P＝|(x₁-x₃)|+|(x₂-x₄)|+|(y₁-y₃)|+|(y₂-y₄)|

其中，(x₁,y₁)、(x₂,y₂)表示檢測框k1左上角點和右下角點的圖像坐標(biāo)，(x₃,y₃)、(x₄,y₄)表示檢測框k2左上角點和右下角點的圖像坐標(biāo)。