[發(fā)明專利]一種基于深度學習的果實識別方法

在審

• 申請?zhí)枺?/td>: 202210188728.6
• 申請日: 2022-02-28
• 公開（公告）號: CN114565864A
• 公開（公告）日: 2022-05-31
• 發(fā)明（設計）人: 章軍;胡濤;陳鵬;夏懿;王儒敬;陳建峰;牛子寒;王劉向;黃瓊嬌;路寶榕;許浪
• 申請（專利權）人: 中科合肥智慧農業(yè)協同創(chuàng)新研究院
• 主分類號: G06V20/17
• 分類號: G06V20/17;G06V20/68;G06V10/25;G06V10/774;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 合肥國和專利代理事務所(普通合伙) 34131
• 代理人: 張祥騫

本發(fā)明提供一種基于深度學習的果實識別方法，通過獲取拍攝圖像；所述拍攝圖像包括果實對象；基于TPH?YOLOv5模型執(zhí)行果實對象的檢測；所述TPH?YOLOv5模型包括Transformer編碼器預測頭和yolo?v5的主干網絡；所述Transformer編碼器包含多頭注意模塊和前饋神經網絡MLP模塊；所述多頭注意模塊基于卷積塊注意模塊CBAM來實現，用于提取注意區(qū)域。通過改進的TPH?YOLOv5目標檢測算法，用變換器預測頭(TPH)替換原來的預測頭，提高了注意機制的預測潛力，且通過集成了卷積塊注意模型(CBAM)來尋找稠密物體場景中的注意區(qū)域，本發(fā)明TPH?YOLOv5目標檢測算法能夠大大提高了檢測效率以及檢測準確率。

技術領域

本發(fā)明涉及圖像檢測領域，具體涉及一種基于深度學習的果實識別方法。

背景技術

世界上廣泛應用溫室進行設施栽培，20世紀后期以來設施農業(yè)產業(yè)得到了大規(guī)模迅猛發(fā)展。設施農業(yè)是典型的勞動密集型產業(yè)，其中鮮食果蔬的收獲又是占用勞動力最多且最難以實現機械化作業(yè)的關鍵環(huán)節(jié)。即使發(fā)達國家的設施農業(yè)作業(yè)已達到了高度自動化，但采摘環(huán)節(jié)仍依賴大量人工來完成，實現采摘作業(yè)的自動化已成為設施農業(yè)生產發(fā)展的現實需求。然而，人工采摘十分辛苦和勞累，很多果農因為沉重的采收勞動也使廣大果農苦不堪言。因此，國內外針對溫室采摘機器人技術開展了大量研究并取得了重要成果。中國現有設施農業(yè)面積超過400萬hm2，占世界設施園藝總面積的85％。近幾十年來中國的設施農業(yè)借助農業(yè)勞動力資源豐富的優(yōu)勢實現了超高速發(fā)展，但是農業(yè)勞動力急缺、農業(yè)勞動力成本驟升和居民對設施蔬果品質要求的提高，已使我國設施農業(yè)遇到了發(fā)展的瓶頸。解決關鍵采摘環(huán)節(jié)的勞動力替代問題，使我國采摘機器人技術快速發(fā)展成為必然。草莓是全球生產和消費最為廣泛的鮮食果蔬，也是采摘機器人研究最為活躍、研發(fā)成果最為豐富的領域。現階段隨著工業(yè)自動化的不斷發(fā)展，實現草莓采摘的智能化、機械化已經成為了一種必然的發(fā)展趨勢，而實現智能草莓采摘的關鍵就是要設計出精度較高的圖像識別系統。

受到卷積神經網絡(CNN)在許多計算機視覺任務的成功應用的啟發(fā)，我們將注意力轉向基于深度學習的方法來解決視覺問題。基于無人機拍攝的帶有注釋的草莓數據集，通過神經網絡模型訓練來得到最終的分類結果。然而，大多數以前的卷積神經網絡是為自然場景圖像設計的。直接應用以前的模型來處理無人機捕獲場景中的目標檢測任務主要有三個問題。首先，由于無人駕駛飛機的飛行高度可能變化很大，因此目標比例變化劇烈。其次，無人機拍攝的圖像包含高密度的對象，這會在對象之間造成遮擋。第三，無人機拍攝的圖像由于覆蓋面積大，總是包含令人困惑的背景元素。上述三個問題使得無人機拍攝圖像的目標檢測非常具有挑戰(zhàn)性，而草莓采摘機器人的圖像識別系統也會遇到后面兩個同樣的問題，因此針對無人機拍攝得到草莓圖像的解決方案也能很好的仔草莓采摘機器人上進行應用。

現有技術進行草莓的采摘，其中人工采摘，首先，由于我國傳統栽培方式都是地面壟作栽培，產量低，地面環(huán)境復雜，容易遮擋草莓也不利于草莓采光和采摘，且受到土地限制，采摘時要一直低頭彎腰，十分辛苦和勞累，沉重的采收勞動也使廣大果農苦不堪言；其次，人工采摘也有很大的經濟成本。而基于圖像處理的自動采摘，無論是草莓采摘機器人還是無人機拍攝的圖像都會包含高密度的對象，這會在對象之間造成遮擋；其次，拍攝的圖像由于覆蓋面積大，總是包含令人困惑的背景元素。因此使得對采集到的圖像進行目標檢測非常具有挑戰(zhàn)性。為此，得到一個實時性高，識別準確率高的草莓檢測識別系統，這個檢測識別系統要能夠實現較高的識別準確率、識別效率，并且能夠有效的降低設備成本，且要對復雜背景中的小目標有很好的檢測識別效果顯得尤為重要。

發(fā)明內容

有鑒于此，本發(fā)明提供了一種基于深度學習的果實識別方法，通過用變換器預測頭(TPH)替換原來的預測頭，提高了注意機制的預測潛力，且集成了卷積塊注意模型(CBAM)來尋找稠密物體場景中的注意區(qū)域，使得TPH-YOLOv5目標檢測算法解決了識別效率以及識別準確率低的問題，且保證小目標識別。

本發(fā)明的技術方案如下：

一種基于深度學習的果實識別方法，包括：