[發明專利]具有包裝的果蔬的識別方法、識別裝置、電子設備以及計算機可讀介質

在審

• 申請號: 202010838175.5
• 申請日: 2020-08-19
• 公開（公告）號: CN112149501A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 孫建成;王勃;王云吉;于忠京;王鑫
• 申請（專利權）人: 北京豆牛網絡科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京奉思知識產權代理有限公司 11464
• 代理人: 鄒軼鮫;石紅艷

本發明提供了一種具有包裝的果蔬的識別方法識別裝置、電子設備以及計算機可讀介質。所述方法包括：數據集生成步驟，采集具有包裝的果蔬的視頻信息，并且對所采集的視頻信息進行預處理，以生成用于訓練的數據集；模型訓練步驟，構建深度學習卷積網絡模型，并基于數據集對所述深度學習卷積網絡模型進行訓練；以及識別步驟，基于已訓練的深度學習卷積網絡模型，對待識別的具有包裝的果蔬的視頻進行檢測，以識別視頻中的具有包裝的果蔬的屬性信息。本發明的上述方法能夠對帶包裝果蔬的品類、相應包裝種類以及目標在圖像中的位置等屬性進行識別。

技術領域

本發明涉及一種具有包裝的果蔬的識別方法和具有包裝的果蔬的識別裝置、電子設備以及計算機可讀介質。

背景技術

基于計算機視覺與數字圖像處理的目標檢測與識別是當前的一個重要研究方向，并被廣泛應用于視頻監控，自動駕駛，工業檢測，航空航天等諸多領域。從理論研究來說，在該技術領域已經形成一些較為成熟的深度學習算法，而相應的技術模型也在向更高的識別精度與更快的執行速度發展。然而，在算法的實際應用過程中，依然會面臨很多的挑戰。首先，相比于理論研究中常用的標準數據集或者已實現應用中人為設定的簡單場景(流水線等)，現實中實際的場景往往更加復雜，會存在畫面的景深、遮擋、光照、分辨率等影響因素，則模型在此時直接應用會有較低的準確率。其次，這些原始的深度模型以識別實體的具體分類為目標，不具備同時檢測具體類別與相關屬性的能力，如同時分別識別出水果的品類以及包裝，如需對不同類別的結果識別則需要通過不同的分類模型分別識別，則往往增加了實際處理時間也浪費處理資源。

例如，已知一種現有的水果識別方法中，首先構造了一批包含單個待識別目標圖像與不包含待識別目標圖像的指定品類水果數據集，并根據所選水果的品類做訓練數據預處理。對于預處理過的數據集提取特征向量，并將得到的特征向量輸入到深度學習模型中進行訓練得到識別模型。從而利用該識別模型進行水果識別應用。

然而，在該水果識別方法中，無法對在箱、筐等包裝內堆放品類識別，在密集堆放(部分遮擋)情況下也不適用。此外，由于僅做品類識別，不涉及包裝，因此功能上只能識別具體品類，不能做到品類與包裝實時識別。對于滑動窗口，處理速度慢，雖然可以定位目標位置，但采用滑動窗口的技術，大大增加了識別時間，相比于基于聚類的錨框實現，效率較低。

另外，已知另一種果蔬識別方法，該方法構造了一批水果蔬菜圖像的多種品類的果蔬數據集，樣本相對比較標準，每張圖像包含一個品類的一個個體，不涉及現實中的遮擋，包裝堆放，光照等復雜環境因素。將訓練數據集輸入到深度神經網絡中訓練，得到一個果蔬識別模型，輸出待識別目標的品類，不涉及位置，包裝等其他屬性信息。

然而，在該水果識別方法中，數據集不具備復雜環境，參考了標準的果蔬數據集，同時，該方法只能對果蔬的類別做出識別，不能同時識別出品類與包裝。另外，該方法不具備快速位置定位，整張圖像作為模型輸入，未標注待檢測實體位置信息，識別時不能快速定位并輸出位置信息。

發明內容

在例如市場環境中上，果蔬不同的包裝往往對應不同的品質，反映在價格上也會有較大差別。在包裝內的品類具有密集堆放、遮擋等復雜特征，同時也會受到市場天氣、光照等復雜現實環境影響，從而使得果蔬識別具備很大難度。

針對以上問題，本發明提供一種具有包裝的果蔬的識別方法、識別裝置、電子設備以及計算機可讀介質，其能夠對帶包裝果蔬的品類、相應包裝種類以及目標在圖像中的位置等屬性進行識別。

根據本發明的一方面，提供一種具有包裝的果蔬的識別方法，包括：

數據集生成步驟，采集具有包裝的果蔬的視頻信息，并且對所采集的所述視頻信息進行預處理，以生成用于訓練的數據集；

模型訓練步驟，構建深度學習卷積網絡模型，并基于所述數據集對所述深度學習卷積網絡模型進行訓練；以及