[發明專利]基于圖像識別物體的方法、智能設備及應用

有效

• 申請號: 201910193840.7
• 申請日: 2019-03-14
• 公開（公告）號: CN110084244B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 婁軍;鹿鵬
• 申請（專利權）人: 上海達顯智能科技有限公司
• 主分類號: G06V20/68
• 分類號: G06V20/68;G06V10/82;G06V10/774;G06N3/0464;G06N3/084
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 胡晶

一種基于圖像識別物體的方法，該方法應用在對智能設備腔體內的物體進行識別，智能設備腔體內安裝有圖像采集裝置，圖像采集裝置用于采集智能設備腔體中待識別物體的圖像，方法包括步驟：獲取圖像采集裝置采集智能設備腔體內待識別物體的圖像；將圖像輸入至深度卷積神經網絡模型，利用深度卷積神經網絡模型對圖像進行識別獲得待識別物體的種類、重量、數量和/或位置。由于通過圖像采集裝置和深度卷積神經網絡模型相結合識別出物體的種類、重量、數量和/或位置，因此，避免了使用重量傳感器，降低了成本。

技術領域

本發明涉及圖像識別技術領域，具體涉及基于圖像識別物體的方法、智能設備及應用。

背景技術

傳統烤箱無法分辨烘烤食物的種類、數量與重量，所以無法主動的控制食材的加熱溫度、時間等加熱過程，需要用戶手動設置。又由于食材的多樣性使得用戶很難精確的控制加熱過程，導致烘烤失敗。已有的解決方案是通過添加攝像頭，使用計算機視覺方法識別食物的種類；然后添加重量傳感器獲取食物的重量。此方案的成本較高，且重量傳感器的校準較為復雜。

發明內容

本申請提供一種基于圖像識別物體的方法、智能設備及應用，可以實現無需重量傳感器也能識別物體重量的目的，以解決利用重量傳感器成本較高、校準復雜的問題。

根據第一方面，一種實施例中，提供一種基于圖像識別物體的方法，所述識別方法應用在對智能設備腔體內的物體進行識別，所述智能設備腔體內安裝有圖像采集裝置，所述圖像采集裝置用于采集所述智能設備腔體中待識別物體的圖像，所述識別方法包括步驟：

獲取所述圖像采集裝置采集智能設備腔體內待識別物體的圖像；

將所述圖像輸入至深度卷積神經網絡模型，利用所述深度卷積神經網絡模型對所述圖像進行識別獲得待識別物體的種類、重量、數量和/或位置。

一種實施例中，還包括采集訓練數據集，利用采集的訓練數據集對所述深度卷積神經網絡模型進行訓練的步驟，其中，采集訓練數據集包括步驟：

創建模擬腔體，所述模擬腔體的大小、形狀與智能設備腔體的大小形狀相同；

在所述模擬腔體內安裝圖像采集裝置，所述模擬腔體內的圖像采集裝置的參數與所述智能設備腔體內的圖像采集裝置的參數相同，及所述模擬腔體內的圖像采集裝置的安裝位置與所述智能設備腔體內的圖像采集裝置的安裝位置、角度相同；

利用所述模擬腔體內的圖像采集裝置對模擬腔體內的物體進行圖像采集；

對采集的圖像進行特征值標定，標定的特征值作為訓練數據，所述標定的特征值為物體種類、物體重量、物體數量和/或位置。

一種實施例中，所述深度卷積神經網絡模型為MobileNetV2網絡結構，所述標定的特征值為物體種類、物體重量和數量，所述MobileNetV2網絡結構的損失函數為：loss(cls)+αloss(wt)+βloss(num)，其中，loss(cls)為物體類別的損失函數，α和β為平衡參數，loss(wt)為物體重量的損失函數，loss(num)為物體數量的損失函數。

一種實施例中，所述深度卷積神經網絡模型為SSD網絡結構，所述標定的特征值為物體種類、物體重量和物體在模擬腔體內的位置，所述SSD網絡結構的損失函數為：loss(cls)+αloss(loc)+βloss(wt)，其中，α和β為平衡參數，loss(cls)為物體類別的損失函數，loss(loc)為物體位置的損失函數，loss(wt)為物體重量的損失函數。

一種實施例中，所述深度卷積神經網絡模型為SSD網絡結構，所述標定的特征值為物體種類和物體外接矩形框，所述SSD網絡結構識別待識別物體重量的步驟為：

計算圖像坐標到智能設備腔體內用于承載物體的承載體坐標的映射關系表；

將承載體劃分成M*N的網格；