[發明專利]一種商品識別與姿態估計方法及裝置

在審

• 申請號: 202110710231.1
• 申請日: 2021-06-25
• 公開（公告）號: CN113344108A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 陳萬春
• 申請（專利權）人: 視比特（長沙）機器人科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京中企訊專利代理事務所(普通合伙) 11677
• 代理人: 熊亮

本發明提供一種商品識別與姿態估計方法及裝置，所述方法包括：訓練得到至少能夠識別出圖片中的商品的種類及商品所在區域位置特征的商品識別模型，所述圖片為對商品所在的實際環境拍攝得到；確定對應每個商品的局部區域模板，所述局部區域模板用于體現所述商品在所述實際環境中，位于不同觀察角度下的姿態；將包含目標商品的實際場景圖片輸入至商品識別模型中，獲得由商品識別模型輸出的所述目標商品的種類以及目標商品在實際場景圖片中的區域位置；基于目標商品的種類及區域位置確定與所述目標商品匹配的目標區域模板；至少基于所述目標區域模板確定所述目標商品的姿態估計結果；基于所述姿態估計結果輔助實現機器人對所述目標商品的操作。

技術領域

本發明實施例涉及機器人技術領域，特別涉及一種商品識別與姿態估計方法及裝置。

背景技術

隨著機器人技術的蓬勃發展，越來越多的行業選擇使用合適的智能機器人來替代大量耗費人力的生產工作環節。在傳統的零售行業中，由人推著小車到固定貨架碼放與收揀商品，是一件費時費力且效率低下的工作。為提高效率，在零售行業中，出現了大量輔助人工，進行商品揀選的智能機器人，但現有的大部分商品揀選機器人因受機器視覺算法的限制，功能多局限于從貨架上揀取商品，而更為復雜的分類碼放等需求，則并未更多的涉及。

為進一步擴大智能機器人在零售行業中的使用范圍，急需機器視覺為智能機器人提供更可靠的技術支撐，使其具備更強大更具有普適性的功能。為在零售行業等環境中，實現機器人自動收揀與碼放商品，機器視覺需要能準確地為機器人提供以下信息：料框中或貨架上商品的種類、機器人的實際抓取位置，以及為了將商品從料框中以正確方式抓取并穩定放置于商品貨架上所必備的商品的正向朝向，即商品的姿態等。

綜上所述，為實現上述功能，存在以下技術難點：

(1)對大量商品種類的準確識別；眾所周知，隨著零售行業的發展，商品種類日漸繁多，而要以機器人替代人工，則需具備與人類類似的視覺能力，傳統視覺算法皆無法在復雜環境下進行大量的類別判定。本發明運用新興的人工智能算法，為機器人提供可靠高效且穩定的商品類別識別能力；

(2)對商品姿態的準確估算。姿態估計問題，到目前為止，一直都是計算機視覺領域的重點難題，高效且準確的計算出物體的具體姿態，是極具挑戰的。本發明采用人工智能與傳統算法相結合的方式，即克服了人工智能算法需要大量訓練數據的缺點，也為傳統姿態估計算法在計算準確率上進行了提升，使整個算法能夠精確的為機器人估算出具體位置特定商品的實際朝向。

發明內容

針對現有機器人所運用的視覺算法中存在的缺陷與問題，本發明提供了一種商品識別與姿態估計的方法。

本發明實施例提供了一種商品識別與姿態估計方法，包括：

訓練得到至少能夠識別出圖片中的商品的種類及商品所在區域位置特征的商品識別模型，所述圖片為對商品所在的實際環境拍攝得到；

確定對應每個所述商品的局部區域模板，所述局部區域模板用于體現所述商品在所述實際環境中，位于不同觀察角度下的姿態；

將包含目標商品的實際場景圖片輸入至所述商品識別模型中，獲得由所述商品識別模型輸出的所述目標商品的種類以及目標商品在所述實際場景圖片中的區域位置；

基于所述目標商品的種類及區域位置確定與所述目標商品匹配的目標區域模板；

至少基于所述目標區域模板確定所述目標商品的姿態估計結果；

基于所述姿態估計結果輔助實現機器人對所述目標商品的操作。

可選地，還包括：

獲得第一數量的所述圖片；

對所述圖片中的所述商品的種類及輪廓進行標注；