[發明專利]商品取放識別裝置及商品取放識別方法

在審

• 申請號: 202110262710.1
• 申請日: 2021-03-11
• 公開（公告）號: CN113052020A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 盧毅;林晨寬
• 申請（專利權）人: 浙江星星冷鏈集成股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q30/06;G07F11/00
• 代理公司: 上海德昭知識產權代理有限公司 31204
• 代理人: 郁旦蓉;盧泓宇

本發明提供一種商品取放識別裝置及商品取放識別方法，用于對用戶在智能售貨柜中取放待售商品時拍攝得到的取放視頻進行識別，其特征在于，商品取放識別裝置包括：商品解析部，從取放視頻的幀圖像中解析出每一幀圖像中含有的各個商品的輪廓和對應的位置信息；輪廓判定部，基于預定輪廓變形范圍判定規則以及預定位置信息移動范圍判定規則，以及根據相鄰兩個幀圖像含有的各個商品的輪廓和位置信息，判定出各個幀圖像中各個輪廓之間的對應關系，并將具有該對應關系的輪廓所對應的商品作為同一待售商品；移動軌跡形成部，將每個幀圖像中同一待售商品的位置信息連接形成商品移動軌跡；以及取放判定部，至少根據商品移動軌跡判定待售商品是否被用戶取放。

技術領域

本發明屬于智能售貨領域，涉及智能售貨柜，具體涉及一種商品取放識別裝置及方法。

背景技術

智能售貨柜是商業自動化的常用設備，可以布置在商場、超市、等位置，為來往的用戶提供零售服務。動態圖像柜是一種常見的智能售貨柜，能夠通過對攝像頭拍攝視頻來識別出被用戶取出的商品，其具有生產、維護成本低、以及內部空間利用率高等特點。

然而，目前市面上的動態圖像柜仍然存在很多不足，主要問題在于識別精度低，難以準確地判斷視頻幀中識別出的商品是否確為被用戶取放的待售商品，因此容易導致商品的結算出錯，往往需要依靠人工配合審單。這不僅極大地影響了用戶的購物體驗，而且還提升了人員管理的成本。

為了提升動態圖像柜的識別準確率，現有的商品識別方法(專利201910923841.2)通過先從視頻中識別出手持商品，然后對手持商品進行識別以及分類從而確定被用戶拿去的待售商品。但這種方法依然存在不足：一是當用戶佩戴手套、或手被衣物遮擋時就無法正確識別；二是容易將客戶自帶的商品錯誤地識別為待售商品。

除了上述這類方法之外，現有各種商品識別方法的識別精度低的主要原因普遍在于：商品被取放的過程中狀態可能會發生較大的變化，如商品與攝像頭的角度或者距離發生變化時，商品的面積、長寬高都會發生較大變化，進而導致識別失敗。

發明內容

為解決上述問題，提供一種能夠判定出視頻的各個幀圖像中各個被識別出的商品輪廓之間的對應關系，從而實現商品移動軌跡以及取放狀態的準確識別的商品取放識別裝置及方法，本發明采用了如下技術方案：

結構一

本發明提供了一種商品取放識別裝置，用于對用戶在智能售貨柜中取放待售商品時拍攝得到的取放視頻進行識別，其特征在于，包括：幀圖像分解部，將取放視頻分解為多個幀圖像；商品解析部，分別從每一個幀圖像中解析出該幀圖像中含有的各個商品的輪廓和對應的位置信息；輪廓判定部，基于預定輪廓變形范圍判定規則以及預定位置信息移動范圍判定規則，以及根據相鄰兩個幀圖像含有的各個商品的輪廓和位置信息，判定出各個幀圖像中各個輪廓之間的對應關系，并將具有該對應關系的輪廓所對應的商品作為同一待售商品；移動軌跡形成部，將每個幀圖像中同一待售商品的位置信息按照時間順序連接形成待售商品的商品移動軌跡；以及取放判定部，至少根據商品移動軌跡判定待售商品是否被用戶取放。

結構二

本發明還提供了一種商品取放識別方法，用于對用戶在智能售貨柜中取放待售商品時拍攝得到的取放視頻進行識別，其特征在于，包括以下步驟：幀圖像分解步驟，將取放視頻分解為多個幀圖像；商品解析步驟，分別從每一個幀圖像中解析出該幀圖像中含有的各個商品的輪廓和對應的位置信息；輪廓判定步驟，基于預定輪廓變形范圍判定規則以及預定位置信息移動范圍判定規則，以及根據相鄰兩個幀圖像含有的各個商品的輪廓和位置信息，判定出各個幀圖像中各個輪廓之間的對應關系，并將具有該對應關系的輪廓所對應的商品作為同一待售商品；移動軌跡形成步驟，將每個幀圖像中同一待售商品的位置信息按照時間順序連接形成待售商品的商品移動軌跡；取放判定步驟，至少根據商品移動軌跡判定待售商品是否被用戶取放。

發明作用與效果