[發明專利]一種商品取放識別方法、裝置、系統及設備

有效

• 申請號: 202010600350.7
• 申請日: 2020-06-28
• 公開（公告）號: CN111738184B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 鄒明杰;張天琦;程浩;吳昌建;陳鵬;戴華東;龔暉;張玉全;張迪;朱皓
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06V40/10;G06F16/903;G06F16/583;H04N7/18;G06Q30/06;G16Y10/45;G16Y20/20;G16Y40/10
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 郭思晨

本申請提供一種商品取放識別方法、裝置、系統及設備，包括：接收到重力檢測設備上報的貨格信息，并基于貨格信息確定目標貨格取或放商品及其數量；依據所述重量變化的目標時間，從至少一個目標監控設備所采集的視頻流中獲取目標視頻流；從所述目標視頻流中識別出與所述目標貨格關聯的目標手部對象、以及所述目標手部對象取或放的商品及其數量；若所述目標手部對象取或放的商品及其數量與目標貨格被取或放的商品及其數量匹配，將目標手部對象對應的目標用戶標識與目標貨格被取或放的商品及其數量關聯。使用本申請提供的方法可以提高商品取放識別的準確性。

技術領域

本申請涉及圖像處理領域，尤其涉及一種商品取放識別方法、裝置、系統及設備。

背景技術

隨著電子支付技術、身份感知技術及云計算技術的發展，無人超市項目在技術上具備很高的可行性。

在無人超市項目中，電子設備需要準確識別用戶從貨格上取或放的商品及其數量，以自動更新用戶的虛擬購物車的商品信息，并基于虛擬購物車實現為客戶的自動結算。

因此，如何準確識別用戶取或放的商品及其數量就成為亟待解決的問題。

發明內容

有鑒于此，本申請提供一種商品取放識別方法、裝置、系統及電子設備，用于提高商品取放識別的準確性。

具體地，本申請是通過如下技術方案實現的：

根據本申請的第一方面，提供一種商品取放的識別方法，所述方法應用于電子設備，包括：

接收到重力檢測設備上報的貨格信息：所述貨格信息包括：配備有所述重力檢測設備的目標貨格的目標貨格標識、目標貨格發生重量變化的目標時間、重量變化后的目標貨格重量；所述貨格信息是所述重力檢測設備在檢測到所述目標貨格的重力發生變化后上報的；

基于所述目標貨格標識、所述重量變化后的目標貨格重量，確定目標貨格被取或放的商品及其數量；

依據所述目標時間，從至少一個目標監控設備所采集的視頻流中獲取目標視頻流；所述目標視頻流包括：采集時間在目標時間之后的至少一組第一預設數量圖像幀、和/或采集時間在目標時間之前的至少一組第二預設數量圖像幀；目標監控設備至少用于采集所述目標貨格所處區域的視頻流；

從所述目標視頻流中識別出與所述目標貨格關聯的目標手部對象、以及所述目標手部對象取或放的商品及其數量；

若所述目標手部對象取或放的商品及其數量與目標貨格被取或放的商品及其數量匹配，將目標手部對象對應的目標用戶標識與目標貨格被取或放的商品及其數量關聯。

可選的，所述基于所述目標貨格標識、所述重量變化后的目標貨格重量，確定目標貨格被取或放的商品及其數量，包括：

在預設的貨格標識、商品標識、單件商品重量、貨格原有重量的對應關系中，查找所述目標貨格標識對應的商品標識、單件商品重量和貨格原有重量；

基于查找到的貨格原有重量和所述重量變化后的目標貨格重量，確定所述目標貨格的重量變化量；

基于所述貨格的重量變化量和查找到的單件商品重量，確定商品數量；

將查找到的商品標識和確定出的商品數量作為該目標貨格被取或放的商品及其數量。

可選的，從所述目標視頻流中識別出與所述目標貨格關聯的目標手部對象，包括：

在預設的貨格標識與貨格頂點三維坐標信息的對應關系中，查找與所述目標貨格標識對應的目標貨格頂點三維坐標信息，基于所述目標貨格頂點三維坐標信息，確定所述目標貨格對應的目標三維區域；

獲得從所述目標視頻流的每一幀視頻圖像中識別出的手部對象的手部對象三維坐標信息，將手部對象三維坐標信息處于所述目標三維區域中的手部對象確定為所述目標手部對象。