[發明專利]一種商品取放識別方法、裝置、系統及設備

有效

• 申請號: 202010600350.7
• 申請日: 2020-06-28
• 公開（公告）號: CN111738184B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 鄒明杰;張天琦;程浩;吳昌建;陳鵬;戴華東;龔暉;張玉全;張迪;朱皓
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06V40/10;G06F16/903;G06F16/583;H04N7/18;G06Q30/06;G16Y10/45;G16Y20/20;G16Y40/10
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 郭思晨

1.一種商品取放的識別方法，其特征在于，所述方法應用于電子設備，包括：

接收到重力檢測設備上報的貨格信息：所述貨格信息包括：配備有所述重力檢測設備的目標貨格的目標貨格標識、目標貨格發生重量變化的目標時間、重量變化后的目標貨格重量；所述貨格信息是所述重力檢測設備在檢測到所述目標貨格的重力發生變化后上報的；

基于所述目標貨格標識、所述重量變化后的目標貨格重量，確定目標貨格被取或放的商品及其數量；

依據所述目標時間，從至少一個目標監控設備所采集的視頻流中獲取目標視頻流；所述目標視頻流包括：采集時間在目標時間之后的至少一組第一預設數量圖像幀和/或采集時間在目標時間之前的至少一組第二預設數量圖像幀；目標監控設備至少用于采集所述目標貨格所處區域的視頻流；

從所述目標視頻流中識別出與所述目標貨格關聯的目標手部對象、以及所述目標手部對象取或放的商品及其數量；

確定從所述目標視頻流中識別出與所述目標貨格關聯的目標手部對象的數量；

在所述目標手部對象的數量為多個的情況下，若所有目標手部對象取或放的商品及其數量與所述目標貨格被取或放的商品及其數量不匹配，則對所有目標手部對象取或放的同一商品的數量進行累加，若該商品及其累加數量與所述目標貨格被取或放的商品及其數量匹配，則將各目標手部對象對應的目標用戶標識與該目標手部對象取或放的商品及其數量關聯。

2.根據權利要求1所述的方法，其特征在于，所述基于所述目標貨格標識、所述重量變化后的目標貨格重量，確定目標貨格被取或放的商品及其數量，包括：

在預設的貨格標識、商品標識、單件商品重量、貨格原有重量的對應關系中，查找所述目標貨格標識對應的商品標識、單件商品重量和貨格原有重量；

基于查找到的貨格原有重量和所述重量變化后的目標貨格重量，確定所述目標貨格的重量變化量；

基于所述貨格的重量變化量和查找到的單件商品重量，確定商品數量；

將查找到的商品標識和確定出的商品數量作為該目標貨格被取或放的商品及其數量。

3.根據權利要求1所述的方法，其特征在于，從所述目標視頻流中識別出與所述目標貨格關聯的目標手部對象，包括：

在預設的貨格標識與貨格頂點三維坐標信息的對應關系中，查找與所述目標貨格標識對應的目標貨格頂點三維坐標信息，基于所述目標貨格頂點三維坐標信息，確定所述目標貨格對應的目標三維區域；

獲得從所述目標視頻流的每一幀視頻圖像中識別出的手部對象的手部對象三維坐標信息，將手部對象三維坐標信息處于所述目標三維區域中的手部對象確定為所述目標手部對象。

4.根據權利要求1所述的方法，其特征在于，從所述目標視頻流中識別出所述目標手部對象取或放的商品及其數量，包括：

在所述目標視頻流的各視頻圖像中確定所述目標手部對象對應的目標手部區域；

依據所述目標視頻流的各視頻圖像中目標手部區域的商品，確定目標手部對象取或放的商品及其數量。

5.根據權利要求4所述的方法，其特征在于，所述依據所述目標視頻流的各視頻圖像中目標手部區域的商品，確定目標手部對象取或放的商品及其數量，包括：

依據各第一預設數量圖像幀中各視頻圖像中目標手部區域的商品標識和數量，確定在所述目標時間之后所述目標手部對象在各幀標識下關聯的候選商品標識和候選商品的候選數量；和/或，依據各第二預設數量圖像幀中各視頻圖像中目標手部區域的商品標識和數量，確定在所述目標時間之前所述目標手部對象在各幀標識下關聯的候選商品標識和候選商品的候選數量；

依據在所述目標時間之后和/或在所述目標時間之前所述目標手部對象在各幀標識下關聯的候選商品標識和候選數量，確定目標手部對象取或放的目標商品及其目標數量。