[發明專利]用于對物品定位、識別和計數的系統和方法

在審

• 申請號: 201780020305.0
• 申請日: 2017-03-28
• 公開（公告）號: CN109154993A
• 公開（公告）日: 2019-01-04
• 發明（設計）人: 薩眾恩·斯卡夫;喬納森·戴維斯·泰勒;斯蒂芬·文森特·威廉斯;斯曼特·杜布
• 申請（專利權）人: 波薩諾瓦機器人知識產權有限公司
• 主分類號: G06K17/00
• 分類號: G06K17/00;G06Q10/08
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 周靖;楊明釗

一種用于構建產品庫而不需要貨架圖的系統包括被操作來提供物品的圖像的圖像捕獲單元。從貨架標簽檢測器和深度圖創建單元獲取數據，處理模塊可用于將檢測到的貨架標簽與深度圖進行比較，限定產品邊界框，并使邊界框與由圖像捕獲單元提供的圖像相關聯以構建圖像描述符。該系統可以包括用于支撐和移動圖像捕獲單元和其他組件的一個或更多個自主機器人。

相關專利申請的交叉引用

本公開是要求2016年3月29日提交的美國專利申請號62/314,785“System andMethod for Locating,Identifying and Counting Products on Shelves”和2016年11月29日提交的美國專利申請號62/427,509“System and Method for Locating,Identifyingand Counting Items”的優先權利益的非臨時專利申請的部分。

技術領域

本公開總體上涉及一種能夠準確地監控零售或倉庫產品庫存而不需要初始貨架圖的多攝像頭傳感器套件。在某些實施例中，多攝像頭傳感器套件可以安裝在自主機器人上，并且包括板載處理以提供接近實時的產品跟蹤。

背景

零售店或倉庫可以有常常被出售、移除、添加或重新定位的成千個不同的產品。即使使用頻繁補進存貨計劃，被假定為有庫存的產品也可能無庫存，降低了銷售和消費者滿意度。銷售點數據可用于粗略估計產品可獲得性，但無助于識別錯放、被盜或損壞的產品，所有這些都可能降低產品可獲得性。然而，手動監控產品庫存和跟蹤產品位置是昂貴和耗時的。

一種用于跟蹤產品庫存的解決方案依賴于貨架圖(顯示具體產品在貨架或展示臺上應該如何放置以及放置在哪里的列表或圖表)與機器視覺技術的結合。給定貨架圖，機器視覺可以用來幫助貨架空間依從性。例如，大量的固定位置攝像頭可以在整個商店中用于監控過道，其中貨架空間中的大空隙是對照貨架圖或貨架標簽可檢查的，且如果必要，可以被標記為“無庫存”。可選地，可以使用較少數量的可移動攝像頭來掃描商店過道。即使使用這樣的系統，通常也需要人工干預來構建初始貨架圖，該貨架圖包括與可以包括產品標識、放置和計數的邊界框相關的詳細信息。還可能需要大量人工干預來更新貨架圖以及搜索錯放的產品庫存。

概述

一種用于產品或其他庫存監控的低成本、準確且可擴展的攝像頭系統可以包括可移動基座。由可移動基座支撐的多個攝像頭可定向到貨架或其他用于容納產品或庫存的系統。處理模塊連接到多個攝像頭，并且能夠從攝像頭得到的圖像構建產品或庫存位置的可更新圖。

在一些實施例中，所描述的用于庫存監控的攝像頭系統可用于檢測貨架標簽；可選地，將貨架標簽與深度圖進行比較；限定產品邊界框；將邊界框與貨架標簽相關聯以構建訓練數據集；以及使用訓練數據集來訓練產品分類器。

在其他實施例中，用于構建產品庫的系統可以包括被操作來提供物品的圖像的圖像捕獲單元。該系統還包括貨架標簽檢測器(其可以是高分辨率可變焦攝像頭)和可選地包括深度圖創建單元(其可以通過激光掃描、飛行時間范圍感測或立體成像來提供)，可選地將檢測到的貨架標簽與深度圖進行比較、限定產品邊界框以及將邊界框與貨架標簽相關聯以構建訓練數據集或學習圖像描述符的處理模塊。圖像捕獲單元和處理模塊都可以安裝在自主機器人上。