[發明專利]跟蹤商店內的貨架上的產品的放置的方法

在審

• 申請號: 201780044524.2
• 申請日: 2017-05-19
• 公開（公告）號: CN109564619A
• 公開（公告）日: 2019-04-02
• 發明（設計）人: 布拉德利·博格勒;米爾扎·阿克巴·沙;洛林·范德格里夫特;盧克·弗雷澤;賈里尤拉赫·薩菲;杰弗里·吉
• 申請（專利權）人: 思比機器人公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06Q10/08
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 周靖;楊明釗

1.一種用于跟蹤產品在商店貨架上的放置的方法，所述方法包括：

·訪問包括由移動機器人系統在第一時間記錄的可視化數據的第一圖像，所述第一圖像與所述移動機器人系統在所述第一時間在所述商店內的第一定位和第一取向相關聯；

·檢測表示在所述第一圖像的第一區域附近的第一貨架；

·基于所述第一定位、所述第一取向和所述第一貨架在所述第一圖像內的垂直位置來確定所述第一貨架的地址；

·基于所述第一貨架的所述地址，檢索根據所述商店的貨架圖被分配給所述第一貨架的第一產品列表；

·從模板圖像數據庫中檢索第一組模板圖像，所述第一組模板圖像中的每個模板圖像包括在所述第一產品列表中指定的產品的可視化特征；

·從所述第一圖像的所述第一區域提取第一組特征；

·響應于在所述第一組特征中的特征和在所述第一組模板圖像中的表示所述第一產品列表中的第一產品的第一模板圖像中的特征之間的相關性確認所述第一產品的單元在所述第一貨架上的存在；

·響應于在所述第一組特征中的特征和所述第一模板圖像中的特征之間的偏差，確定所述第一產品的單元是被不正確地存放在所述第一貨架上的；以及

·響應于確定所述第一產品的單元是被不正確地存放在所述第一貨架上的，針對所述第一貨架上的所述第一產品生成第一重新存放提示。

2.根據權利要求1所述的方法：

·其中，從所述第一圖像的所述第一區域提取所述第一組特征包括：

o從所述第一圖像的所述第一區域，檢測跨越所述第一貨架布置的一組離散對象；

o識別在所述第一圖像的所述第一區域中的第一子區域，所述第一子區域對應于所述一組離散對象中的位于所述第一貨架上的第一位置處的第一離散對象；以及

o從所述第一圖像的所述第一區域中的所述第一子區域提取所述第一組特征；以及

·其中，確認所述第一產品的單元在所述第一貨架上的存在包括響應于在所述第一組特征中的特征和在表示所述第一產品的所述第一模板圖像中的特征之間的相關性，將所述第一離散對象識別為所述第一產品的單元。

3.根據權利要求2所述的方法：

·還包括：

o識別所述第一圖像的所述第一區域中的第二子區域，所述第二子區域對應于所述一組離散對象中的位于所述第一貨架上的第二位置處的第二離散對象；

o從所述第一圖像的所述第一區域中的所述第二子區域提取第二組特征；

o響應于在所述第二組特征中的特征和在所述第一組模板圖像中的表示所述第一產品列表中的第二產品的第二模板圖像中的特征之間的相關性將所述第二離散對象識別為所述第二產品的單元；以及

o響應于將所述第一離散對象識別為所述第一產品的單元和將所述第二離散對象識別為所述第二產品的單元，響應于在所述第一位置和所述第二位置之間的橫向偏移偏離根據所述貨架圖被分配給所述第一貨架上的所述第一產品和所述第二產品的目標橫向偏移，檢測到所述第一產品的單元和所述第二產品的單元的不正確布置；和

·其中，針對所述第一貨架上的所述第一產品生成所述第一重新存放提示包括響應于檢測到所述第一產品和所述第二產品在所述第一貨架上的不正確布置而生成指定對所述第一產品的單元和所述第二產品的單元的相對位置的糾正的所述第一重新存放提示。

4.根據權利要求1所述的方法：

·其中，確認所述第一產品的單元在所述第一貨架上的存在包括響應于所述第一組特征中的離散特征群表現出與表示所述第一產品的所述第一模板圖像中的特征的強相關性，確認所述第一產品的一組離散單元在所述第一貨架上的存在；

·還包括：

o生成在所述第一貨架上的所述第一產品的所述一組離散單元中的所述第一產品的單元的計數；

o響應于所述計數等于根據所述貨架圖被分配給所述第一貨架的所述第一產品的界面的數量，確認所述第一貨架上的所述第一產品的正確存放；和

o響應于所述計數偏離根據所述貨架圖被分配給所述第一貨架的所述第一產品的界面的數量，檢測到所述第一貨架上的所述第一產品的不正確存放；和

·其中，針對所述第一貨架上的所述第一產品生成所述第一重新存放提示包括響應于檢測到所述第一貨架上的所述第一產品的不正確存放生成指定對所述第一貨架上的所述第一產品的界面的糾正的所述第一重新存放提示。