[發明專利]一種貨架商品推薦方法及裝置

在審

• 申請號: 202111279552.7
• 申請日: 2021-11-01
• 公開（公告）號: CN113706227A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 夏青;孫斌;周斯雋;郭超
• 申請（專利權）人: 微晟（武漢）技術有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06K9/00;G06K9/62
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 原婧

1.一種貨架商品推薦方法，其特征在于，包括：

獲取用戶的行人特征圖像和所述用戶的手部動作圖像，且所述用戶的行人特征圖像和所述用戶的手部動作圖像綁定；

基于所述用戶的手部動作圖像，判斷用戶是否有目標購物行為，所述目標購物行為是用戶拿起貨架商品且又放回貨架商品的購物行為；

若是，通過智能貨架為所述用戶推薦第一目標貨架商品；

若否，基于所述用戶的行人特征圖像，通過智能貨架為所述用戶推薦第二目標貨架商品。

2.如權利要求1所述的方法，其特征在于，所述基于所述用戶的手部動作圖像，判斷用戶是否有目標購物行為，所述目標購物行為是用戶拿起貨架商品且又放回貨架商品的購物行為，包括：

基于所述用戶的手部動作圖像，獲得用戶手接觸貨架商品的目標圖像；

基于所述目標圖像，確定所述貨架商品的名稱；

根據所述貨架商品的名稱，監測所述用戶是否將所述貨架商品放回貨架，獲得監測結果；

基于所述監測結果，判斷所述用戶是否有目標購物行為，所述目標購物行為是用戶拿起貨架商品且又放回貨架商品的購物行為。

3.如權利要求2所述的方法，其特征在于，所述基于所述用戶的手部動作圖像，獲得用戶手接觸貨架商品的目標圖像，包括：

獲取用于識別顧客手接觸貨架商品的圖像的第一識別模型，所述第一識別模型為通過獲取歷史N組顧客手接觸物品的圖像信息，所述圖像信息包括：標注為顧客手接觸貨架商品的圖像和標注為顧客手接觸非貨架商品的圖像，N為正整數，采用所述歷史N組顧客手接觸物品的圖像信息進行機器學習訓練所得到的；

基于所述用戶的手部動作圖像和所述第一識別模型，獲得用戶手接觸貨架商品的目標圖像。

4.如權利要求2所述的方法，其特征在于，所述基于所述目標圖像，確定所述貨架商品的名稱，包括：

從所述目標圖像中提取貨架商品圖片；

將所述貨架商品圖片輸入特征提取模型中，獲得所述貨架商品圖片所對應的目標特征向量；

獲取所述智能貨架的商品特征庫，所述商品特征庫包括每個貨架商品所對應的特征向量，以及每個特征向量所對應的貨架商品的名稱；

基于所述目標特征向量和所述商品特征庫，確定所述貨架商品的名稱。

5.如權利要求2所述的方法，其特征在于，所述根據所述貨架商品的名稱，監測所述用戶是否將所述貨架商品放回貨架，獲得監測結果，包括：

獲取用于識別用戶將貨架商品放回貨架的第二識別模型，所述第二識別模型為通過獲取歷史M組顧客購買商品的連續幀圖像的信息，所述連續幀圖像的信息包括：標注為將貨架商品放回貨架的連續幀圖像以及標注為將貨架商品放入購物車的連續幀圖像，M為正整數，采用所述M組顧客購買商品的連續幀圖像信息進行機器學習訓練所得到的；

基于所述第二識別模型、所述用戶的手部動作圖像以及所述貨架商品的名稱，監測所述用戶是否將所述貨架商品放回貨架，獲得監測結果，包括：

將所述用戶的手部動作圖像輸入所述第二識別模型，在輸出為用戶將所述貨架商品放回貨架的連續幀圖像時，則確定監測結果為用戶將所述貨架商品放回貨架；在輸出為用戶將所述貨架商品放入購物車的連續幀圖像時，則確定監測結果為用戶未將所述貨架商品放回貨架，并確定相應的貨架商品的名稱。

6.如權利要求2所述的方法，其特征在于，所述通過智能貨架為所述用戶推薦第一目標貨架商品，包括：

在所述用戶再次經過具有第一目標貨架商品的智能貨架時，基于所述用戶的行人特征圖像，通過智能貨架為所述用戶推薦所述第一目標貨架商品，所述第一目標貨架商品為基于所述貨架商品的名稱所確定的商品。

7.如權利要求1所述的方法，其特征在于，所述基于所述用戶的行人特征圖像，通過智能貨架為所述用戶推薦第二目標貨架商品，包括：

在所述用戶首次經過智能貨架時，基于所述用戶的行人特征圖像，獲得所述用戶的屬性特征；

基于所述用戶的屬性特征，通過智能貨架為所述用戶推薦與所述用戶的屬性特征相匹配的第二目標貨架商品。