[發明專利]一種確定行為對象的方法和裝置

在審

• 申請號: 202010125657.6
• 申請日: 2020-02-27
• 公開（公告）號: CN113312947A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 王璟璟
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;陳繼越

1.一種確定行為對象的方法，其特征在于，包括：

獲取貨架區域的正面角度圖像和斜側角度圖像；

根據所述斜側角度圖像，確定用戶的行為；

根據所述正面角度圖像和所述斜側角度圖像，確定所述行為操作的所述貨架區域中的物品。

2.如權利要求1所述的方法，其特征在于，

所述根據所述斜側角度圖像，確定用戶的行為，包括：

根據所述斜側角度圖像，確定所述用戶的手臂圖像；

根據所述手臂圖像，確定骨骼點的坐標；

根據所述手臂圖像和所述骨骼點的坐標，確定所述用戶的行為。

3.如權利要求2所述的方法，其特征在于，

所述根據所述斜側角度圖像，確定所述用戶的手臂圖像，包括：

提取所述斜側角度圖像的特征；

根據所述斜側角度圖像的特征，確定若干包圍輪廓；

從所述若干包圍輪廓中選擇目標包圍輪廓；其中，所述目標包圍輪廓中的像素點構成所述手臂圖像。

4.如權利要求2所述的方法，其特征在于，

所述根據所述手臂圖像，確定骨骼點的坐標，包括：

將所述手臂圖像輸入殘差網絡；

對輸出結果進行上采樣，得到上臂、肘部和手背的坐標。

5.如權利要求2所述的方法，其特征在于，

所述根據所述手臂圖像和所述骨骼點的坐標，確定所述用戶的行為，包括：

將所述手臂圖像輸入卷積神經網絡CNN，得到第一輸出結果；

將所述骨骼點的坐標輸入第一全連接層，得到第二輸出結果；

拼接所述第一輸出結果和所述第二輸出結果，得到綜合輸出結果；

將所述綜合輸出結果輸入第二全連接層和softmax層，得到所述用戶的行為。

6.如權利要求1所述的方法，其特征在于，

所述行為，包括：觸碰；

所述根據所述正面角度圖像和所述斜側角度圖像，確定所述行為操作的所述貨架區域中的物品，包括：

從所述觸碰對應的所述斜側角度圖像的像素點中確定觸碰點；

確定所述觸碰點在所述正面角度圖像中的坐標；

根據所述物品在所述正面角度圖像中的坐標和所述觸碰點在所述正面角度圖像中的坐標，確定所述觸碰點對應的所述物品。

7.如權利要求6所述的方法，其特征在于，

所述確定所述觸碰點在所述正面角度圖像中的坐標，包括：

確定所述貨架區域中關鍵點在所述正面角度圖像中的坐標和在所述斜側角度圖像中的坐標；

根據所述關鍵點在所述正面角度圖像中的坐標和在所述斜側角度圖像中的坐標，確定變換矩陣；

根據所述觸碰點在所述斜側角度圖像中的坐標和所述變換矩陣，確定所述觸碰點在所述正面角度圖像中的坐標。

8.一種確定行為對象的裝置，其特征在于，包括：

獲取模塊，配置為獲取貨架區域的正面角度圖像和斜側角度圖像；

行為確定模塊，配置為根據所述斜側角度圖像，確定用戶的行為；

物品確定模塊，配置為根據所述正面角度圖像和所述斜側角度圖像，確定所述行為操作的所述貨架區域中的物品。

9.一種電子設備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-7中任一所述的方法。

10.一種計算機可讀介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現如權利要求1-7中任一所述的方法。