[發明專利]一種人機交互方法、裝置及設備

在審

• 申請號: 201910290169.8
• 申請日: 2019-04-11
• 公開（公告）號: CN110007765A
• 公開（公告）日: 2019-07-12
• 發明（設計）人: 施雪
• 申請（專利權）人: 上海星視度科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種人機交互方法，其特征在于，包括：

在檢測到用戶進入互動區域時，根據預設的互動類型，生成至少一個互動輪次；

在每個互動輪次下，生成標準姿態圖像進行顯示，并在實時采集的交互圖像中獲取與所述互動類型匹配的至少一個用戶的用戶圖像，所述標準姿態圖像與標準用戶姿態關聯；

在每個所述用戶圖像中識別用戶的當前用戶姿態，并將當前用戶姿態與所述標準用戶姿態進行匹配，得到與互動輪次對應的互動結果；

根據與所述至少一個互動輪次對應的互動結果，生成結果反饋信息進行顯示。

2.根據權利要求1所述的方法，其特征在于，所述標準姿態圖像為包含標準用戶姿態的圖片，或者包含提示用戶做的標準用戶姿態名稱的圖片。

3.根據權利要求1所述的方法，其特征在于，所述互動類型包括：多人對戰模式；

在每個互動輪次下，生成標準姿態圖像進行顯示，并在實時采集的交互圖像中獲取與所述互動類型匹配的至少一個用戶的用戶圖像，包括：

在每個互動輪次下，生成標準姿態圖像和與多人對戰模式的參與人數匹配的至少兩個圖像采集提示框進行顯示，所述圖像采集提示框用于提示用戶在多人對戰過程中，需要位于的圖像采集位置；

根據交互圖像中與所述圖像采集提示框對應的圖像參考位置，在實時采集的交互圖像中，獲取與所述多人對戰模式匹配的至少兩個用戶的用戶圖像。

4.根據權利要求1所述的方法，其特征在于，所述互動類型包括：單人闖關模式；

在每個互動輪次下，生成標準姿態圖像進行顯示，并在實時采集的交互圖像中獲取與所述互動類型匹配的至少一個用戶的用戶圖像，包括：

在每個互動輪次下，生成標準姿態圖像和一個圖像采集提示框進行顯示，所述圖像采集提示框用于提示用戶在單人闖關過程中，需要位于的圖像采集位置；

根據交互圖像中與所述圖像采集提示框對應的圖像參考位置，在實時采集的交互圖像中，獲取與所述單人闖關模式匹配的一個用戶的用戶圖像。

5.根據權利要求3所述的方法，其特征在于，在每個所述用戶圖像中識別用戶的當前用戶姿態，并將當前用戶姿態與所述標準用戶姿態進行匹配，得到與互動輪次對應的互動結果，包括：

在每個所述用戶圖像中識別用戶的當前用戶姿態，并分別將當前用戶姿態與所述標準用戶姿態進行匹配；

根據匹配結果，對每個所述用戶圖像進行打分，得到每個用戶的互動得分；

根據互動得分最高的用戶，確定與互動輪次對應的互動結果，或者，根據每個用戶的互動得分與預設分數閾值之間的數值關系，確定與互動輪次對應的互動結果。

6.根據權利要求4所述的方法，其特征在于，在每個所述用戶圖像中識別用戶的當前用戶姿態，并將當前用戶姿態與所述標準用戶姿態進行匹配，得到與互動輪次對應的互動結果，包括：

在所述用戶圖像中識別用戶的當前用戶姿態，并將當前用戶姿態與所述標準用戶姿態進行匹配；

根據匹配結果，對所述用戶圖像進行打分，得到用戶的互動得分；

根據所述用戶的互動得分與預設分數閾值之間的數值關系，確定與互動輪次對應的互動結果為闖關成功或闖關失敗。

7.根據權利要求1所述的方法，其特征在于，在所述用戶圖像中識別用戶的當前用戶姿態，包括：

獲取與所述用戶圖像對應的骨骼關鍵點數據；

根據所述骨骼關鍵點數據確定所述當前用戶姿態。

8.根據權利要求7所述的方法，其特征在于，獲取與所述人物圖像對應的骨骼關鍵點數據，包括：

識別所述人物圖像中包括的骨骼關鍵點，所述骨骼關鍵點包括下述至少兩項：頭頂、脖子、左肩、右肩、左肘、右肘、左腕、右腕、左髖、右髖、左膝、右膝、左踝以及右踝；

以所述用戶圖像的圖像中心為原點建立坐標系，獲取全部骨骼關鍵點在所述坐標系中的坐標位置；

對至少兩個設定骨骼關鍵點進行連線，并獲取與至少一個設定骨骼關鍵點匹配的兩條骨骼關鍵點連線之間的夾角；

將獲取的所述坐標位置以及所述夾角作為所述骨骼關鍵點數據。