[發明專利]一種交互方法、裝置及電子設備、計算機存儲介質

在審

• 申請號: 202010899228.4
• 申請日: 2020-08-31
• 公開（公告）號: CN112068698A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 徐持衡;周舒巖;謝符寶;黃攀;王琳;楊松;陳彬;劉昕
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00;G06F3/0488
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 馬麗;張穎玲

1.一種交互方法，其特征在于，所述方法包括：

獲得包含有目標對象的圖像，確定所述圖像中的操作區域；

識別所述圖像中所述目標對象的手部在所述操作區域的位置以及所述手部的狀態；

基于所述手部在所述操作區域中的位置，確定顯示界面中與所述手部對應的操作點的操作位置，以及根據所述手部的狀態確定所述操作點的狀態；

基于所述操作點在所述操作位置的狀態，執行響應操作。

2.根據權利要求1所述的方法，其特征在于，所述確定所述圖像中的操作區域，包括：

識別所述圖像中所述目標對象的至少部分肢體對應的第一區域；所述至少部分肢體至少包括頭部；

基于所述第一區域確定所述操作區域。

3.根據權利要求2所述的方法，其特征在于，所述基于所述第一區域確定所述操作區域，包括：

基于所述第一區域占所述圖像所在區域的比例，對所述第一區域進行縮小或放大處理，得到所述操作區域；或者，將所述第一區域作為所述操作區域。

4.根據權利要求1至3任一項所述的方法，其特征在于，所述基于所述手部在所述操作區域中的位置，確定顯示界面中與所述手部對應的操作點的操作位置，包括：

確定所述手部在所述操作區域中的第一相對位置關系；所述第一相對位置關系表示第一坐標系下所述手部在所述操作區域中的相對位置；

基于所述第一相對位置關系，確定所述顯示界面中與所述手部對應的操作點的操作位置。

5.根據權利要求4所述的方法，其特征在于，所述操作位置在所述顯示界面所在區域內的相對位置關系與所述第一相對位置關系之間具有設定匹配關系。

6.根據權利要求4所述的方法，其特征在于，所述確定所述手部在所述操作區域中的第一相對位置關系，包括：

確定所述手部的特定關鍵點在所述操作區域對應的所述第一坐標系中的第一坐標位置；

所述基于所述第一相對位置關系，確定所述顯示界面中與所述手部對應的操作點的操作位置，包括：

基于變換關系確定所述顯示界面對應的第二坐標系中與所述第一坐標位置對應的第二坐標位置，將所述第二坐標位置作為所述操作點的操作位置；其中，所述變換關系為所述第一坐標系與所述第二坐標系之間的變換關系。

7.根據權利要求1至6任一項所述的方法，其特征在于，所述根據所述手部的狀態確定所述操作點的狀態，包括：

基于預先獲得的映射集合確定所述手部的狀態對應的所述操作點的狀態；

其中，所述映射集合中包括多組手部的狀態分別與操作點的狀態的映射關系。

8.根據權利要求1至7任一所述的方法，其特征在于，所述方法還包括：

在所述顯示界面中的所述操作位置處顯示所述操作點的狀態對應的操作標識。

9.根據權利要求1至8任一所述的方法，其特征在于，所述方法還包括：

為所述手部分配第一標識，以及為所述操作點分配第二標識，建立所述第一標識和所述第二標識的映射關系，所述映射關系用于控制所述操作點在所述顯示界面中伴隨所述手部的移動而移動。

10.根據權利要求1至9任一所述的方法，其特征在于，所述手部的狀態包括手掌狀態和/或握拳狀態。

11.根據權利要求1至10任一所述的方法，其特征在于，所述操作點的狀態包括：未觸摸屏幕狀態和/或觸摸屏幕狀態。