[發(fā)明專利]一種交互方法、裝置及電子設(shè)備、計(jì)算機(jī)存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010899228.4
• 申請(qǐng)日: 2020-08-31
• 公開（公告）號(hào): CN112068698A
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計(jì)）人: 徐持衡;周舒巖;謝符寶;黃攀;王琳;楊松;陳彬;劉昕
• 申請(qǐng)（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06K9/00;G06F3/0488
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 馬麗;張穎玲

1.一種交互方法，其特征在于，所述方法包括：

獲得包含有目標(biāo)對(duì)象的圖像，確定所述圖像中的操作區(qū)域；

識(shí)別所述圖像中所述目標(biāo)對(duì)象的手部在所述操作區(qū)域的位置以及所述手部的狀態(tài)；

基于所述手部在所述操作區(qū)域中的位置，確定顯示界面中與所述手部對(duì)應(yīng)的操作點(diǎn)的操作位置，以及根據(jù)所述手部的狀態(tài)確定所述操作點(diǎn)的狀態(tài)；

基于所述操作點(diǎn)在所述操作位置的狀態(tài)，執(zhí)行響應(yīng)操作。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述圖像中的操作區(qū)域，包括：

識(shí)別所述圖像中所述目標(biāo)對(duì)象的至少部分肢體對(duì)應(yīng)的第一區(qū)域；所述至少部分肢體至少包括頭部；

基于所述第一區(qū)域確定所述操作區(qū)域。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于所述第一區(qū)域確定所述操作區(qū)域，包括：

基于所述第一區(qū)域占所述圖像所在區(qū)域的比例，對(duì)所述第一區(qū)域進(jìn)行縮小或放大處理，得到所述操作區(qū)域；或者，將所述第一區(qū)域作為所述操作區(qū)域。

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述基于所述手部在所述操作區(qū)域中的位置，確定顯示界面中與所述手部對(duì)應(yīng)的操作點(diǎn)的操作位置，包括：

確定所述手部在所述操作區(qū)域中的第一相對(duì)位置關(guān)系；所述第一相對(duì)位置關(guān)系表示第一坐標(biāo)系下所述手部在所述操作區(qū)域中的相對(duì)位置；

基于所述第一相對(duì)位置關(guān)系，確定所述顯示界面中與所述手部對(duì)應(yīng)的操作點(diǎn)的操作位置。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述操作位置在所述顯示界面所在區(qū)域內(nèi)的相對(duì)位置關(guān)系與所述第一相對(duì)位置關(guān)系之間具有設(shè)定匹配關(guān)系。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述確定所述手部在所述操作區(qū)域中的第一相對(duì)位置關(guān)系，包括：

確定所述手部的特定關(guān)鍵點(diǎn)在所述操作區(qū)域?qū)?yīng)的所述第一坐標(biāo)系中的第一坐標(biāo)位置；

所述基于所述第一相對(duì)位置關(guān)系，確定所述顯示界面中與所述手部對(duì)應(yīng)的操作點(diǎn)的操作位置，包括：

基于變換關(guān)系確定所述顯示界面對(duì)應(yīng)的第二坐標(biāo)系中與所述第一坐標(biāo)位置對(duì)應(yīng)的第二坐標(biāo)位置，將所述第二坐標(biāo)位置作為所述操作點(diǎn)的操作位置；其中，所述變換關(guān)系為所述第一坐標(biāo)系與所述第二坐標(biāo)系之間的變換關(guān)系。

7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述手部的狀態(tài)確定所述操作點(diǎn)的狀態(tài)，包括：

基于預(yù)先獲得的映射集合確定所述手部的狀態(tài)對(duì)應(yīng)的所述操作點(diǎn)的狀態(tài)；

其中，所述映射集合中包括多組手部的狀態(tài)分別與操作點(diǎn)的狀態(tài)的映射關(guān)系。

8.根據(jù)權(quán)利要求1至7任一所述的方法，其特征在于，所述方法還包括：

在所述顯示界面中的所述操作位置處顯示所述操作點(diǎn)的狀態(tài)對(duì)應(yīng)的操作標(biāo)識(shí)。

9.根據(jù)權(quán)利要求1至8任一所述的方法，其特征在于，所述方法還包括：

為所述手部分配第一標(biāo)識(shí)，以及為所述操作點(diǎn)分配第二標(biāo)識(shí)，建立所述第一標(biāo)識(shí)和所述第二標(biāo)識(shí)的映射關(guān)系，所述映射關(guān)系用于控制所述操作點(diǎn)在所述顯示界面中伴隨所述手部的移動(dòng)而移動(dòng)。

10.根據(jù)權(quán)利要求1至9任一所述的方法，其特征在于，所述手部的狀態(tài)包括手掌狀態(tài)和/或握拳狀態(tài)。

11.根據(jù)權(quán)利要求1至10任一所述的方法，其特征在于，所述操作點(diǎn)的狀態(tài)包括：未觸摸屏幕狀態(tài)和/或觸摸屏幕狀態(tài)。