[發(fā)明專利]一種增強現(xiàn)實交互的方法、裝置、電子設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010877457.6
• 申請日: 2020-08-27
• 公開（公告）號: CN111950521A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設計）人: 陳志釗;符修源
• 申請（專利權(quán)）人: 深圳市慧鯉科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T17/00;G06K9/62;G06F3/01;G06T17/05;G06T19/00
• 代理公司: 北京中知恒瑞知識產(chǎn)權(quán)代理事務所(普通合伙) 11889
• 代理人: 王文紅

1.一種增強現(xiàn)實交互的方法，其特征在于，所述方法包括：

獲取目標場景的真實場景圖像，以及與所述目標場景對應的三維場景地圖；

對獲取的所述真實場景圖像進行手部檢測，確定所述真實場景圖像中手部的圖像位姿信息和所述手部對應的手勢類別信息；

基于所述手部的圖像位姿信息和所述三維場景地圖，確定所述手部在世界坐標系下的位姿信息；

根據(jù)所述手部在世界坐標系下的位姿信息和所述三維場景地圖，確定所述手部需要控制的目標物體，并基于所述手部對應的手勢類別信息對所述需要控制的目標物體執(zhí)行控制操作。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于所述手部的圖像位姿信息和所述三維場景地圖，確定所述手部在世界坐標系下的位姿信息，包括：

基于所述真實場景圖像所在圖像坐標系與所述三維場景地圖所在世界坐標系之間的轉(zhuǎn)換關系，將所述真實場景圖像中所述手部的圖像位姿信息轉(zhuǎn)換為所述手部在所述世界坐標系下的位姿信息。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，對獲取的所述真實場景圖像進行手部檢測，確定所述真實場景圖像中手部的圖像位姿信息，包括：

利用預先訓練好的手部檢測模型，從獲取的所述真實場景圖像中檢測出所述手部的圖像位姿信息。

4.根據(jù)權(quán)利要求1-3任一所述的方法，其特征在于，根據(jù)所述手部在世界坐標系下的位姿信息和所述三維場景地圖，確定所述手部需要控制的目標物體，包括：

對獲取的所述真實場景圖像進行物體檢測，確定所述真實場景圖像中的至少一個真實物體；

基于所述三維場景地圖，確定檢測出的每個所述真實物體在世界坐標系下的位姿信息；

針對每個所述真實物體，在基于該真實物體在世界坐標系下的位姿信息與所述手部在世界坐標系下的位姿信息，確定所述手部與該真實物體之間的相對位姿滿足預設條件的情況下，將該真實物體確定為所述手部需要控制的目標物體。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，基于所述三維場景地圖，確定檢測出的每個所述真實物體在世界坐標系下的位姿信息，包括：

基于檢測出的每個所述真實物體在所述真實場景圖像中的圖像信息，在所述三維場景地圖中確定與該真實物體匹配的三維模型，將該三維模型在所述三維場景地圖中的位姿信息，確定為該真實物體在世界坐標系下的位姿信息。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，基于所述三維場景地圖，確定檢測出的每個所述真實物體在世界坐標系下的位姿信息，包括：

基于所述真實場景圖像以及所述三維場景地圖，確定拍攝設備在世界坐標系下的位姿信息；

基于檢測出的每個所述真實物體在所述真實場景圖像對應的圖像坐標系下的位姿信息，以及相機坐標系和圖像坐標系之間的轉(zhuǎn)換關系，確定每個所述真實物體在相機坐標系下的位姿信息；

基于所述拍攝設備在世界坐標系下的位姿信息，以及每個所述真實物體在相機坐標系下的位姿信息，確定每個所述真實物體在世界坐標系下的位姿信息。

7.根據(jù)權(quán)利要求1-3任一所述的方法，其特征在于，根據(jù)所述手部在世界坐標系下的位姿信息和所述三維場景地圖，確定所述手部需要控制的目標物體，包括：

基于所述三維場景地圖，確定至少一個目標虛擬物體在世界坐標系下的位姿信息；

在基于所述目標虛擬物體在世界坐標系下的位姿信息與所述手部在世界坐標系下的位姿信息，確定所述手部與所述虛擬物體之間的相對位姿信息滿足預設條件的情況下，將所述目標虛擬物體確定為所述手部需要控制的目標物體。

8.根據(jù)權(quán)利要求4-7任一所述的方法，其特征在于，所述位姿信息包括位置信息以及姿態(tài)信息；所述預設條件包括以下條件中的一種或多種：

所確定的所述手部與所述目標物體之間的相對距離小于預設距離；

確定的所述手部與朝向所述目標物體方向之間的相對夾角小于預設夾角。