[發明專利]一種增強現實交互的方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010877457.6
• 申請日: 2020-08-27
• 公開（公告）號: CN111950521A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 陳志釗;符修源
• 申請（專利權）人: 深圳市慧鯉科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T17/00;G06K9/62;G06F3/01;G06T17/05;G06T19/00
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 王文紅

本公開提供了一種增強現實交互的方法、裝置、電子設備及存儲介質，其中，該方法包括：獲取目標場景的真實場景圖像，以及與目標場景對應的三維場景地圖；對獲取的真實場景圖像進行手部檢測，確定真實場景圖像中手部的圖像位姿信息和手部對應的手勢類別信息；基于手部的圖像位姿信息和三維場景地圖，確定手部在世界坐標系下的位姿信息；根據手部在世界坐標系下的位姿信息和三維場景地圖，確定手部需要控制的目標物體，并基于手部對應的手勢類別信息對需要控制的目標物體執行控制操作。本公開通過圖像處理實現了在三維空間內手部對需要控制的物體的自動控制，無需借助第三方工具，操作更加方便。

技術領域

本公開涉及計算機應用技術領域，具體而言，涉及一種增強現實交互的方法、裝置、電子設備及存儲介質。

背景技術

增強現實(Augmented Reality，AR)技術作為一種根據實時計算的攝像機影像的位置及角度，在影像上疊加相應的圖像、視頻、三維(3-Dimensional，3D)模型以實現虛擬世界與現實世界融合的技術，面向用戶提供了一種新的交互體驗。

目前，在利用虛擬技術進行人機交互時，可以通過操作輸入設備，如鼠標、鍵盤、觸摸屏等對AR對象進行操控。

然而，上述交互方式需要用戶手持第三方工具(即輸入設備)進行操作，操作較為不便。

發明內容

本公開實施例至少提供一種增強現實交互的方案，其通過圖像處理實現了三維空間內手部對需要控制的物體的自動控制，無需借助第三方工具，操作更加方便。

主要包括以下幾個方面：

第一方面，本公開實施例提供了一種增強現實交互的方法，所述方法包括：

獲取目標場景的真實場景圖像，以及與所述目標場景對應的三維場景地圖；

對獲取的所述真實場景圖像進行手部檢測，確定所述真實場景圖像中手部的圖像位姿信息和所述手部對應的手勢類別信息；

基于所述手部的圖像位姿信息和所述三維場景地圖，確定所述手部在世界坐標系下的位姿信息；

根據所述手部在世界坐標系下的位姿信息和所述三維場景地圖，確定所述手部需要控制的目標物體，并基于所述手部對應的手勢類別信息對所述需要控制的目標物體執行控制操作。

采用上述增強現實交互的方法，通過對獲取的真實場景圖像的分析，可以確定真實場景圖像中的手部在三維場景地圖所在世界坐標系下的位姿信息，基于這一位姿信息可以對三維空間內的真實物體、虛擬物體等目標物體進行手部控制，也即，本公開采用手部無接觸方式實現了對三維空間內物體的自動控制，解決了使用第三方工具進行控制所帶來的操作不便的問題。

在一種可能的實施方式中，基于所述手部的圖像位姿信息和所述三維場景地圖，確定所述手部在世界坐標系下的位姿信息，包括：

基于所述真實場景圖像所在圖像坐標系與所述三維場景地圖所在世界坐標系之間的轉換關系，將所述真實場景圖像中所述手部的圖像位姿信息轉換為所述手部在所述世界坐標系下的位姿信息。

在一種可能的實施方式中，對獲取的所述真實場景圖像進行手部檢測，確定所述真實場景圖像中手部的圖像位姿信息，包括：

利用預先訓練好的手部檢測模型，從獲取的所述真實場景圖像中檢測出所述手部的圖像位姿信息。

在一種可能的實施方式中，根據所述手部在世界坐標系下的位姿信息和所述三維場景地圖，確定所述手部需要控制的目標物體，包括：

對獲取的所述真實場景圖像進行物體檢測，確定所述真實場景圖像中的至少一個真實物體；

基于所述三維場景地圖，確定檢測出的每個所述真實物體在世界坐標系下的位姿信息；