[發明專利]虛實融合展示方法及裝置、電子設備和存儲介質

在審

• 申請號: 202011225862.6
• 申請日: 2020-11-05
• 公開（公告）號: CN112307363A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 盛崇山;章國鋒
• 申請（專利權）人: 深圳市慧鯉科技有限公司
• 主分類號: G06F16/9537
• 分類號: G06F16/9537;G06F16/9538;G06T17/05;G06T19/00
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種虛實融合展示方法，其特征在于，所述方法應用于第一電子設備，所述方法包括：

接收第二電子設備發送的視覺定位請求，其中，所述視覺定位請求中包括所述第二電子設備所在的環境圖像和所述第二電子設備的第一地理位置；

查找與所述第一地理位置對應的第一點云地圖，以及根據所述第一點云地圖和所述環境圖像，確定所述第二電子設備的視覺定位結果，所述視覺定位結果包括所述第二電子設備的第二地理位置和姿態信息；

查找與所述第一點云地圖對應的虛擬場景地圖，以及根據所述虛擬場景地圖和所述第二地理位置，確定待展示的虛擬內容；

向所述第二電子設備發送所述第二地理位置、所述姿態信息和所述虛擬內容，以使所述第二電子設備根據第二地理位置和所述姿態信息在顯示界面的實景圖像中展示所述虛擬內容。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

對目標區域進行三維空間重建，得到所述目標區域對應的第一點云地圖和第一幾何網格地圖，其中，所述目標區域為包括所述第一地理位置的空間區域；

根據所述第一幾何網格地圖，構建與所述目標區域對應的虛擬場景地圖，其中，所述虛擬場景地圖與所述第一點云地圖之間具有第一映射關系；

確定所述第一點云地圖與大地坐標系之間的第二映射關系。

3.根據權利要求2所述的方法，其特征在于，所述第一地理位置為所述大地坐標系下的地理位置；

所述查找與所述第一地理位置對應的第一點云地圖，包括：

根據所述第二映射關系，查找與所述第一地理位置所在的所述目標空間區域對應的所述第一點云地圖。

4.根據權利要求2或3所述的方法，其特征在于，所述查找與所述第一點云地圖對應的虛擬場景地圖，包括：

根據所述第一映射關系，查找與所述第一點云地圖對應的所述虛擬場景地圖。

5.根據權利要求1至4中任意一項所述的方法，其特征在于，所述根據所述第一點云地圖和所述環境圖像，確定所述第二電子設備的視覺定位結果，包括：

提取所述環境圖像的特征信息；

根據所述環境圖像的特征信息以及所述第一點云地圖，對所述第二電子設備進行視覺定位，確定所述第二電子設備的所述視覺定位結果。

6.根據權利要求2至5中任意一項所述的方法，其特征在于，所述對目標區域進行三維空間重建，得到所述目標區域對應的第一點云地圖和第一幾何網格地圖，包括：

根據所述目標區域對應的二維地圖，構建局部坐標系；

對所述目標區域進行三維空間重建，得到所述目標區域對應的第二點云地圖和第二幾何網格地圖；

基于所述局部坐標系，將所述第二點云地圖、所述第二幾何網格地圖與所述二維地圖進行數據對齊，得到所述第一點云地圖和所述第一幾何網格地圖。

7.根據權利要求6所述的方法，其特征在于，所述基于所述局部坐標系，將所述第二點云地圖、所述第二幾何網格地圖與所述二維地圖進行數據對齊，得到所述第一點云地圖和所述第一幾何網格地圖，包括：

基于所述局部坐標系，確定所述第二點云地圖與所述二維地圖之間的第一空間變換矩陣，以及確定所述第二幾何網格地圖與所述二維地圖之間的第二空間變換矩陣；

根據所述第一空間變換矩陣對所述第二點云地圖進行空間變換操作，得到所述第一點云地圖；

根據所述第二空間變換矩陣對所述第二幾何網格地圖進行空間變換操作，得到所述第一幾何網格地圖。

8.根據權利要求6或7所述的方法，其特征在于，所述根據所述第一幾何網格地圖，構建與所述目標區域對應的虛擬場景地圖，包括：

根據所述第一幾何網格地圖，在所述局部坐標下確定虛擬內容編輯空間；

在所述虛擬內容編輯空間中進行虛擬內容編輯操作，得到所述虛擬場景地圖，其中，所述虛擬場景地圖中包括所述第二電子設備在所述第二地理位置時顯示界面的實景圖像中待展示的虛擬內容。