[發明專利]虛實融合展示方法及裝置、電子設備和存儲介質

在審

• 申請號: 202011225862.6
• 申請日: 2020-11-05
• 公開（公告）號: CN112307363A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 盛崇山;章國鋒
• 申請（專利權）人: 深圳市慧鯉科技有限公司
• 主分類號: G06F16/9537
• 分類號: G06F16/9537;G06F16/9538;G06T17/05;G06T19/00
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種虛實融合展示方法及裝置、電子設備和存儲介質，應用于第一電子設備，包括：接收第二電子設備發送的視覺定位請求，視覺定位請求中包括第二電子設備所在的環境圖像和第二電子設備的第一地理位置；查找與第一地理位置對應的第一點云地圖，以及根據第一點云地圖和所述環境圖像，確定第二電子設備的視覺定位結果，視覺定位結果包括第二電子設備的第二地理位置和姿態信息；查找與第一點云地圖對應的虛擬場景地圖，以及根據虛擬場景地圖和第二地理位置，確定待展示的虛擬內容；向第二電子設備發送第二地理位置、姿態信息和虛擬內容，以使第二電子設備根據第二地理位置和姿態信息在顯示界面的實景圖像中展示虛擬內容。

技術領域

本公開涉及計算機技術領域，尤其涉及一種虛實融合展示方法及裝置、電子設備和存儲介質。

背景技術

在公共場所中，信息的顯示通常采用固定展示設施進行展示的方式。由于展示設施相對較少且位置固定，用戶需要前往展示設施所在的位置才能查看到相關信息，導致用戶的信息獲取過程耗時較長。

發明內容

本公開提出了一種虛實融合展示方法及裝置、電子設備和存儲介質的技術方案。

根據本公開的一方面，提供了一種虛實融合展示方法，所述方法應用于第一電子設備，所述方法包括：接收第二電子設備發送的視覺定位請求，其中，所述視覺定位請求中包括所述第二電子設備所在的環境圖像和所述第二電子設備的第一地理位置；查找與所述第一地理位置對應的第一點云地圖，以及根據所述第一點云地圖和所述環境圖像，確定所述第二電子設備的視覺定位結果，所述視覺定位結果包括所述第二電子設備的第二地理位置和姿態信息；查找與所述第一點云地圖對應的虛擬場景地圖，以及根據所述虛擬場景地圖和所述第二地理位置，確定待展示的虛擬內容；向所述第二電子設備發送所述第二地理位置、所述姿態信息和所述虛擬內容，以使所述第二電子設備根據第二地理位置和所述姿態信息在顯示界面的實景圖像中展示所述虛擬內容。

在一種可能的實現方式中，所述方法還包括：對目標區域進行三維空間重建，得到所述目標區域對應的第一點云地圖和第一幾何網格地圖，其中，所述目標區域為包括所述第一地理位置的空間區域；根據所述第一幾何網格地圖，構建與所述目標區域對應的虛擬場景地圖，其中，所述虛擬場景地圖與所述第一點云地圖之間具有第一映射關系；確定所述第一點云地圖與大地坐標系之間的第二映射關系。

在一種可能的實現方式中，所述第一地理位置為所述大地坐標系下的地理位置；所述查找與所述第一地理位置對應的第一點云地圖，包括：根據所述第二映射關系，查找與所述第一地理位置所在的所述目標空間區域對應的所述第一點云地圖。

在一種可能的實現方式中，所述查找與所述第一點云地圖對應的虛擬場景地圖，包括：根據所述第一映射關系，查找與所述第一點云地圖對應的所述虛擬場景地圖。

在一種可能的實現方式中，所述根據所述第一點云地圖和所述環境圖像，確定所述第二電子設備的視覺定位結果，包括：提取所述環境圖像的特征信息；根據所述環境圖像的特征信息以及所述第一點云地圖，對所述第二電子設備進行視覺定位，確定所述第二電子設備的所述視覺定位結果。

在一種可能的實現方式中，所述對目標區域進行三維空間重建，得到所述目標區域對應的第一點云地圖和第一幾何網格地圖，包括：根據所述目標區域對應的二維地圖，構建局部坐標系；對所述目標區域進行三維空間重建，得到所述目標區域對應的第二點云地圖和第二幾何網格地圖；基于所述局部坐標系，將所述第二點云地圖、所述第二幾何網格地圖與所述二維地圖進行數據對齊，得到所述第一點云地圖和所述第一幾何網格地圖。