[發明專利]一種提示信息展示方法、裝置、設備及存儲介質

在審

• 申請號: 202011546917.3
• 申請日: 2020-12-24
• 公開（公告）號: CN112598805A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 李宇飛;張建博
• 申請（專利權）人: 浙江商湯科技開發有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/11;G06T7/73;G06K9/62
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 吳迪

1.一種提示信息展示方法，其特征在于，包括：

獲取AR設備拍攝的目標場景的實景圖像；

基于所述實景圖像和預先建立的所述目標場景的三維場景模型，確定所述AR設備的位姿信息；其中，所述三維場景模型中標注有危險區域信息，所述危險區域信息通過預訓練的語義分割模型進行識別；

在檢測到所述AR設備滿足所述危險區域對應的危險提示信息的展示條件的情況下，輸出提示信息以對用戶進行提示。

2.根據權利要求1所述的方法，其特征在于，基于以下方法檢測所述AR設備是否滿足所述危險區域對應的危險提示信息的展示條件：

基于所述實景圖像中的特征點，查找所述三維場景模型中與所述特征點對應的匹配特征點；

若查找到的所述匹配特征點標注有所述危險區域信息，則確定所述AR設備滿足所述危險區域對應的危險提示信息的展示條件。

3.根據權利要求1所述的方法，其特征在于，基于以下方法檢測所述AR設備是否滿足所述危險區域對應的危險提示信息的展示條件：

當基于所述AR設備的位姿信息，確定所述AR設備與所述危險區域信息指示的危險區域之間的相對位姿關系滿足預設條件的情況下，確定所述AR設備滿足所述危險區域對應的危險提示信息的展示條件。

4.根據權利要求1～3任一所述的方法，其特征在于，還包括：建立標注有危險區域信息所述三維場景模型，包括：

獲取所述目標場景對應的全景圖像，并基于所述全景圖像，建立三維場景模型；

基于訓練的用于識別危險區域的語義分割模型對所述三維場景模型進行危險區域識別并進行標注。

5.根據權利要求4所述的方法，其特征在于，在建立所述三維場景模型之后，所述方法還包括：

基于所述三維場景模型中標注的危險區域信息所指示的危險區域，在所述三維場景模型中添加與該危險區域相匹配的危險提示信息。

6.根據權利要求4所述的方法，其特征在于，基于訓練的用于識別危險區域的語義分割模型對所述三維場景模型進行危險區域識別并進行標注，包括：

基于所述目標場景對應的全景圖像，確定所述目標場景中的各個位置區域對應的區域圖像；以及基于所述三維場景模型，確定各個位置區域在所述三維場景模型中對應的點云點；

基于預先訓練的語義分割模型，檢測每一張所述區域圖像中是否包含危險區域；

若是，則為所述三維場景模型中與所述區域圖像中的危險區域對應的點云點標注危險區域信息。

7.根據權利要求1～6任一所述的方法，其特征在于，所述危險提示信息為AR提示信息；

所述在檢測到所述AR設備滿足所述危險區域對應的危險提示信息的展示條件的情況下，輸出提示信息以對用戶進行提示，包括：

在檢測到所述AR設備滿足所述危險區域對應的危險提示信息的展示條件的情況下，基于所述AR設備的位姿信息，將所述危險提示信息與所述實景圖像融合，并通過所述AR設備展示融合后的實景圖像。

8.根據權利要求1所述的方法，其特征在于，所述基于所述實景圖像和預先建立的所述目標場景的三維場景模型，確定所述AR設備的位姿信息，包括：

基于所述實景圖像中的特征點，查找所述三維場景模型中與所述特征點對應的匹配特征點；

基于所述匹配特征點對應的世界坐標系下的坐標信息，以及所述匹配特征點在所述實景圖像對應的圖像坐標系下的坐標信息，確定所述AR設備的位姿信息。

9.一種提示信息展示裝置，其特征在于，包括：

獲取模塊，用于獲取AR設備拍攝的目標場景的實景圖像；

確定模塊，用于基于所述實景圖像和預先建立的所述目標場景的三維場景模型，確定所述AR設備的位姿信息；其中，所述三維場景模型中標注有危險區域信息，所述危險區域信息通過預訓練的語義分割模型進行識別；

提示模塊，用于在檢測到所述AR設備滿足所述危險區域對應的危險提示信息的展示條件的情況下，輸出提示信息以對用戶進行提示。