[發明專利]基于場景內容自適應的AR導航方法、設備及可讀存儲介質

在審

• 申請號: 202110902735.3
• 申請日: 2021-08-06
• 公開（公告）號: CN113628349A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 梅林;徐旭;汪思遠;張亮;朱光明;馮明濤;沈沛意
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06K9/00;G06K9/34;G06K9/62;G06N3/04;G06N3/08;G01C21/20
• 代理公司: 西安知誠思邁知識產權代理事務所(普通合伙) 61237
• 代理人: 高喜鳳

1.基于場景內容自適應的AR導航方法，其特征在于，具體包括以下步驟：

步驟1，實時獲取移動設備移動過程中的實景圖像，確定要添加的虛擬形象；

步驟2，利用深度學習神經網絡對實景圖像進行目標對象位置分割和語義分析，確定虛擬形象位置和語義分析結果；

步驟3，根據虛擬形象位置確定對應的實景地點位置，基于實景地點位置、移動設備當前位置及語義分割結果確定虛擬形象的尺寸和角度；

步驟4，根據虛擬形象位置、虛擬形象尺寸和角度，將虛擬形象添加在實景圖像中形成AR導航結果；

步驟5，持續采集移動過程中的實景圖像，判斷當前實景圖像與前一幀實景圖像的相似度，若兩者相似度較高，則重復步驟3～4，自適應調整虛擬形象的尺寸和角度，若兩者相似度較低，則重復步驟1～4，自適應添加和調整虛擬形象。

2.根據權利要求1所述的基于場景內容自適應的AR導航方法，其特征在于，確定要添加的虛擬形象的過程如下：

步驟1-1，對應各實景圖像設計數個虛擬形象，將其封裝為數據結構，并為數據結構添加相應的索引；

步驟1-2，將各虛擬形象對應的實景圖像作為特征圖像，訓練深度學習神經網絡；

步驟1-3，利用深度學習神經網絡對獲取的實景圖像進行分類，若分類結果為null，則重新獲取實景圖像重復分類操作，直至分類結果為數據結構索引，將該索引對應的虛擬形象作為要添加的虛擬形象。

3.根據權利要求2所述的基于場景內容自適應的AR導航方法，其特征在于，所述數據結構還包括虛擬形象位置、虛擬形象尺寸和角度、實景地點位置和語義分割結果；

所述虛擬形象位置為虛擬形象在移動設備顯示屏中的添加位置；

所述虛擬形象尺寸和角度為虛擬形象在移動設備顯示屏中的尺寸和角度；

所述實景地點位置為虛擬形象位置對應的實景地點的經緯度、高度信息；

所述語義分割結果為實景圖像中各物體之間的位置關系。

4.根據權利要求1所述的基于場景內容自適應的AR導航方法，其特征在于，所述深度學習神經網絡由分類模塊和語義分割模塊組成，所述語義分割模塊由Resnet網絡、金字塔池化模塊、上采樣層、連接層和輸出層依次連接組成；

所述Resnet網絡用于提取實景圖像的特征得到原始特征圖；

所述金字塔池化模塊用于提取原始特征圖中的多級上下文信息，再將其聚合；

所述上采樣層用于將不同維度的特征圖上采樣到與原始特征圖相同的尺寸；

所述連接層用于將原始特征圖與上采樣后的特征圖拼接；

所述輸出層用于對拼接圖像進行卷積操作得到語義分析結果。

5.一種電子設備，其特征在于，包括處理器、存儲器和通信總線，其中，處理器、存儲器通過通信總線完成相互間的通信；

存儲器，用于存放計算機程序；

處理器，用于執行存儲器上所存放的程序時，實現權利要求1-4任一所述的方法步驟。

6.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質內存儲有計算機程序，所述計算機程序被處理器執行時實現權利要求1-4任一所述的方法步驟。