[發(fā)明專利]基于場景內(nèi)容自適應(yīng)的AR導(dǎo)航方法、設(shè)備及可讀存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110902735.3
• 申請日: 2021-08-06
• 公開（公告）號: CN113628349A
• 公開（公告）日: 2021-11-09
• 發(fā)明（設(shè)計(jì)）人: 梅林;徐旭;汪思遠(yuǎn);張亮;朱光明;馮明濤;沈沛意
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06K9/00;G06K9/34;G06K9/62;G06N3/04;G06N3/08;G01C21/20
• 代理公司: 西安知誠思邁知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61237
• 代理人: 高喜鳳

本發(fā)明公開了一種基于場景內(nèi)容自適應(yīng)的AR導(dǎo)航方法、設(shè)備及可讀存儲(chǔ)介質(zhì)，所述方法包括：步驟1，設(shè)計(jì)數(shù)個(gè)虛擬形象，將其封裝為數(shù)據(jù)結(jié)構(gòu)，并添加數(shù)據(jù)結(jié)構(gòu)索引；步驟2，訓(xùn)練深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)；步驟3，進(jìn)行路徑規(guī)劃；步驟4，獲取移動(dòng)中的實(shí)景圖像，對其進(jìn)行分類，若分類結(jié)果為數(shù)據(jù)結(jié)構(gòu)索引，則跳轉(zhuǎn)至步驟5；步驟5，繼續(xù)對實(shí)景圖像進(jìn)行目標(biāo)對象位置分割與語義分析，得到語義分析結(jié)果；步驟6，確定實(shí)景地點(diǎn)位置，計(jì)算虛擬形象尺寸和角度；步驟7，添加虛擬形象；步驟8，重復(fù)獲取實(shí)景圖像，對虛擬形象進(jìn)行自適應(yīng)調(diào)整；本發(fā)明能自適應(yīng)調(diào)整虛擬形象的尺寸、角度等信息，提高虛擬形象與用戶的交互效果。

技術(shù)領(lǐng)域

本發(fā)明屬于增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)技術(shù)領(lǐng)域，特別是涉及一種基于場景內(nèi)容自適應(yīng)的AR導(dǎo)航方法、設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

增強(qiáng)現(xiàn)實(shí)(Augmented Reality，AR)技術(shù)是一種在當(dāng)前設(shè)備攝像機(jī)拍到的實(shí)景圖像中添加虛擬信息的技術(shù)，所述虛擬信息包括文字、圖像、三維模型動(dòng)畫、音樂、視頻等，給用戶提供了一種新的交互體驗(yàn)。

在導(dǎo)航場景中，由于周邊場景復(fù)雜、導(dǎo)航路線無法清晰辨認(rèn)、導(dǎo)航效果差等原因，用戶無法快速、及時(shí)地到達(dá)目的地，因此在導(dǎo)航場景中使用增強(qiáng)現(xiàn)實(shí)技術(shù)能提升用戶在復(fù)雜場景下的導(dǎo)航體驗(yàn)需求。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種基于場景內(nèi)容自適應(yīng)的AR導(dǎo)航方法，通過對實(shí)景圖像進(jìn)行分類和語義分割，實(shí)時(shí)計(jì)算虛擬形象的角度和尺寸，并對其在實(shí)景圖像中的顯示結(jié)果進(jìn)行自適應(yīng)調(diào)整，提升了用戶與導(dǎo)航界面的交互體驗(yàn)。

本發(fā)明實(shí)施例的目的還在于提供一種電子設(shè)備和可讀存儲(chǔ)介質(zhì)。

本發(fā)明實(shí)施例所采用的技術(shù)方案是，基于場景內(nèi)容自適應(yīng)的AR導(dǎo)航方法，具體包括以下步驟：

步驟1，實(shí)時(shí)獲取移動(dòng)設(shè)備移動(dòng)過程中的實(shí)景圖像，確定要添加的虛擬形象；

步驟2，利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對實(shí)景圖像進(jìn)行目標(biāo)對象位置分割和語義分析，確定虛擬形象位置和語義分析結(jié)果；

步驟3，根據(jù)虛擬形象位置確定對應(yīng)的實(shí)景地點(diǎn)位置，基于實(shí)景地點(diǎn)位置、移動(dòng)設(shè)備當(dāng)前位置及語義分割結(jié)果確定虛擬形象的尺寸和角度；

步驟4，根據(jù)虛擬形象位置、虛擬形象尺寸和角度，將虛擬形象添加在實(shí)景圖像中形成AR導(dǎo)航結(jié)果；

步驟5，持續(xù)采集移動(dòng)過程中的實(shí)景圖像，判斷當(dāng)前實(shí)景圖像與前一幀實(shí)景圖像的相似度，若兩者相似度較高，則重復(fù)步驟3～4，自適應(yīng)調(diào)整虛擬形象的尺寸和角度，若兩者相似度較低，則重復(fù)步驟1～4，自適應(yīng)添加和調(diào)整虛擬形象。

進(jìn)一步的，確定要添加的虛擬形象的過程如下：

步驟1-1，對應(yīng)各實(shí)景圖像設(shè)計(jì)數(shù)個(gè)虛擬形象，將其封裝為數(shù)據(jù)結(jié)構(gòu)，并為數(shù)據(jù)結(jié)構(gòu)添加相應(yīng)的索引；

步驟1-2，將各虛擬形象對應(yīng)的實(shí)景圖像作為特征圖像，訓(xùn)練深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)；

步驟1-3，利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)對獲取的實(shí)景圖像進(jìn)行分類，若分類結(jié)果為null，則重新獲取實(shí)景圖像重復(fù)分類操作，直至分類結(jié)果為數(shù)據(jù)結(jié)構(gòu)索引，將該索引對應(yīng)的虛擬形象作為要添加的虛擬形象。

進(jìn)一步的，所述數(shù)據(jù)結(jié)構(gòu)還包括虛擬形象位置、虛擬形象尺寸和角度、實(shí)景地點(diǎn)位置和語義分割結(jié)果；

所述虛擬形象位置為虛擬形象在移動(dòng)設(shè)備顯示屏中的添加位置；

所述虛擬形象尺寸和角度為虛擬形象在移動(dòng)設(shè)備顯示屏中的尺寸和角度；

所述實(shí)景地點(diǎn)位置為虛擬形象位置對應(yīng)的實(shí)景地點(diǎn)的經(jīng)緯度、高度信息；

所述語義分割結(jié)果為實(shí)景圖像中各物體之間的位置關(guān)系。