[發(fā)明專利]一種大場(chǎng)景下的AR家居體驗(yàn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811216659.5
• 申請(qǐng)日: 2018-10-18
• 公開(kāi)（公告）號(hào): CN109613974B
• 公開(kāi)（公告）日: 2022-03-22
• 發(fā)明（設(shè)計(jì)）人: 薛延學(xué);唐開(kāi)勖;薛萌;白云松
• 申請(qǐng)（專利權(quán)）人: 西安理工大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06T17/00;G06Q30/06;G06T5/00;G06T7/80
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 談耀文

本發(fā)明公開(kāi)了一種大場(chǎng)景下的AR家居體驗(yàn)方法，在基于自然特征標(biāo)識(shí)的三維注冊(cè)方法和雙目追蹤定位與局部建圖方法相結(jié)合的基礎(chǔ)上，利用雙目追蹤定位與局部地圖構(gòu)建技術(shù)下對(duì)實(shí)時(shí)場(chǎng)景的特征點(diǎn)及其對(duì)應(yīng)的三維點(diǎn)來(lái)估計(jì)攝像機(jī)姿態(tài)。該模式以實(shí)時(shí)拍攝的現(xiàn)場(chǎng)環(huán)境特征為識(shí)別追蹤對(duì)象，在沒(méi)有標(biāo)識(shí)圖的情況下虛擬家居模型仍然可以正常定位追蹤，解決了現(xiàn)有AR家居體驗(yàn)應(yīng)用使用范圍小、穩(wěn)定性差的問(wèn)題，由此可以更大范圍、更真實(shí)地滿足虛實(shí)融合的AR家居體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明屬于增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，具體涉及一種大場(chǎng)景下的AR家居體驗(yàn)方法。

背景技術(shù)

增強(qiáng)現(xiàn)實(shí)技術(shù)(AR)將虛擬物體渲染在真實(shí)場(chǎng)景之中，產(chǎn)生了虛實(shí)融合的效果，增強(qiáng)了人們的感官體驗(yàn)，是目前圖形圖像交叉領(lǐng)域的一個(gè)應(yīng)用研究熱點(diǎn)。而其中的AR家居體驗(yàn)技術(shù)研究，是通過(guò)在用戶房間擺放三維虛擬物品來(lái)模擬真實(shí)的家居體驗(yàn)過(guò)程，解決了在商場(chǎng)挑選家居物品時(shí)不能提前預(yù)覽家居物品在家中擺放效果的問(wèn)題。

AR家居體驗(yàn)應(yīng)用采用擬選物品的識(shí)別圖來(lái)完成虛擬物體的三維注冊(cè)，該技術(shù)要求標(biāo)識(shí)圖必須保持在攝像機(jī)的最佳視野之中。當(dāng)攝像機(jī)距離標(biāo)識(shí)圖較遠(yuǎn)或標(biāo)識(shí)圖不在有效的視野范圍內(nèi)時(shí)，該AR系統(tǒng)將無(wú)法進(jìn)行三維注冊(cè)，也就是說(shuō)這類基于AR的家居體驗(yàn)應(yīng)用開(kāi)發(fā)只能在小空間范圍內(nèi)使用。隨著AR家居應(yīng)用的普及，通常需要在遠(yuǎn)距離和大視野范圍下觀察虛擬家居物體的擺放效果，而該技術(shù)顯然不能滿足應(yīng)用的需求，因此極大地影響了AR家居體驗(yàn)。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種大場(chǎng)景下的AR家居體驗(yàn)方法，解決了基于平面識(shí)別圖的AR家居體驗(yàn)應(yīng)用只能在小范圍空間使用的問(wèn)題。

本發(fā)明所采用的技術(shù)方案是，一種大場(chǎng)景下的AR家居體驗(yàn)方法，首先使用雙目攝像機(jī)拍攝所有擬選家居物品的標(biāo)識(shí)圖，通過(guò)離線訓(xùn)練完成家居物品標(biāo)識(shí)圖的特征提取，生成各類家居物品標(biāo)識(shí)圖對(duì)應(yīng)的離線特征庫(kù)；雙目攝像機(jī)指的是兩個(gè)處于同一大場(chǎng)景下、相對(duì)設(shè)置的攝像機(jī)；然后對(duì)雙目攝像機(jī)采集到的包含擬選家居物品標(biāo)識(shí)圖的視頻幀圖像通過(guò)采用自然特征標(biāo)識(shí)技術(shù)進(jìn)行識(shí)別和三維注冊(cè)，完成三維虛擬物體的選定并確定攝像機(jī)的初始位姿；最后采用雙目追蹤定位與局部地圖構(gòu)建技術(shù)追蹤攝像機(jī)在自然環(huán)境中的位姿變化，完成擬選家居物品在大環(huán)境下的擴(kuò)展追蹤定位。

本發(fā)明的特點(diǎn)還在于，

大場(chǎng)景下的AR家居體驗(yàn)方法，具體包括以下步驟：

步驟1：生成離線特征庫(kù)

步驟1.1：對(duì)雙目攝像機(jī)進(jìn)行標(biāo)定獲得攝像機(jī)內(nèi)參數(shù)K和外參數(shù)M，通過(guò)雙目攝像機(jī)采集所有擬選家居物品的標(biāo)識(shí)圖；

步驟1.2：通過(guò)離線訓(xùn)練完成家居物品標(biāo)識(shí)圖的特征提取；

步驟1.3：計(jì)算BRISK描述符對(duì)應(yīng)的采樣點(diǎn)灰度值完成特征描述，生成家居物品的離線特征庫(kù)；

步驟2：自然特征標(biāo)識(shí)圖的三維注冊(cè)

步驟2.1：對(duì)攝像機(jī)拍攝的包含標(biāo)識(shí)圖的視頻幀圖像進(jìn)行標(biāo)識(shí)圖灰度化處理，選用BRISK算法完成特征提取；

步驟2.2：利用BRISK+FLANN結(jié)合算法完成視頻幀圖像與標(biāo)識(shí)圖的特征點(diǎn)匹配；

步驟2.3：剔除步驟2.2中產(chǎn)生的誤匹配。若匹配失敗，返回?cái)z像頭重新采集視頻幀圖像；

步驟2.4：計(jì)算攝像機(jī)拍攝到的包含標(biāo)識(shí)圖的視頻幀圖像與標(biāo)識(shí)圖之間的單應(yīng)性矩陣；

步驟2.5：利用RANSAC算法建立當(dāng)前視頻幀圖像關(guān)鍵點(diǎn)與標(biāo)識(shí)圖關(guān)鍵點(diǎn)間單應(yīng)性關(guān)系，實(shí)現(xiàn)細(xì)化匹配；

步驟2.6：通過(guò)單應(yīng)性矩陣計(jì)算出標(biāo)識(shí)圖四個(gè)角點(diǎn)在視頻幀圖像中的坐標(biāo)，設(shè)定四個(gè)角點(diǎn)在歸一化世界坐標(biāo)系中的坐標(biāo)，結(jié)合圖像坐標(biāo)系下坐標(biāo)，利用2D-3D對(duì)應(yīng)關(guān)系來(lái)估計(jì)攝像機(jī)的姿態(tài)；