[發(fā)明專(zhuān)利]基于三維重建和增強(qiáng)現(xiàn)實(shí)的虛擬購(gòu)物系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710650415.7
• 申請(qǐng)日: 2017-08-02
• 公開(kāi)（公告）號(hào): CN109389634A
• 公開(kāi)（公告）日: 2019-02-26
• 發(fā)明（設(shè)計(jì)）人: 蒲勇飛;孟超;李泳橙
• 申請(qǐng)（專(zhuān)利權(quán)）人: 蒲勇飛
• 主分類(lèi)號(hào): G06T7/55
• 分類(lèi)號(hào): G06T7/55;G06T7/73;G06T7/80;G06T15/00;G06T19/20;G06Q30/06
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種結(jié)合三維重建技術(shù)和增強(qiáng)現(xiàn)實(shí)技術(shù)的購(gòu)物體驗(yàn)平臺(tái)系統(tǒng)和方法，該系統(tǒng)包括了用于三維重建儀器和軟件，在移動(dòng)平臺(tái)上運(yùn)行的增強(qiáng)現(xiàn)實(shí)購(gòu)物體驗(yàn)程序。通過(guò)自動(dòng)的重建商品三維模型和在移動(dòng)設(shè)備上的增強(qiáng)現(xiàn)實(shí)投影，可以方便的讓用戶(hù)了解到商品放置到現(xiàn)實(shí)環(huán)境中的效果，實(shí)現(xiàn)一種無(wú)需實(shí)體物品，就可以到逼真的觀(guān)察商品的三維信息。

技術(shù)領(lǐng)域

本發(fā)明涉及三維重建領(lǐng)域和增強(qiáng)現(xiàn)實(shí)領(lǐng)域，具體的說(shuō)，三位重建為室內(nèi)小物體的重建方法和設(shè)備，增強(qiáng)現(xiàn)實(shí)是基于雙目和單目攝像頭的平面和空間跟蹤方法。

背景技術(shù)

在目前商品都是以二維圖片的形式展示，不夠直觀(guān)。而利用基于視覺(jué)的三維重建技術(shù)可以低廉高效的建立商品的三維模型，且不需要專(zhuān)業(yè)的建模人員。同時(shí)，應(yīng)用增強(qiáng)現(xiàn)實(shí)技術(shù)，將物品的三維模型以增強(qiáng)現(xiàn)實(shí)的形式疊加到現(xiàn)實(shí)世界中，比如人體上、房屋中，就可以實(shí)現(xiàn)相應(yīng)的逼真的虛擬試穿和虛擬家庭等增強(qiáng)顯示的體驗(yàn)。項(xiàng)目將分別實(shí)驗(yàn)使用基于RGB-D、基于雙目視覺(jué)和基于單目視覺(jué)的三種流行的三維重建方式，來(lái)尋找重建準(zhǔn)確度和重建成本的最佳平衡。增強(qiáng)現(xiàn)實(shí)將在移動(dòng)端實(shí)現(xiàn)，利用手機(jī)攝像頭構(gòu)建出基于Visual SLAM的地圖信息，將三維模型準(zhǔn)確的疊加到手機(jī)的取景場(chǎng)景中，構(gòu)建逼真的購(gòu)物體驗(yàn)。

目前我們?cè)诰W(wǎng)絡(luò)購(gòu)物中最大的不便是無(wú)法從產(chǎn)品的二維圖片中完整的了解一款產(chǎn)品，很多時(shí)候圖片上的信息不夠全面，或者不知道在自己的身上會(huì)是怎樣的效果。三維物品可以讓我們更加全面的了解一款產(chǎn)品，但是三維建模成本高，只有像汽車(chē)這樣的昂貴產(chǎn)品才會(huì)使用三維商品模型。但是應(yīng)用基于視覺(jué)的三維重建技術(shù)，可以在使用我們的手機(jī)攝像頭拍照來(lái)做三維重建。

發(fā)明內(nèi)容

本發(fā)明主要分為兩個(gè)部分，基于三維重建技術(shù)的改進(jìn)應(yīng)用和增強(qiáng)現(xiàn)實(shí)的改進(jìn)引用。

本發(fā)明三維重建部分提供一種基于SfM改進(jìn)算法的三維重建方法和軟件。用戶(hù)可以通過(guò)手機(jī)拍攝物品，上傳照片到重建軟件，生成物品的三維模型。

本發(fā)明增強(qiáng)現(xiàn)實(shí)部分提供了基于標(biāo)記物和無(wú)標(biāo)記物SLAM的兩種方法，將三維物品疊加到真實(shí)空間中去,達(dá)到增強(qiáng)現(xiàn)實(shí)的效果。

本發(fā)明中三維重建方法包括：為了找到多幀圖像中相同的部分，使用SIFT檢測(cè)子做為特征檢測(cè)的算法。SIFT使用高斯金字塔做為特征，SIFT第一步是找到一個(gè)主梯度方向，使其具有旋轉(zhuǎn)不變性，特征描述子可以適應(yīng)多個(gè)方向的特征。在特征匹配階段，使用RANSAC來(lái)估計(jì)多幅圖像間的基礎(chǔ)矩陣。因?yàn)闀?huì)出現(xiàn)很多錯(cuò)誤匹配的特征描述子，需要算法對(duì)提取的描述過(guò)濾。RANSAC是一種利用隨機(jī)算法能夠過(guò)濾異常點(diǎn)的高效算法。使用多幀圖像中的匹配點(diǎn)建立投影矩陣，最小化投影誤差，提高匹配的精度。之后增量式的加入新的匹配特征點(diǎn)，使系統(tǒng)可以處理大量的圖像和缺失點(diǎn)。

增強(qiáng)現(xiàn)實(shí)部分，使用了兩種不同的算法形式。第一種是基于標(biāo)記物的跟蹤。提取標(biāo)記物的ORB特征做為特征描述子。ORB特征是FAST和BRIEF的結(jié)合，是一種快速和魯棒描述子。從攝像頭中讀取實(shí)時(shí)視頻流，對(duì)視頻圖像中每一幀圖像提取ORB特征子，使用RANSAC與模版圖像的特征子做匹配，如果匹配上，通過(guò)投影矩陣計(jì)算出相機(jī)姿態(tài)，將相機(jī)坐標(biāo)放入OpenGL的坐標(biāo)轉(zhuǎn)換關(guān)系中，渲染出虛擬物品。第二種是SLAM的跟蹤方式。通過(guò)標(biāo)記物提取，特征點(diǎn)匹配，姿態(tài)估計(jì)，姿態(tài)更新和地圖更新等一系列的操作，完成SLAM的地圖構(gòu)建和跟蹤。通過(guò)SLAM獲取到相機(jī)姿態(tài)后，放入OpenGL的旋轉(zhuǎn)矩陣，計(jì)算出渲染物品的位置。

附圖說(shuō)明

圖1本發(fā)明實(shí)例的三維重建和增強(qiáng)現(xiàn)實(shí)購(gòu)物系統(tǒng)的流程示意圖。

圖2是三維重建系統(tǒng)的算法執(zhí)行流程圖。

圖3是增強(qiáng)現(xiàn)實(shí)部分的模板匹配的算法執(zhí)行流程圖。

圖4是增強(qiáng)現(xiàn)實(shí)部分的基于建圖和定位的執(zhí)行流程圖。

具體實(shí)施方式