[發明專利]基于三維重建和增強現實的虛擬購物系統

在審

• 申請號: 201710650415.7
• 申請日: 2017-08-02
• 公開（公告）號: CN109389634A
• 公開（公告）日: 2019-02-26
• 發明（設計）人: 蒲勇飛;孟超;李泳橙
• 申請（專利權）人: 蒲勇飛
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/73;G06T7/80;G06T15/00;G06T19/20;G06Q30/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種結合三維重建技術和增強現實技術的購物體驗平臺系統和方法，該系統包括了用于三維重建儀器和軟件，在移動平臺上運行的增強現實購物體驗程序。通過自動的重建商品三維模型和在移動設備上的增強現實投影，可以方便的讓用戶了解到商品放置到現實環境中的效果，實現一種無需實體物品，就可以到逼真的觀察商品的三維信息。

技術領域

本發明涉及三維重建領域和增強現實領域，具體的說，三位重建為室內小物體的重建方法和設備，增強現實是基于雙目和單目攝像頭的平面和空間跟蹤方法。

背景技術

在目前商品都是以二維圖片的形式展示，不夠直觀。而利用基于視覺的三維重建技術可以低廉高效的建立商品的三維模型，且不需要專業的建模人員。同時，應用增強現實技術，將物品的三維模型以增強現實的形式疊加到現實世界中，比如人體上、房屋中，就可以實現相應的逼真的虛擬試穿和虛擬家庭等增強顯示的體驗。項目將分別實驗使用基于RGB-D、基于雙目視覺和基于單目視覺的三種流行的三維重建方式，來尋找重建準確度和重建成本的最佳平衡。增強現實將在移動端實現，利用手機攝像頭構建出基于Visual SLAM的地圖信息，將三維模型準確的疊加到手機的取景場景中，構建逼真的購物體驗。

目前我們在網絡購物中最大的不便是無法從產品的二維圖片中完整的了解一款產品，很多時候圖片上的信息不夠全面，或者不知道在自己的身上會是怎樣的效果。三維物品可以讓我們更加全面的了解一款產品，但是三維建模成本高，只有像汽車這樣的昂貴產品才會使用三維商品模型。但是應用基于視覺的三維重建技術，可以在使用我們的手機攝像頭拍照來做三維重建。

發明內容

本發明主要分為兩個部分，基于三維重建技術的改進應用和增強現實的改進引用。

本發明三維重建部分提供一種基于SfM改進算法的三維重建方法和軟件。用戶可以通過手機拍攝物品，上傳照片到重建軟件，生成物品的三維模型。

本發明增強現實部分提供了基于標記物和無標記物SLAM的兩種方法，將三維物品疊加到真實空間中去,達到增強現實的效果。

本發明中三維重建方法包括：為了找到多幀圖像中相同的部分，使用SIFT檢測子做為特征檢測的算法。SIFT使用高斯金字塔做為特征，SIFT第一步是找到一個主梯度方向，使其具有旋轉不變性，特征描述子可以適應多個方向的特征。在特征匹配階段，使用RANSAC來估計多幅圖像間的基礎矩陣。因為會出現很多錯誤匹配的特征描述子，需要算法對提取的描述過濾。RANSAC是一種利用隨機算法能夠過濾異常點的高效算法。使用多幀圖像中的匹配點建立投影矩陣，最小化投影誤差，提高匹配的精度。之后增量式的加入新的匹配特征點，使系統可以處理大量的圖像和缺失點。

增強現實部分，使用了兩種不同的算法形式。第一種是基于標記物的跟蹤。提取標記物的ORB特征做為特征描述子。ORB特征是FAST和BRIEF的結合，是一種快速和魯棒描述子。從攝像頭中讀取實時視頻流，對視頻圖像中每一幀圖像提取ORB特征子，使用RANSAC與模版圖像的特征子做匹配，如果匹配上，通過投影矩陣計算出相機姿態，將相機坐標放入OpenGL的坐標轉換關系中，渲染出虛擬物品。第二種是SLAM的跟蹤方式。通過標記物提取，特征點匹配，姿態估計，姿態更新和地圖更新等一系列的操作，完成SLAM的地圖構建和跟蹤。通過SLAM獲取到相機姿態后，放入OpenGL的旋轉矩陣，計算出渲染物品的位置。

附圖說明

圖1本發明實例的三維重建和增強現實購物系統的流程示意圖。

圖2是三維重建系統的算法執行流程圖。

圖3是增強現實部分的模板匹配的算法執行流程圖。

圖4是增強現實部分的基于建圖和定位的執行流程圖。

具體實施方式