[發明專利]一種大場景下的AR家居體驗方法

有效

• 申請號: 201811216659.5
• 申請日: 2018-10-18
• 公開（公告）號: CN109613974B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 薛延學;唐開勖;薛萌;白云松
• 申請（專利權）人: 西安理工大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T17/00;G06Q30/06;G06T5/00;G06T7/80
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 談耀文

1.一種大場景下的AR家居體驗方法，其特征在于，首先使用雙目攝像機拍攝所有擬選家居物品的標識圖，通過離線訓練完成家居物品標識圖的特征提取，生成各類家居物品標識圖對應的離線特征庫，所述雙目攝像機指的是兩個處于同一大場景下、相對設置的攝像機；然后對雙目攝像機采集到的包含擬選家居物品標識圖的視頻幀圖像通過采用自然特征標識技術進行識別和三維注冊，完成三維虛擬物體的選定并確定攝像機的初始位姿；最后采用雙目追蹤定位與局部地圖構建技術追蹤攝像機在自然環境中的位姿變化，完成擬選家居物品在大環境下的擴展追蹤定位；具體包括以下步驟：

步驟1：生成離線特征庫

步驟1.1：對雙目攝像機進行標定獲得攝像機內參數K和外參數M，通過雙目攝像機采集所有擬選家居物品的標識圖；

步驟1.2：通過離線訓練完成家居物品標識圖的特征提取；

步驟1.3：計算BRISK描述符對應的采樣點灰度值完成特征描述，生成家居物品的離線特征庫；

步驟2：自然特征標識圖的三維注冊

步驟2.1：對攝像機拍攝的包含標識圖的視頻幀圖像進行標識圖灰度化處理，選用BRISK算法完成特征提?。?/p>

步驟2.2：利用BRISK+FLANN結合算法完成視頻幀圖像與標識圖的特征點匹配；

步驟2.3：剔除步驟2.2中產生的誤匹配，若匹配失敗，返回攝像頭重新采集視頻幀圖像；

步驟2.4：計算攝像機拍攝到的包含標識圖的視頻幀圖像與標識圖之間的單應性矩陣；

步驟2.5：利用RANSAC算法建立當前視頻幀圖像關鍵點與標識圖關鍵點間單應性關系，實現細化匹配；

步驟2.6：通過單應性矩陣計算出標識圖四個角點在視頻幀圖像中的坐標，設定四個角點在歸一化世界坐標系中的坐標，結合圖像坐標系下坐標，利用2D-3D對應關系來估計攝像機的姿態；

步驟2.7：將攝像機的內參數矩陣和外參數矩陣轉換為OpenGL格式，加載3D模型并更新模型位姿；

步驟2.8：將步驟2.7位姿更新后的模型與雙目攝像機拍攝到的包含標識圖的視頻幀圖像合并渲染到屏幕，完成現實家居場景與擬選的家居物品三維模型的初始三維注冊；

步驟3：采用雙目追蹤定位與局部地圖構建技術追蹤攝像機在自然環境中的位姿變化

步驟3.1：使用雙目攝像機同步采集家居場景的視覺圖像；

步驟3.2：對雙目攝像機進行參數標定；

步驟3.3：對步驟1采集的視覺圖像進行校正；

步驟3.4：完成世界坐標下的兩個攝像機R₁和R₂校正后視覺圖像特征點提??；

步驟3.5：對步驟3.4兩個攝像機R₁和R₂所拍攝視覺圖像進行特征點搜索、特征點匹配和篩選特征點的雙目立體匹配，對擬選物品的標識圖進行識別和三維注冊，完成三維虛擬物體的選定和確定初始位姿；

步驟3.6：在去除標識圖的情況下，通過PnP方法估計攝像機的位姿，完成攝像機當前幀特征點與家居環境地圖中關鍵幀的特征點匹配；

步驟3.7：步驟3.6求得的攝像機位姿因噪聲影響存在誤差，使用非線性優化算法優化攝像機位姿，進一步完成虛擬家居模型在大環境下的擴展追蹤定位，實現了大環境下穩定的AR家居體驗。