[發明專利]實現增強現實的方法及系統

有效

• 申請號: 201610619157.1
• 申請日: 2016-07-29
• 公開（公告）號: CN107665508B
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 鄭黎力
• 申請（專利權）人: 成都理想境界科技有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種實現增強現實的方法，其特征在于，包括以下步驟：

預先獲取環境場景的離線視頻圖像，構建所述環境場景的離線三維地圖；

將所述環境場景的離線三維地圖中的地圖點按距離聚類為多個地圖點集合；

分別在所述每個地圖點集合中，根據所述地圖點集合中地圖點的平均坐標值，獲取以所述環境場景的三維地圖的坐標原點為中心的地圖點集合MP；

將所述地圖點集合MP轉換為數據矩陣進行奇異值分解，確定以最小奇異值對應的奇異向量為法線的平面P；

遞歸計算所述地圖點集合MP中所有地圖點到所述平面P的距離，判斷距離小于預設閾值ε的地圖點數量是否大于預設閾值l，若是，則確定所述平面P為所述地圖點集合MP對應的符合虛擬對象渲染條件的平面；

根據所述虛擬對象的預設渲染位置，判斷所述預設渲染位置的預設距離范圍內是否存在符合所述虛擬對象渲染條件的平面；

若是，則根據所述符合所述虛擬對象渲染條件的平面，調整所述虛擬對象的位置和/或角度，得到所述虛擬對象的渲染參數；

通過攝像機實時采集環境場景的視頻圖像，與所述環境場景的離線視頻圖像進行匹配；

若匹配成功，則根據虛擬對象在所述環境場景的離線視頻圖像中的渲染參數，在所述環境場景視頻圖像的當前幀中渲染所述虛擬對象。

2.根據權利要求1所述的實現增強現實的方法，其特征在于，所述根據所述符合所述虛擬對象渲染條件的平面，調整所述虛擬對象的位置和/或角度，得到所述虛擬對象的渲染參數的步驟，具體為：

調整所述虛擬對象的位置和/或角度，使所述虛擬對象的法線方向與所述平面P的法線方向一致，得到所述虛擬對象的渲染參數，所述渲染參數包括旋轉矩陣和位移矩陣。

3.根據權利要求1所述的實現增強現實的方法，其特征在于，還包括：

若未匹配成功，則確定所述環境場景視頻圖像的當前幀中的感興趣區域，檢測所述感興趣區域中的平面；

根據所述感興趣區域中的平面，在所述環境場景視頻圖像的當前幀中渲染虛擬對象。

4.一種實現增強現實的系統，包括服務器和終端，其特征在于，所述服務器，包括：

離線視頻獲取模塊：用于預先獲取環境場景的離線視頻圖像；

離線地圖構建模塊：用于根據所述環境場景的離線視頻圖像，構建所述環境場景的離線三維地圖；

渲染參數確定模塊：用于確定虛擬對象在所述環境場景的離線視頻圖像中的渲染參數；

所述渲染參數確定模塊，還包括：

平面檢測單元：用于將所述環境場景的離線三維地圖中的地圖點按距離聚類為多個地圖點集合；分別在所述每個地圖點集合中，根據所述地圖點集合中地圖點的平均坐標值，獲取以所述環境場景的三維地圖的坐標原點為中心的地圖點集合MP；將所述地圖點集合MP轉換為數據矩陣進行奇異值分解，確定以最小奇異值對應的奇異向量為法線的平面P；遞歸計算所述地圖點集合MP中所有地圖點到所述平面P的距離，判斷距離小于預設閾值ε的地圖點數量是否大于預設閾值l，若是，則確定所述平面P為所述地圖點集合MP對應的符合虛擬對象渲染條件的平面；

平面判斷單元：用于根據所述虛擬對象的預設渲染位置，判斷所述預設渲染位置的預設距離范圍內是否存在符合所述虛擬對象渲染條件的平面；

對象調整單元：用于根據所述符合所述虛擬對象渲染條件的平面，調整所述虛擬對象的位置和/或角度，得到所述虛擬對象的渲染參數；

所述終端，包括：

視頻采集模塊：用于通過攝像機實時采集環境場景的視頻圖像；

圖像匹配模塊：用于將所述視頻采集模塊采集的環境場景的視頻圖像與所述環境場景的離線視頻圖像進行匹配；

位姿計算模塊：用于根據匹配的所述環境場景的離線視頻中的圖像幀，計算所述環境場景視頻圖像的當前幀對應的攝像機在所述離線三維地圖中的位姿；

對象渲染模塊：用于根據虛擬對象在所述環境場景的離線視頻圖像中的渲染參數，在所述環境場景視頻圖像的當前幀中渲染所述虛擬對象。