[發明專利]基于計算機視覺定位的增強現實實現方法

有效

• 申請號: 201811568227.0
• 申請日: 2018-12-21
• 公開（公告）號: CN109685913B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 韓紅;高鑫磊;范迎春;陳軍如;張照宇;李陽;岳欣;唐裕亮
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T19/00
• 分類號: G06T19/00
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

1.一種基于計算機視覺定位的增強現實實現方法，其特征在于，初始化相機位姿，渲染增強現實效果，該方法的步驟包括如下：

(1)標定相機：

采用基于移動平面模板的相機標定方法，標定攝像機內參數矩陣，三個徑向畸變參數，二個切向畸變參數；

(2)提取圖像特征點：

采用加速段測試的特征FAST檢測方法，從標定后相機拍攝的圖像中提取特征點；

(3)計算特征點描述子：

(3a)用方差為2，9×9個像素點的高斯窗口，對提取特征點后的圖像進行高斯濾波，得到濾波后的圖像；

(3b)從濾波后的圖像中任意選取一個圖像特征點，作為當前圖像特征點；

(3c)以當前圖像特征點為中心，將其31×31個像素點鄰域范圍內的所有像素點組成一個圖像鄰域塊；

(3d)在每個圖像鄰域塊中隨機選取一對5×5像素點大小的圖像子塊；

(3e)利用比特位計算公式，計算描述子中的每個比特位：

(3f)判斷是否選取完圖像鄰域塊中的所有圖像子塊，若是，則執行步驟(3g)，否則，執行步驟(3c)；

(3g)判斷是否選取完濾波后的圖像中所有圖像特征點，若是，則執行步驟(4)，否則，執行步驟(3b)；

(4)矯正圖像畸變：

(4a)對提取到的每一個圖像特征點，進行圖像特征點的坐標歸一化處理；

(4b)利用徑向畸變矯正公式，對歸一化后的圖像特征點坐標進行徑向畸變矯正；

(4c)利用切向畸變矯正公式，對徑向畸變矯正后圖像坐標進行切向畸變矯正；

(5)判斷當前處理的相機拍攝圖像幀數是否為相機拍攝圖像的第一幀，若是，執行步驟(6)；若當前處理圖像為相機拍攝圖像的第二幀，執行步驟(7)，若當前處理圖像幀數大于等于三，執行步驟(9)；

(6)初始化三維引擎模塊：

(6a)以當前相機坐標系為基準，建立世界坐標系，用單位矩陣表征相機位姿；

(6b)將三維引擎模塊中的虛擬相機內參數矩陣設置為標定相機的內參數矩陣，將三維引擎模塊中虛擬相機的位姿設置為單位矩陣；

(6c)三維引擎模塊讀取由三維動畫軟件制作的三維模型后執行步驟(2)；

(7)初始化相機位姿：

(7a)選取相機拍攝的最初的兩個圖像幀，對兩組二維圖像特征點描述子進行匹配，用漢明距離表征圖像特征點描述子匹配程度；

(7b)對于滿足對極約束關系的所有圖像特征點匹配對中的任意一對圖像特征點，計算相機位姿的本征矩陣：

P_i^TEQ_j＝0

其中，P_i表示選取的第一幀圖像的第i個圖像特征點的齊次坐標，T表示轉置操作，E表示相機位姿的本征矩陣，Q_j表示選取的第二幀圖像中與P_i滿足對極約束關系的第j個圖像特征點的齊次坐標；

(7c)按照下式，分別計算相機位姿的旋轉矩陣和平移向量：

E＝cR

RR^T＝I

其中，c表示相機位姿的平移向量的反對稱矩陣，R表示相機位姿的旋轉矩陣，I表示單位矩陣；

(7d)利用變換矩陣計算公式，計算相機位姿的變換矩陣：

O＝[R|t]

其中，O表示相機位姿的變換矩陣，t表示相機位姿的平移向量；

(7e)基于當前相機位姿的變換矩陣，建立當前相機坐標系后執行步驟(8)；

(8)映射三維空間點：

(8a)在當前相機位姿對應的相機坐標系中，按照下式，計算當前圖像幀中二維圖像特征點對應的三維空間坐標：

B_a＝KD_a

其中，B_a表示當前圖像幀的第a個圖像特征點的齊次坐標，D_a表示與B_a對應的當前相機位姿對應的相機坐標系中的三維空間點坐標；

(8b)將當前相機坐標系變換到世界坐標系，將當前相機坐標系中的三維空間點添加到世界坐標系三維空間點集合后執行步驟(10)；

(9)獲取相機實時位姿：

(9a)將當前三維空間點集合中的三維空間點與當前圖像幀提取到的二維圖像點匹配，用歐氏距離和漢明距離表征匹配程度；

(9b)采用基于點特征的定位PnP方法，得到準確的當前相機位姿的變換矩陣；

(9c)基于當前相機位姿的變換矩陣，建立當前相機坐標系后執行步驟(8)；

(10)渲染增強現實效果：

(10a)三維引擎模塊將當前圖像幀放入幀緩沖區，作為增強現實的現實部分；

(10b)根據當前現實相機的位姿信息，調整三維引擎模塊中的虛擬相機位姿，使得虛擬相機位姿與當前現實相機的位姿一致；

(10c)基于虛擬相機的當前位姿，將世界坐標系中的的三維模型變換到當前圖像幀對應的相機坐標系中；

(10d)基于虛擬相機的內參數矩陣，將當前相機坐標系中的三維模型投影至二維平面，投影結果放入幀緩沖區，疊加在當前圖像幀之上，作為增強現實的虛擬部分；

(10e)將幀緩沖區映射到屏幕上，呈現出現實與虛擬相融合的虛擬現實效果。