[發明專利]基于L-M算法和多項式插值對相機跟蹤進行優化的方法

在審

• 申請號: 201911070349.1
• 申請日: 2019-11-05
• 公開（公告）號: CN111062966A
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 高天寒;姜偉
• 申請（專利權）人: 東北大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T5/00
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 李珉

1.一種基于L-M算法和多項式插值對相機跟蹤進行優化的方法，其特征在于：包括以下步驟：

步驟1：運行ORB_SLAM2程序，對目標圖片進行檢測識別，在沒有識別到目標圖像之前保持識別狀態；

步驟2：識別到目標圖片后，移除目標圖片，進入無標識式AR跟追蹤狀態，跟蹤的每一幀都繪制虛擬物體，同時調用ORB_SLAM2程序對AR場景進行初始化，即構建AR場景地圖和保持對原目標圖片的跟蹤狀態；

步驟3：在跟蹤狀態下，如果跟蹤失敗重新執行步驟1進行目標檢測，否則檢測成功后重新執行步驟2，繼續調用ORB_SLAM2對AR場景進行初始化，直到AR場景地圖創建成功為止；

步驟4：構建AR場景地圖成功的同時，將AR場景地圖的坐標系以及AR場景中的虛擬對象的坐標系進行虛實注冊，獲取虛擬對象的三維坐標與標準的二維成像平面之間的對應關系；具體涉及到AR場景中虛擬對象的坐標系、世界坐標系、相機坐標系和二維成像平面坐標系之間的相互轉換；

步驟5：移除識別的目標圖片，完全進入ORB_SLAM2跟蹤，利用列文伯格-馬夸爾特算法對相機跟蹤曲線進行初步平滑優化；

步驟6：檢測相機跟蹤的連續五個幀之間的相機跟蹤曲線波動是否大于cos0.9，若大于則采用多項式插值優化法對連續五個幀進行插值處理，完成對相機跟蹤曲線的最終優化，否則相機跟蹤曲線平滑，執行步驟7；

步驟7：根據優化后的相機跟蹤曲線返回相機的外參，最終結合相機內參計算優化后的相機參數矩陣，進行虛實注冊，保證AR場景中虛擬模型的穩定。

2.根據權利要求1所述的基于L-M算法和多項式插值對相機跟蹤進行優化的方法，其特征在于：所述AR場景中虛擬對象的坐標系、世界坐標系、相機坐標系和二維成像平面坐標系之間的相互轉換的具體方法為：

設定虛擬對象坐標系坐標為(X_v，Y_v，Z_v)，世界坐標系坐標為(X_w，Y_w，Z_w)，相機坐標系坐標為(X_c，Y_c，Z_c)；

所述世界坐標系到相機坐標系的轉換，具體如下：

世界坐標系到相機坐標系的轉換是為了確定相機與真實場景的相對位置和方向，轉換公式如下所示：

其中，V_3x3是一個3x3的矩陣，反應相機相對于世界坐標系的旋轉分量；W_3x1是一個3x1的矩陣，表示的是相機相對于世界坐標系的平移分量；

所述相機坐標系到二維成像平面坐標系的轉換過程，具體如下：

首先對相機進行標定，獲取相機內參；利用小孔成像原理，完成相機從三維坐標到二維平面坐標的轉換；

根據針孔相機的成像原理，設相機坐標系中某點的坐標M(X_c,Y_c,Z_c)到二維平面上的投影為M(x_u,y_u)，有相似比例關系得：

將上述公式用齊次坐標和矩陣表示為：

其中，f_x、f_y、u₀、v₀均為相機的內部參數，f_x為焦距在平面坐標系x軸上的縮放結果，f_y為焦距在平面坐標系y軸上的縮放結果，u₀、v₀分別表示像素坐標系原點沿平面坐標系y、x方向平移的距離；

所述虛擬對象坐標系到世界坐標系的轉換，具體如下：

虛擬對象坐標系到世界坐標系的轉換，確定了虛擬物體在真實場景三維空間中的位置和方向，轉換關系如下所示：

其中，dx和dy表示數字離散化后的像素在平面坐標系x軸和y軸方向上的尺度變換參數；

由此得AR場景中虛擬對象坐標到二維成像平面坐標的映射關系，如下：

其中，N為坐標變換矩陣，f為相機焦距。

3.根據權利要求1所述的基于L-M算法和多項式插值對相機跟蹤進行優化的方法，其特征在于：步驟5所述利用列文伯格-馬夸爾特算法對相機跟蹤曲線進行初步平滑優化的具體方法為：

(1)首先取第一幀的相機外參x₀作為列文伯格-馬夸爾特算法的初始值，給定初始優化半徑μ和區域信賴范圍ρ；

(2)對于第k次迭代，求解：

其中，μ_k是優化半徑，D為非負數對角陣，f(x_k)是相機跟蹤曲線關于相機位姿x_k的函數，J(x_k)是相機跟蹤曲線關于相機位姿x_k的一階導數，Δx_k表示相機位姿x_k的增量；

(3)根據公式計算第k次迭代時的區域信賴范圍ρ_k；若則μ_k+1＝2μ_k；若則μ_k+1＝0.5μ_k，x_k+1＝x_k；若則μ_k+1＝μ_k，x_k+1＝x_k；如果ρ_k大于設定閥值，令x_k+1＝x_k+Δx_k；

(4)判斷Δx_k是否小于10^-4，若否，則算法不收斂，重新執行(2)繼續迭代，否則完成對相機跟蹤曲線的初步平滑優化，執行步驟6。