[發明專利]一種基于單目vio的移動端AR方法

在審

• 申請號: 201711050182.3
• 申請日: 2017-10-31
• 公開（公告）號: CN107767425A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 潘銘星;馮向文;孫健;楊佩星;付俊國;雷青
• 申請（專利權）人: 南京維睛視空信息科技有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/246;G06T7/269
• 代理公司: 南京天翼專利代理有限責任公司32112
• 代理人: 于忠洲

技術領域

本發明涉及一種AR方法，尤其是一種基于單目vio的移動端AR方法。

背景技術

SLAM(simultaneous localization and mapping)分為兩大功能：定位與建圖。其中建圖主要作用是對周邊環境的理解，建立周邊環境與空間的對應關系；定位主要是根據建好的圖，判斷設備在地圖中的位姿，從而得到相機在環境中的信息。

SLAM分為dense和sparse兩種，基于計算能力的考慮，移動端一般選擇sparse SLAM。Sparse SLAM雖然速度快，但是效果很依賴環境：在比較復雜，特征點多的環境下，sparse SLAM效果很好，而對于白墻、光滑平面等特征點比較少的環境，其效果很差，很難準確的估算出相機的姿態。

發明內容

本發明的目的在于提供一種基于單目vio的移動端AR方法，能夠彌補VSLAM的缺點，在短時間內，定位效果很好且不受環境特征點的影響。

為了實現上述發明目的，本發明提供了一種基于單目vio的移動端AR方法，包括如下步驟：

步驟1，利用相機和IMU分別進行圖像采集和慣性數據采集，且IMU的采集頻率大于相機的采集頻率；

步驟2，提取相機獲取的每一幀圖像的特征點，并用光流法對各個特征點進行跟蹤，并將成功跟蹤的幀設置為關鍵幀；

步驟3，對IMU得到的多組IMU數據進行預積分，計算出兩幀圖像對應的IMU位置和速度分別為：

式中，P_k和P_k+1分別表示第k和k+1幀時IMU的位置，v_k和v_k+1表示第k和k+1幀時IMU的速度，Δt為k與k+1幀之間的時間間隔，R_t為t時刻旋轉矩陣，a_t為t時刻的加速度，g為重力加速度；

步驟4，利用SFM算法獲取關鍵幀中跟蹤的特征點，并根據該特征點計算出每個關鍵幀的位姿其中表示關鍵幀的位置，為表示關鍵幀的四元數，代表關鍵幀的旋轉信息；

步驟5，根據IMU測得的兩幀之間的IMU位置相減計算獲得位移，再根據IMU得到的位移和旋轉信息與相機測得兩幀之間的位移和旋轉信息相等算出相機與IMU之間的外參外參的計算公式為：

式中，s為尺度因子，表示相機坐標系下IMU的四元數，即相機與IMU之間的旋轉關系，為相機與IMU之間的位置關系，為IMU測量的位置，為IMU測量的四元數，表示旋轉信息；

步驟6，初始化IMU的速度、加速度以及尺度因子，初始化公式為：

式中，表示IMU預積分結果，預積分結果包括和兩項，分別表示IMU在第k與k+1幀之間的位置約束和速度約束，為測量矩陣，表示IMU在第k幀下的四元數，為的逆，、則表示IMU在第k、k+1幀下的位置，為兩幀圖像之間的時間，χ_I為估算參數，、分別為IMU在第k和k+1幀時對應的速度，g^v為加速度，s為尺度因子，為高斯噪聲；

步驟7，利用緊耦合非線性優化IMU測量數據以及相機測量數據得到相機姿態，優化公式為：

式中，與分別為IMU測量與相機測量的殘差，優化上式得到相機的姿態，從而根據相機姿態疊加虛擬物體實現AR效果。

進一步地，步驟1中，相機以30HZ的速度獲取圖像，即1秒30幀的速度；IMU以100HZ的速度獲取數據，即1秒100組IMU數據。

進一步地，步驟2中，光流法假設同一個特征點的灰度不變，對于t時刻位于(x,y)處的像素，假設t+dt時刻他運動到(x+dx，y+dy)處，灰度值不變，表示式為：

I(x+dx，y+dy，t+dt)＝I(x，y，t)

式中，(x+dx，y+dy表示運動后的坐標，(x,y)表示運動前坐標，t表示運動前時刻，t+dt表示運動后時刻。

本發明的有益效果在于：采用IMU(慣性測量單元)正好彌補了VSLAM的缺點，在短時間內，其效果很好且不受環境特征點的影響；在時間長時，可利用VSLAM與IMU對齊，防止偏移；結合VSLAM與IMU的VIO系統(Visual-Inertial Odometry)，可保證算法在移動端實時運行，且效果很穩定。

附圖說明

圖1為本發明的方法流程圖。

具體實施方式