[發明專利]一種基于單目vio的移動端AR方法

在審

• 申請號: 201711050182.3
• 申請日: 2017-10-31
• 公開（公告）號: CN107767425A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 潘銘星;馮向文;孫健;楊佩星;付俊國;雷青
• 申請（專利權）人: 南京維睛視空信息科技有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/246;G06T7/269
• 代理公司: 南京天翼專利代理有限責任公司32112
• 代理人: 于忠洲

1.一種基于單目vio的移動端AR方法，其特征在于，包括如下步驟：

步驟1，利用相機和IMU分別進行圖像采集和慣性數據采集，且IMU的采集頻率大于相機的采集頻率；

步驟2，提取相機獲取的每一幀圖像的特征點，并用光流法對各個特征點進行跟蹤，并將成功跟蹤的幀設置為關鍵幀；

步驟3，對IMU得到的多組IMU數據進行預積分，計算出兩幀圖像對應的IMU位置和速度分別為：

Pk+1=Pk+vkΔt+∫∫kk+1(Rtαt-g)dt2]]>

vk+1=vk+∫kk+1(Rtαt-g)dt]]>

式中，P_k和P_k+1分別表示第k和k+1幀時IMU的位置，v_k和v_k+1表示第k和k+1幀時IMU的速度，Δt為k與k+1幀之間的時間間隔，R_t為t時刻旋轉矩陣，a_t為t時刻的加速度，g為重力加速度；

步驟4，利用SFM算法獲取關鍵幀中跟蹤的特征點，并根據該特征點計算出每個關鍵幀的位姿其中表示關鍵幀的位置，為表示關鍵幀的四元數，代表關鍵幀的旋轉信息；

步驟5，根據IMU測得的兩幀之間的IMU位置相減計算獲得位移，再根據IMU得到的位移和旋轉信息與相機測得兩幀之間的位移和旋轉信息相等算出相機與IMU之間的外參外參的計算公式為：

qbkv=qckv⊗qbc]]>

spbkv=spckv+qckvpbc]]>

式中，s為尺度因子，定示相機坐標系下IMU的四元數，即相機與IMU之間的旋轉關系，為相機與IMU之間的位置關系，為IMU測量的位置，為IMU測量的四元數，表示旋轉信息；

步驟6，初始化IMU的速度、加速度以及尺度因子，初始化公式為：

zbk+1bk=αbk+1bkβbk+1bk=Hbk+1bkχI+nbk+1bk≈qvbk▿tk012qvbk▿tk2qvbk(pbk+1v-pbkv)-qvbkqvbkqvbk▿tk0vbkvvbk+1vgvs]]>

式中，表示IMU預積分結果，預積分結果包括和兩項，分別表示IMU在第k與k+1幀之間的位置約束和速度約束，為測量矩陣，表示IMU在第k幀下的四元數，為的逆，則表示IMU在第k、k+1幀下的位置，為兩幀圖像之間的時間，χ_I為估算參數，分別為IMU在第k和k+1幀時對應的速度，g^v為加速度，s為尺度因子，為高斯噪聲；

步驟7，利用緊耦合非線性優化IMU測量數據以及相機測量數據得到相機姿態，優化公式為：

minχ{Σk∈β||γβ(zbk+1bk,χ)||2+Σ(l,j)∈ζ||γζ(zlcj,χ)||2}]]>

式中，與分別為IMU測量與相機測量的殘差，優化上式得到相機的姿態，從而根據相機姿態疊加虛擬物體實現AR效果。