[發明專利]一種航拍影像三維重建的全局運動初始化方法和系統

在審

• 申請號: 201811101135.1
• 申請日: 2018-09-20
• 公開（公告）號: CN109493415A
• 公開（公告）日: 2019-03-19
• 發明（設計）人: 李勝;蒙力;陳毅松;賴舜男;汪國平
• 申請（專利權）人: 北京大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/246;G06T7/33;G06T3/60
• 代理公司: 北京君尚知識產權代理事務所(普通合伙) 11200
• 代理人: 邱曉鋒

本發明涉及一種航拍影像三維重建的全局運動初始化方法和系統。該方法包括：1)對連續幀圖像進行特征提取，并對提取的特征點進行匹配；2)基于連續幀圖像的特征點計算相機旋轉量；3)計算連續幀圖像的相機光心在世界坐標系的位置；4)根據計算出的相機旋轉量和光心位置，進行三維點云的重建。本發明能夠計算出所有相機位姿、并且具有能夠實現快速求解的特點，實現了同時定位與建圖的快速初始化；基于此初始化方法，航拍影像所對應的場景的三維模型重建缺失的部分可以得到補齊。

技術領域

本發明屬于計算機圖形學、同時定位與建圖技術領域，具體涉及一種航拍影像三維重建的全局運動初始化方法和系統。

背景技術

基于航拍并重建出的三維模型往往會在初始采集得到的數據部分造成重建出的三維模型的部分缺失，模型缺失的部分對應的是在航拍時飛機或無人機起飛時拍攝到的部分。這是因為在無人機起飛并開始拍攝時，通過同時定位與建圖方法可能無法快速給出有效的初始化。而同時定位與建圖(SLAM)沒有給出有效初始化的原因是無人機在飛行時基本只保持了一個方向的平移運動，而且被拍攝的場景近似于一個平面。在這種情況下使用慣常的單應矩陣描述兩幀之間的相對運動，在將單應矩陣分解為兩幀之間的相對旋轉和相對平移時，會導致出現兩個歧義解，這兩個歧義解在數學上對應著完全相同的重投影誤差和三維點的相對深度，但是卻描述了兩種不同的相對運動。因此系統難以判斷哪種相對運動是對的，從而造成這種難以完成運動初始化的問題，并且導致最后生成的航拍場景的三維模型在初始部分有數據的缺失現象。

運動恢復結構(SFM)算法包含增量式運動恢復結構和全局運動恢復結構兩種。增量式運動恢復結構利用雙視圖幾何得到兩幀之間的相對運動。假設第i幀位姿已知，通過兩幀之間的相對運動計算出第i+1幀相對全局坐標系的位姿。然后通過bundle adjustment(即光束平差法)來消除增量式重建帶來的累計誤差。全局運動恢復結構在利用雙視圖幾何得到兩幀之間的相對運動之后，并不直接計算出每一幀相對于世界坐標系的相對位姿，而是通過幀與幀之間的相對位姿構建線性方程組，通過解線性方程組的方法計算每一幀在世界坐標系下面的位姿，在計算完位姿之后再進行三維點云的重建以及后續的三維重建。

從上面的介紹可以看出，全局運動恢復結構不像增量式重建一樣，每一幀都要運行一次bundle adjustment。全局運動恢復結構相比增量式方法速度很快(Pierre Moulon,Pascal Monasse and Renaud Marlet.“Global fusion of relative motions forrobust,accurate and scalable structure from motion”.In:Computer Vision(ICCV),2013IEEE International Conference on,2013:3248–3255.)，但是由于bundleadjustment次數較少，精度略遜于增量式重建。

發明內容

為了消除基于航拍場景的三維模型重建在初始部分有數據缺失的現象，本發明提出一種基于運動恢復結構的快速初始化方法和系統。出于速度上的考慮，在本發明中選用全局運動恢復結構的方法，而精度上的缺失將在初始化完成之后建圖部分通過bundleadjustment來彌補。

本發明采用的技術方案如下：

一種航拍影像三維重建的全局運動初始化方法，包括以下步驟：

1)對連續幀圖像進行特征提取，并對提取的特征點進行匹配；

2)基于連續幀圖像的特征點計算相機旋轉量；

3)計算連續幀圖像的相機光心在世界坐標系的位置；

4)根據計算出的相機旋轉量和光心位置，進行三維點云的重建。

進一步地，步驟1)使用ORB特征點提取方法或者GPU加速的GPU-SIFT特征點提取方法進行特征提取。