[發明專利]一種魯棒的大場景稠密三維重建方法

在審

• 申請號: 201510074141.2
• 申請日: 2015-02-12
• 公開（公告）號: CN104715504A
• 公開（公告）日: 2015-06-17
• 發明（設計）人: 劉怡光;易守林;曹麗萍;羅以寧;吳鵬飛
• 申請（專利權）人: 四川大學
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 無
• 代理人: 無

技術領域

本發明涉及一種魯棒三維重建算法，尤其涉及一種魯棒鄰居圖像選取方法，屬于圖像處理和計算機視覺領域。

背景技術

基于圖像的多視圖三維重建是利用目標場景不同視角下的圖像序列來恢復該場景的三維模型，在保護歷史文物、數字娛樂和城市規劃等領域具有廣泛的應用前景。相比于傳統的激光掃描方法，基于圖像的三維重建具有使用簡單靈活、成本低、使用性廣等優點，是計算機視覺領域一個研究熱點。現有的基于圖像的三維重建可以分為四類：基于體素的方法，基于表面演化的方法，基于特征點擴展的方法和基于深度圖融合的方法。基于體素的方法需要估計目標對象的三維包盒，然后利用能量函數優化提取三維模型，這類方法不適用大場景，而且重建精度受體素模型分辨率的限制。基于表面演化的方法通過迭代演化初始曲面模型來最小化能量函數，使其逐步收斂到目標的真實三維模型，這類方法易收斂于局部最優，而且對于室外大場景也很難獲取到初始模型。基于特征點擴展的方法先在有紋理區域重建三維稀疏點，然后再擴展到無紋理區域，這類方法同時使用所有可用的圖像來重建三維模型，用于室外大場景時計算復雜度高，而且在弱紋理和無紋理區域計算得到準確度不高。基于深度圖融合方法先單獨計算每幅圖像對應的深度圖像，然后利用約束條件將深度圖融合成完整三維模型，這類方法靈活、方便，能生成高精度的三維模型，適用室外大場景，但重建精度對鄰居圖像的選取敏感。

發明內容

本發明所要解決的技術問題是提供一種魯棒的大場景稠密三維重建方法，針對大尺度、無結構的大場景圖像序列，能快速、精確的恢復出真實的三維場景模型。

本發明的解決方案是：首先，充分考慮尺度、角度、基線和覆蓋面積等因素，魯棒的選取鄰居圖像，隨后利用像素的DAISY特征和PatchMatch信息傳播框架精確計算每幅圖像的深度圖，然后利用圖像間的一致性優化、融合深度圖，最后利用重建三維點的精度去除冗余的點得到最后的三維模型。

本發明為實現上述解決方法，其方法步驟如下：

1、首先，對于輸入的圖像集，利用現有的從運動恢復結構算法（Structure?From?Motion，SFM）標定圖像的攝像機參數，然后充分考慮基線、尺度、覆蓋面積等因素，對每一幅圖像都選取多幅鄰居圖像，選圖公式為

其中，R是目標圖像，I是候選圖像，p是SFM重建出的稀疏三維點，F_X表示能在圖像X中看到的三維點，W_v是可見三維點的圖像數量權重，W_α是三維點與兩攝像機中心所成夾角權重，W_s是兩幅圖像尺度權重，W_c是圖像間覆蓋權重。各個權重定義如下：

其中，V(p)表示能看到三維點p的圖像數量，表示三維點p與兩攝像機所成夾角，I_S表示已選鄰居圖像集，，S_R(p)表示空間三維點p在圖像R上的尺度；

2、隨后，利用步驟1選取的鄰居圖像，提取圖像的DAISY特征，將圖像與鄰居圖像集進行匹配，匹配代價函數定義為：

其中，，D_R(x_R)表示圖像點x的DAISY特征，x_R和x_I可以通過單應矩陣計算得到。利用PatchMatch信息傳播框架，先隨機初始化每幅圖像的深度值和法向量，然后進行鄰居擴散，擴散結束后對每個深度值進行多次隨機擾動，得到精確的深度值和法向量；

3、然后，利用圖像與鄰居圖像之間的一致性，對步驟2計算得到每幅圖像的深度圖進行優化和融合，圖像點x反投影回三維空間得到三維點X，將X投影到圖像的鄰居圖像上可以得到投影深度d(X,N_i)，而對應點原來計算的深度值為，如果計算準確則這兩個值應該相等或相近，而鄰居圖像對應的三維點X_i投影到目標圖像正好在位置x處，則投影深度值為d(X_i,R)，x處原來的深度值為，如果計算準確，這兩個值也應該相等或相近，其中i=1,2…,k，是閾值為常數，故對于圖像上任意一點如果滿足，則保留該點值，否則刪除該點值。是狄拉克雷Delta函，n的計算如下式所示：