[發明專利]一種基于圖像與掃描數據的混合三維重建方法無效

申請號：	200810224348.3	申請日：	2008-10-17
公開（公告）號：	CN101383054A	公開（公告）日：	2009-03-11
發明（設計）人：	馬祥音;英向華;查紅彬	申請（專利權）人：	北京大學
主分類號：	G06T17/00	分類號：	G06T17/00;G06T7/00
代理公司：	北京路浩知識產權代理有限公司	代理人：	張國良
地址：	100871***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于圖像掃描數據混合三維重建方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

技術領域

本發明涉及計算機視覺領域，具體涉及一種真實場景的三維重建方法。

背景技術

精確的三維幾何模型在虛擬現實、數字城市、地形勘測、數字娛樂、城市設計規劃等諸多領域都有著廣泛的應用。三維場景重建中最常用的兩種方法是基于激光掃描數據的主動方法和基于二維圖像或視頻序列的被動方法。激光掃描儀直接測量高精度的三維數據集，并且對環境光不敏感，隨著儀器設備的發展得到越來越多的關注。但是，數據采集費時費力，可靠的顏色信息一般不能同時獲取，且在玻璃、深色表面以及遮擋區域的原始數據也很不可靠。而基于圖像的方法數據采集簡易靈活，能很容易獲取足夠多的數據覆蓋整個場景，并且彩色照片可同時用于紋理映射。但由于存在相機標定和立體匹配這兩個經典難題，很難單獨完成復雜場景的建模。

因此，為了精確建立物理世界的真實感三維模型，復雜場景的三維重建需要結合若干不同種類的數據，尤其是3D掃描數據與2D圖像數據，即采用基于圖像與掃描數據的混合三維重建。我們不難發現兩者有著很好的互補性，若能融合兩種數據取長補短，不僅可以降低重建難度也可以提高三維重建的質量。

一方面，圖像信息可以用來提高三維數據的質量。除了顏色信息外，可以恢復額外的三維數據點。比如，根據臨近象素點對應的三維坐標在顏色信息的引導下插值得到新的三維頂點；利用圖像數據對應特征像素點的三角化來修正初始的相機標定，一旦獲得可靠的標定結果，將匹配得到的對應象素點三角化添加到原始三維數據中；考慮到深度的不連續往往同時引起顏色的不連續，有相關工作用多分辨率的馬爾科夫隨機場將圖像和深度數據聯系起來生成高分辨率、低噪聲的深度圖像；圖像信息同樣也可以輔助三維數據上幾何特征的抽取。

另一方面，很多工作獨立地從兩種數據源分別生成幾何模型，然后再融合到一起。很多大型文化遺址場景的三維重建就是這樣融合多種技術來完成三維重建。他們用基于圖像的方法獲取基本形狀以及整體結構，用激光掃描儀獲取帶有豐富細節如雕刻的表面，同時結合基于圖像的繪制方法來表現背景環境等視差變化不顯著的區域。

混合重建，即結合不同傳感器數據來完成場景三維建模，是一個很具有挑戰性的技術領域。理想的融合方式需要能讓兩種數據都能對最終的結果發揮自身最大的貢獻。目前為止，還難以設計出一個適用于不同實際場景的通用的融合框架。

發明內容

本發明的目的是針對建筑物場景而設計的一種融合多視圖像和掃描數據的三維重建方法。該方法充分發掘兩類數據的互補特性，利用方便獲取的圖像數據來恢復激光掃描儀未能獲取的信息，同時掃描數據保證幾何精確度并為立體圖像的匹配提供場景結構信息。這樣的重建方法不僅簡化了數據采集，同時除二維圖像和掃描數據之間的配準外不需任何人工干預，模型生成與處理也變得更為易行。

為了達到上述發明目的，本發明提供了一種基于圖像與掃描數據的混合三維重建方法，所述方法包括以下步驟：

S1：將三維掃描數據分割為一系列點集，平面擬合所得點集；

S2：將屬于每一個空間平面的三維點分別投影到兩幅圖像上，擬合對應于該空間平面的視差層；

S3：通過立體匹配找出主圖像中各個像素點所屬的空間平面；

S4：在掃描數據缺失區域添加三維頂點，得到最終的網絡模型。

其中，所述方法在步驟S1之前還包括步驟：

SA：對二維圖像和掃描數據進行配準，選取對應的三維點和像素點，求出相機內參數以及對應于掃描數據的旋轉平移參數；以及

SB：對立體圖像進行極線校正，并記錄校正之后的相機內外參數。

其中，所述方法的步驟S1中，將三維掃描數據分割為一系列點集之后，先合并共面的點集，并去掉不可靠的點集，然后再平面擬合所得點集。

其中，所述不可靠的點集為頂點數目少于一定閾值的點集。

其中，所述步驟S2中采用迭代的最小二乘方法進行擬合。

其中，所述步驟S3采用“將圖像塊分割為顏色塊，并計算每個顏色塊所屬視差平面”的方法完成。