[發明專利]稀疏數據的重建

有效

• 申請號: 201110404712.6
• 申請日: 2011-11-28
• 公開（公告）號: CN102446343A
• 公開（公告）日: 2012-05-09
• 發明（設計）人: M·芬奇;J·斯奈德;H·霍普;Y·韋克斯勒
• 申請（專利權）人: 微軟公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T17/00
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 陳斌

技術領域

本發明涉及圖像重建，尤其涉及稀疏數據的重建。

背景技術

在計算機圖形領域中，給定二維的相對稀疏的點集，可能期望重建稠密目標圖像。例如，各點可能具有深度值或某種其他類型的標量數據。為了重建圖像，可以基于各稀疏點的值來內插各稀疏點之間的空間深度(或其他類型的數據)。通常，對于兩個鄰近點，這兩個點之間的線將具有平滑的深度分級。例如，如果點P具有深度0且點Q具有深度10，則在P和Q之間的線上的四個均勻隔開的點處，深度可以是2、4、6和8。一般地，在各點之間所內插的值平滑地變化。

盡管已經使用不同的內插策略，但先前不可能使用稠密圖像或信號來通知內插過程。下面討論與通過考慮稠密圖像或引導信號的特征來重建圖像有關的技術。

發明內容

包括下列概述只是為了介紹下面在詳細描述中討論的一些概念。本概述不是詳盡的，且不旨在描繪所要求保護的本主題的范圍，本主題的范圍由在結尾呈現的權利要求陳述。

使用稠密引導圖像或信號來通知從目標點的稀疏集合重建目標圖像。假定該引導圖像和該組目標點是從同一真實世界主體或場景導出的。首先檢測該引導圖像中的潛在的不連續性(例如，裂縫、邊緣、縫隙等等)。潛在的不連續性可以是Voronoi區域的邊界，可能是使用數據空間(例如，色彩空間)中的距離來計算的。使用不連續性和點的稀疏集合來重建目標圖像。具體地，目標圖像的像素可以平滑地內插在鄰近目標點之間，但在鄰近目標點由不連續性隔開的位置處，內插可以例如通過調整或影響松弛、或具體地通過消除平滑度懲罰來在不連續性處突然跳變?？梢允褂酶髂繕它c來選擇在重建期間要使用的不連續性的僅一個子集。

下面將參考結合附圖考慮的下列詳細描述解釋許多伴隨特征。

附圖說明

在考慮到附圖而閱讀下列詳細描述之后，將更好地理解本描述，附圖中，使用相同的參考數字標明所附描述中相同的部分。

圖1使用示例數據示出一般過程。

圖2示出用于找出候選不連續性的過程。

圖3示出計算得到的區域和種子的示例。

圖4示出用于過濾候選不連續性的過程。

圖5示出用于計算種子或目標點的平滑內插的過程。

圖6示出示例引導圖像和示例目標像素集。

圖7示出示例候選不連續性的集合和不連續性的所選子集。

圖8示出最終重建的目標圖像。

圖9示出可在其上實現一個或多個實施方式的計算機。

具體實施方式

下面討論的實施方式涉及使用稠密引導圖像來通知從數據點的對應稀疏集合來重建圖像。該討論從解釋一般實施方式的步驟開始。然后，將描述用于實現該一般實施方式的步驟的變體和細節。然后，將討論用實際數據色彩的示例。

圖1使用示例數據示出一般過程。將假定引導圖像100和目標點集合102的形式的輸入數據。下面進一步討論的線103和線103A表示稍后標識的潛在不連續性且不是引導圖像100的一部分。為了幫助理解，將在下一段落描述示例輸入數據源。然而，應理解，引導圖像100和目標點102可以具有任何源。此外，在引導圖像100相對于目標點而言稠密時，在此描述的技術是有幫助的；然而，本發明技術的應用不要求這一點。在此描述的技術不依賴于輸入數據的源或語義內容。此外，輸入數據甚至不必基于或源自實際攝影數據或所捕捉的數據。例如，輸入數據可以完全地或部分地是合成的、人工渲染的等等。

關于該示例輸入源，從場景的二維照片的集合(即，該場景的不同照片)對該場景進行三維重建近來已經取得進展?？梢砸苑从撑臄z各照片的著眼點(vantage?point)的方式來以三維自動排列各照片(例如，三維的一組平面矩形，每一矩形構成相應的照片)。在這樣的情況中，這樣的照片上的點或從這樣的照片投影的點(三維空間中的點)可以形成稀疏數據點集，每一稀疏數據點具有深度和位置。各點可以對應于該場景的在各照片中描繪的物理特征(例如，物體、物體邊緣、陰影邊緣、物體的特征點等等)。這樣的點的集合可以充當目標點102。此外，這樣的照片中的一個或其合成組合可以充當引導圖像100。簡而言之，僅作為示例，引導圖像100可以是真實世界物體或場景的所捕捉的圖像數據，且數據點100中的一些可以對應于該真實世界物體或場景的一些特征。給定這一數據，以反映或考慮引導圖像100以及尤其是在其中檢測到的可能的不連續性的方式從數據點100重建圖像(例如深度圖)是合乎需要的。