[發明專利]一種圖像場景空洞區域結構和紋理信息自動填補方法

有效

• 申請號: 201110302234.8
• 申請日: 2011-10-08
• 公開（公告）號: CN102324102A
• 公開（公告）日: 2012-01-18
• 發明（設計）人: 陳小武;趙沁平;金鑫;徐舫
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T11/40
• 分類號: G06T11/40
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 許玉明;顧煒

技術領域

本發明屬于圖像處理、計算機視覺技術和虛擬現實領域，具體地說是一種圖像場景空洞區域結構和紋理信息自動填補方法。

背景技術

基于視頻圖像素材的虛實融合場景生成技術是虛擬現實的重要組成部分，也是虛擬現實、增強現實、計算機視覺及相關研究方向有機交叉的研究熱點。在圖像虛擬場景生成的整個過程中，可能會出現如下情形：在視頻場景中提取某些場景對象形成場景對象素材后，原有的視頻場景會出現“空洞”現象；在視頻虛擬場景添加不同來源的場景對象以前，有可能需要從場景中去除某些不需要的對象或者物體；在場景對象的編輯與融合過程中，可能會產生新的空洞區域。為了確保圖像虛擬場景的完整性，需要填補或者修復圖像虛擬場景中存在的“空洞”。

圖像空洞填補問題的求解按照圖像表示模型的選擇來劃分，大致可分為三類：基于幾何(結構)的方法，基于紋理合成的方法和結合幾何(結構)與紋理的方法。

基于幾何(結構)方法將圖像建模為分段連續函數，通常將圖像空洞填補問題的求解轉換為顯式的函數估計過程。根據具體的求解方式可分為兩類：偏微分方程方法，變分方法。第一類方法直接根據演化理論設計偏微分方程，利用梯度下降法求解方程。第二類方法根據變分模型構造能量泛函極值問題，推導出歐拉-拉格朗日方程，利用水平集方法隱式求解圖像方程。

基于幾何(結構)的方法。基于偏微分方程的圖像修復方法首先由美國明尼蘇達大學電子與計算機工程系的Bertalmio等人提出，算法簡稱BSCB方法。該算法由模仿傳統的手工修復技術出發，采用遞歸形式，逐步完成圖像的修復處理。只對受損區域內的像素信息進行更新，而其余圖像區域的像素信息不變。沿著等照度線方向逐步向受損區域內擴散和傳播外圍的圖像信息，實現數字圖像指定區域的自動修復。但該方法在修復尺度較大的圖像紋理區域時，不能重建其中的紋理細節，修復結果存在明顯的模糊現象。

有噪聲圖像的整體變分比無噪聲圖像的整體變分明顯偏大，最小化整體變分可以消除噪聲。整體變分法是一種異向擴散算法，該算法可以在保持邊緣的同時達到圖像去噪的目的。

基于整體變分模型的圖像修復技術，采用有界變差空間定義圖像模型能量即TV圖像模型，該方法稱為TV修復方法。在變分模型圖像修復算法中，待修復區域初始值為高斯噪聲，它通過變分方法求解最小化能量方程。該方法在有圖像噪聲的情況下，對非紋理圖像修復效果較好。以上泛函很難求解，一般引入邊界條件，根據變分原理求得能量函數對應的歐拉-拉格朗日方程，引入時間變量利用梯度下降法求解泛函的求導公式，在梯度下降的每次迭代過程中，利用水平集方法對圖像的三個通道分別求解。但水平集的方法效率較低，并且只能給出一個局部最優解。

基于樣例的圖像修復算法在圖像修復過程中，不是以像素為單位進行修復，而是以圖像塊為單位進行修復。算法每次修復受損區域邊界上的一個圖像塊中的未知像素信息，通過循環處理直至受損區域內所有像素都修復完畢。基于樣例的圖像修復算法是基于樣例的紋理合成技術在圖像修復領域的應用，以圖像塊為修復單元借鑒了紋理合成的思想，保留了待修復區域內的紋理和局部結構信息。

結合幾何和紋理的方法。為了更好的修復圖像受損區域中的結構信息，2005年，Sun等人采用交互式的方法，直接由用戶給定受損區域內的邊結構，算法首先完成整個受損區域內的邊結構修復后，再利用紋理合成技術填充剩余區域。

自動填補圖像結構信息與紋理信息的空洞填補方法首先提取出圖像的水平線，通過最小化空洞區域水平線的歐拉彈性泛函實現圖像結構(幾何)信息的恢復，通過恢復的結構信息指導基于樣例的合成過程，填補空洞區域剩余的圖像信息。最小化歐拉彈性泛函往往得到平滑的曲線，而無法得到折線或者交叉的結構信息填補效果。

發明內容

為了克服現有技術的不足，本發明提出了一種圖像場景空洞區域結構和紋理信息自動填補方法，該方法能夠自動填補空洞圖像的紋理信息和結構信息，確保填補后圖像場景在視覺上的連續性和合理性。

為完成發明目的，本發明采用的技術方案是：

一種圖像場景空洞區域結構和紋理信息自動填補方法，其特征在于：利用圖像已知區域的結構信息和紋理信息指導圖像空洞區域的填補過程；基于主要簡約圖模型指導空洞區域結構和紋理信息的重建；利用圖像統一描述符的匹配，快速搜索空洞區域的圖像塊；無需人工參與，能夠自動填補圖像的空洞區域，該方法包含以下步驟：

步驟(1)基于圖像主要簡約圖模型提取出圖像已知區域的結構部分，采用張量投票的方法，自動的恢復出圖像空洞區域的曲線或者拐點，實現圖像空洞區域結構信息的恢復；