[發明專利]用于局部優化紋理綜合3?D圖像修復的方法和裝置

有效

• 申請號: 201180076163.2
• 申請日: 2011-12-30
• 公開（公告）號: CN104254870B
• 公開（公告）日: 2017-08-01
• 發明（設計）人: K·V·尤爾科夫;A·V·貝爾亞科夫
• 申請（專利權）人: 英特爾公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 上海專利商標事務所有限公司31100
• 代理人: 毛力

背景

丟失圖像區域的問題尤其會在進行三維(3D)處理的情況下會發生，在這種情況下，人們嘗試從立體視頻圖像對或者從一幅視圖和像素深度信息恢復多張視圖。在進行3D和其他多視圖圖像處理時，從立體圖像生成(3D)信息是個重要的任務。在多視圖圖像中，可能存在未知的或丟失的圖像區域或圖像區。圖像修復技術可提供用于用視覺上看似合理的內容來填充未知圖像區域的機制。

附圖簡述

本文中所公開的各方面通過示例而非限制的方式在附圖中示出。為說明的簡單和清楚而非限制起見，在附圖中示出的各方面不一定按比例繪制。此外，在認為合適的地方，在附圖中重復附圖標記以指示相應或相似的元件。

圖1是根據本文一些實施例的包括未知像素區域的圖像的示例描述。

圖2是根據一個實施例的過程的流程圖。

圖3A-3C描繪了根據一個實施例的處于不同修正階段的圖像。

圖4解說了根據一實施例的替換圖像補丁的描繪。

圖5描繪了根據一實施例的本文中用于計算各參數的各方面。

圖6解說了圖1中的圖像在根據本文中的各方法進行了處理后的描繪。

圖7示出了根據本文中的一些實施例的可生成視差圖的圖像處理系統的框圖。

具體實施方式

以下描述了可支持用于提高生成視差圖的效率和準確性的過程和操作的圖像處理器設備或系統。本公開內容提供了與用于實現這些過程和操作的系統有關的多個具體細節。然而，本領域技術人員將領會，沒有這些具體細節也可實踐本公開內容的諸實施例。因而，在一些實例中，諸如控制機制和全軟件指令序列等各方面未被詳細示出以便不模糊本公開內容的其他方面。本領域技術人員利用本文所包括的描述將能在無需過度實驗的情況下實現適當的功能。

在說明書中對_一個實施例_、_一些實施例_、_一實施例_、_示例實施例_、_一實例_、_一些實例_等的引用表明所描述的實施例可包括特定特征、結構或特性，但不一定每個實施例均包括該特定特征、結構或特性。此外，這些短語不一定指相同的實施例。此外，當結合實施例描述特定特征、結構或特性時，認為在本領域技術人員學識范圍內，可以結合其他實施例來影響這樣的特征、結構或特性，無論是否對此明確描述。

本文中的一些實施例可以用硬件、固件、軟件、或其任意組合來實現。各實施例還可實現為存儲在機器可讀介質上的可執行指令，這些指令可由一個或多個處理器讀取和執行。機器可讀存儲介質可包括用于以機器(例如，計算設備)可讀的形式存儲信息的任意有形的非暫時性機構。在一些方面，機器可讀存儲介質可包括只讀存儲器(ROM)；隨機存取存儲器(RAM)；磁盤存儲介質；光存儲介質；閃存設備；以及電子或光學形式的信號。盡管在本文中將固件、軟件、例程、以及指令描述為執行某些動作，但應當明白，這些描述僅僅是出于方便起見且這些動作實際上得自執行該固件、軟件、例程以及指令的計算設備、處理器、控制器以及其他設備。

專門為3D多視圖問題的情況提供了3D圖像修復算法。這意味著存在有關通過分析立體聲視頻流獲得的像素深度的信息。

在本文中的一些實施例中，對于圖像的每一丟失區域或丟失區，(1)確定該丟失區域的哪一側屬于該圖像的背景及哪一側屬于該圖像的對象，并且將邊界信息從鄰接的背景延伸到丟失區域中；(2)使用經延伸的邊界來生成丟失區域中的各片段；以及(3)使用這些片段配置和邊界信息來填充丟失區域。在圖2的流程圖中描繪了這些步驟。

圖2解說了過程200，該過程200包括205處的邊界延伸操作，210處的優選補丁定義操作，以及215處的通過結構傳播操作來進行的局部最優3D圖像修復。在本文中，將在以下更詳細地討論這些操作中的每一個操作。

如此本文中所使用地，對于h×w大小的輸入圖像，即圖像I。該圖像的每個像素由三個色彩分量(x_r，x_g，x_b)組成，并且在該圖像中具有坐標(x_h，x_w)。每一像素x∈I具有以下特征函數：

在本文中，可假定對于已知像素，存在關于像素片段和像素深度的信息(在本文中分別指的是s(x)和d(x))。在一個實施例中，較大的d(x)值表示該像素與具有較小d(x)值的像素相比與查看者更接近。

不失任何一般性地，在本文中，假定丟失區域Ω＝{x∈I|μ(x)＝0}具有一個連接性分量。Ω的邊界被定義為在圖1中在110處提供了圖像丟失區域的示例。該圖像的已知部分被定義為在圖1的105處解說了該已知部分的一部分。