[發明專利]基于可變塊的圖像空洞區域修補方法

有效

• 申請號: 201310489414.0
• 申請日: 2013-10-18
• 公開（公告）號: CN103578085A
• 公開（公告）日: 2014-02-12
• 發明（設計）人: 張永兵;李政芝;王好謙;李凱;戴瓊海
• 申請（專利權）人: 清華大學深圳研究生院
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 深圳市匯力通專利商標代理有限公司 44257
• 代理人: 李保明;張慧芳

技術領域

本發明屬于圖像處理、計算機視覺、計算機圖形學和虛擬現實領域，具體地說是一種基于可變塊的圖像空洞區域修補方法。

背景技術

早在文藝復興時期，人們就開始修復中世紀的一些藝術品，目的是通過填補一些裂縫來使中世紀的一些圖畫得到翻新，這樣的工作被稱作“Retouching（潤飾）”或者“Inpainting（修補或修復）”。那時的修復工作主要是由專業修復師手工完成的，需要花費大量的時間和工作量。

受博物館藝術家人工修復工作的啟發，計算機圖形學領域的學者嘗試使用圖形學算法來模仿手工修復的方法，利用當前圖像中的已知信息來移去目標圖像上不需要的景物或者對有信息缺損的圖像進行恢復，使得修復后的圖像看起來和諧、自然，保證修補后的目標圖像畫面在結構、紋理和亮度上連續和一致，這就是圖像修補技術。

一般來說，圖像修補技術主要包括三個步驟，即1）首先輸入待修補的目標圖像；2）由用戶交互指定目標圖像上待修補的區域；3）以待修補區域周圍的已知信息作為約束，從目標圖像上的已知信息區域監測和拷貝可利用的信息來填充信息丟失區域中的像素。

目前主要存在三類圖像修復技術：基于結構的圖像修復（inpainting）技術，基于紋理合成的圖像補全（completion）技術和結合結構與紋理的技術。

基于結構的圖像修復技術最早是由Bertalmio等人引入到圖像處理中，他們在每個信道上使用2D?Laplacian方法估計局部顏色的光滑度，然后利用光滑度將待修補區域邊界的等值線（Isophotes）外部的信息沿輪廓法向各向異性地擴散到內部待修補的像素上，保證了圖像邊緣處的邊界連續性。后來，他們又將流體力學中的Navier-Stokes方程應用于圖像修復，提出一種基于Navier-Stokes方程的圖像修補算法。Tony?F.Chan和JianhongShen通過求解結構曲率驅動下的三階非線性擴散偏微分方程，達到對非紋理性的目標圖像進行視覺連續性修復的目的。

Chan等人還提出基于整體變分TV（Total?Variation）模型的圖像修補算法，通過歐拉-拉格朗日方程的約束和基于曲率的各向異性擴散CDD（Curvature?Driven?Diffusion）過程來保證修復區域和原始圖像的無縫拼接。

基于結構的圖像修復技術在圖像的光滑性假設下，通過擬合函數的重采樣獲得空洞區域的顏色信息。它可以較好的修補小尺寸的信息丟失區域；然而，它在修補較大信息丟失區域時容易產生模糊效果，而且對于具有高度紋理特性的較大受損區域更是無能為力。

基于紋理合成的方法是將空洞周圍的已知信息區域看作紋理樣本，然后通過紋理合成的方法產生新的圖像塊來填補丟失信息區域。基于面片的圖像修補方法采用由粗到細的方式，從圖像上的信息已知區域中采集與待修復像素的鄰域具有最佳相似性的面片進行填充，逐步迭代逼近整個受損區域。Criminisi等人的方法首先把丟失信息區域邊界上的待修補面片按一定的優先級進行排序，然后在整幅圖像內搜索與優先級高的像素鄰域最匹配的區域來逐步填補待修復區域。由于在修補過程中考慮到了結構信息的重要性，加強了具有較強結構信息的局部區域的修補優先級，這種方法獲得了非常好的效果，成為圖像修補技術發展過程中的一個里程碑。

結合結構與紋理的技術主要是考慮到利用基于結構的方法對結構信息敏感卻難以處理紋理信息，而基于紋理合成的方法易于修復紋理信息卻對結構信息缺乏控制，所以把兩種方法結合起來以完成更好的修復效果。Bertalmio等人提出基于圖像分解的方法，算法首先把輸入圖像分解為結構圖和紋理圖，然后采用基于結構的方法修補結構圖，采用基于紋理合成的方法修補紋理圖，最后合并修復好的兩幅子圖像得到原始圖像的修復結果。此方法將圖像中的結構和紋理信息分開處理，避免了互相干擾，因此修復過程只需考慮圖像的單一特性，能夠有效恢復帶有一定結構信息的圖像。但是算法復雜度較高，整個修復過程耗時較大。

發明內容

本發明的目的是提供一種基于可變塊的圖像空洞區域修補方法，該方法能夠在紋理條件復雜或較恒定的情況下均較好地保留紋理細節，能夠同時修復紋理信息和結構信息。

本發明采用的技術方案如下：

一種基于可變塊的圖像空洞區域修補方法，包括以下步驟：

步驟1，設定塊的初始尺寸，在輸入圖像上尋找待修補區域的邊界；