[發明專利]一種基于顯著圖的可變塊圖像修復方法

有效

• 申請號: 201410188179.8
• 申請日: 2014-05-06
• 公開（公告）號: CN103971338B
• 公開（公告）日: 2017-01-11
• 發明（設計）人: 王好謙;李政芝;戴瓊海
• 申請（專利權）人: 清華大學深圳研究生院
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 深圳市匯力通專利商標代理有限公司44257
• 代理人: 王鎖林,張慧芳

技術領域

本發明屬于計算機視覺、計算機圖形學領域，特別涉及一種基于顯著圖的可變塊圖像修復方法。

技術背景

圖像修補技術具有廣泛的應用領域，主要包括受損照片修復和數字視覺特效兩大方面。由于保管條件或人為等種種因素，一些具有極高的收藏價值和歷史價值的美術作品或老照片出現裂痕和劃痕，因此對這些文物和數據進行修復具有十分重要的意義。通過數字圖像修補技術，只需確定待修復的區域，計算機就可以按照指定的算法進行修復，避免了手工修復耗費的大量時間。同時，在數字視覺特效制作和虛擬現實領域方面的應用主要涉及物體的移除和場景編輯。具體應用包括對獲取的場景照片中的闖入者或者固定遮擋物的移除。

圖像修復的問題可以如下概括：給定一幅圖像，可能有殘缺部分或者有需要移除的部分,然后以一種符合視覺需求的方式填補待修復區域。盡管圖像修復的問題看起來簡單，但是要使修復后的圖像盡如人意卻是非常之難。近些年涌現出大量的圖像修補算法，而其大概可以歸為三類：基于統計的方法，基于偏微分方程的方法，基于塊的方法。

基于統計的方法主要用在紋理合成上，通過參數統計模型提取輸入紋理的統計數據，再調整輸出圖像直到其統計數據與輸入相匹配。這類方法的主要缺點是其統計模型只適用于紋理合成，對包含結構信息的圖像修復效果不佳。基于偏微分方程的方法將圖像修補看作是將空洞周圍已知像素作為邊界條件下的偏微分方程或變分求解問題，因此圖像修補變成已知信息向丟失信息區域的擴散過程。基于偏微分方程的方法可以很好的保存結構信息，然而在處理較大信息丟失區域或者紋理豐富的圖片時，會產生模糊的修補結果。

而至今為止修復效果最好一類的就是基于塊的方法，這些方法以塊為單位，通過復制已知區域的內容到未知區域來實現修復。然而這些方法受限于兩點：其修復的貪婪性和塊大小選擇對修復效果的影響。盡管已有一些基于全局最優的方法試圖解決其貪婪性，然而結果表明這些方法只是減輕其貪婪性，同時帶來了大量的計算復雜度。同樣的，在塊大小選擇的問題上，如果塊選擇過小，則不能充分考慮局部的紋理特性，如果塊選擇過大則可能導致塊內包含過多結構信息，不利于修復。同時，塊過大也易受視差和小角度旋轉的影響。一般方法都是人為的選擇比能包含已知區域最大可分辨紋理的塊大小，而很多情況下同樣的塊大小不能滿足所有未知區域修復的要求。

本發明在基于塊的方法基礎上，利用顯著信息減輕修復過程中的貪婪問題，同時根據待修復區域周圍環境選擇塊大小以滿足不同的修復需求。

發明內容

為了克服現有數字圖像修補技術存在的上述問題，本發明提供一種基于顯著圖的可變塊圖像修復方法，其根據待修復圖像的已知區域信息修復未知區域得到視覺上合理的修復圖像，以待修復圖像的顯著信息來改進修復的優先級，緩解修復過程中的貪婪問題，同時可以根據塊周圍的環境調整塊大小以滿足不同的修復需求。

本發明提供的基于顯著圖的可變塊圖像修復方法，包括以下步驟：

1)、輸入含有已知區域及未知區域的待修復圖像，利用模擬生物體視覺注意機制的選擇性注意模型，根據像素點顏色、亮度、方向特征與周邊背景特征的對比，得到待修復圖像所有點的顯著度構成一張顯著圖；

2)、確定未知區域邊界上的點的修復優先級，分別計算每一點為中心的塊內的可信度——已知像素百分比，結構信息及顯著度項，將三者的乘積作為修復優先級；并選出優先級最高的點為中心的塊作為待修復塊；

3)、在待修復塊周圍不同像素大小(如5*5，7*7，…，17*17)的塊中，找出相鄰的塊之間已知的像素均值、梯度及顯著度變化最大的相鄰塊，調整待修復塊的大小為該相鄰塊中較小塊的大小(即選擇該相鄰塊中較小塊的大小作為待修復塊的大小)；使調整后的待修復塊與該相鄰塊中較大塊內已知的像素均值、梯度及顯著度變化最大；

4)、依據待修復塊內像素顏色值及平均顯著度，在已知區域搜索最匹配的塊來填充待修復塊內的像素；然后根據匹配代價更新已修復像素的可信度，并利用該匹配塊內平均顯著度更新修復像素的顯著度；其中，該匹配代價是待修復塊與搜索到的最匹配塊內像素顏色值的歐氏距離和顯著度的差的絕對值；

循環重復步驟2)-4)，直至填滿待修復圖像的未知區域內的所有像素。

上述圖像修復方法中，采用的一種待修復圖像的顯著圖生成方法，包括以下步驟：