[發明專利]一種基于網格形變最優化的圖像非均勻映射方法

有效

• 申請號: 201310595136.7
• 申請日: 2013-11-21
• 公開（公告）號: CN103617599A
• 公開（公告）日: 2014-03-05
• 發明（設計）人: 毋立芳;鄭慶陽;肖鵬宇;曹連超;王清;荊羽晨;王麗娟;邱健康
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

技術領域

本發明涉及圖像處理技術領域中基于內容感知的圖像縮放技術，具體涉及一種基于網格形變最優化的圖像非均勻映射方法的研究及實現。

背景技術

隨著互聯網技術的快速發展以及數字設備硬件水平的不斷提高，適用于不同網絡的終端設備不斷更新換代，例如電視、筆記本電腦、PDA、手機等，它們具有不同類型的顯示尺寸，例如，目前主流的大屏智能手機的屏幕比例為5:3或16:9，手持平板電腦的屏幕比例大多為16:10，還有ipad始終如一的保持著4:3的屏幕比例等等。然而，大多情況數字圖像都是以某一尺寸和寬高比例制作而成，然而當在不同類型的數字設備上去顯示它們時，通常需要改變它們的尺寸和寬高比，來適應各種不同尺寸的顯示設備。傳統的圖像縮放方法主要分為3種，其中一種是將原始圖像通過插值或下采樣得到目標尺寸的圖像，這就是所謂的均勻縮放Scaling技術，然而當需要改變圖像寬高比來進行均勻縮放時，它往往會造成圖像主要內容的拉伸變形。另一種方法就是簡單的裁切Cropping技術，它通過裁掉圖像邊緣內容來得到目標尺寸，這會帶來較多內容信息的丟失。第三種方法就是選擇圖像寬度或高度的最小縮放比例作為整體縮放比例來對原始圖像進行等比縮放，這種做法也被稱作“信箱”letterboxing技術，它的問題在于經常會在設備上下或左右兩邊產生黑色邊框，不能充分的利用移動設備有限的屏幕資源。上述3種傳統的縮放方法都沒有考慮圖像的內容。為了使用戶能夠在終端設備上更舒適地觀看圖像，需要根據圖像內容的重要程度對其進行縮放處理，來自適應于不同網絡類型、不同尺寸、不同比例的終端顯示設備。那么基于內容感知的圖像縮放技術就是用來解決如何將圖像更好的顯示在多樣化的數字設備上的問題。

2007年以后基于內容感知的圖像縮放技術得到很大的發展，可通過三種途徑來改變圖像的大小：根據圖像像素的重要度刪除或復制像素、聚合或擴張像素以及兩種方法相結合的方式，因此可將其大致分為三類方法。一類是以細縫裁剪Seam?Carving為代表的離散方法，另一類是以非均勻映射Warping為代表的連續方法，還有一種就是多種操作相結合的方法。基于內容感知的縮放技術最大的優點就是通處理圖像中不引人注意的像素內容來改變圖像的尺寸，最大限度的保護重要區域不發生形變，同時盡可能的保留原始圖像的全局信息。

基于細縫裁減的離散方法是對圖像進行像素級的離散操作，在保留重要區域的同時不斷的刪除或復制不重要的像素細縫來改變圖像的尺寸。其特點是能夠最大限度的保持圖像中的重要區域，去除最低能量區域。但是當圖像中的不重要信息去除到一定程度后，繼續采用細縫裁減方法勢必會帶來重要信息的損失和對象變形，從而導致圖像視覺質量快速下降。雖然該類算法的離散性更能體現處理過程的靈活性，但是也更容易破壞圖像中的結構信息而且會產生鋸齒現象即得到不平滑的結果圖像。而且由于每次計算完累積能量代價矩陣后都只處理一條像素細縫，需要重復的迭代計算出若干條細縫才能實現圖像的縮放，這將直接導致該類算法普遍存在時間計算復雜度比較高的問題。

非均勻映射方法主要思想是建立源圖像到目標圖像的最優映射，映射過程中加入一些約束條件來保護圖像內容。首先根據圖像內容自動確定各像素點的重要性，然后根據像素的重要性對圖像進行非均勻縮放，重要區域基本上采取相似變換，而不重要區域則采取非線性變換，使得圖像重要區域形變較小，而將形變擴散在非重要區域。以非均勻映射Warping為代表的連續方法多數都是通過求解帶有約束條件的最優化問題來得到最優的網格變形，約束重要區域網格的形變較小并將網格變形分散在不重要區域，最后利用紋理映射技術得到結果圖像.因為該方法是根據圖像內容的重要度采用不同的縮放策略，利用非重要區域來“隱藏”形變，然而非重要區域的過度扭曲可能會改變圖像的語義信息。另外，如果圖像中沒有足夠的非重要區域來隱藏形變，連續方法可能會引起重要內容的變形。

考慮到不同方法固有的互補的特性，一些研究者提出將幾種方法相結合來對圖像進行縮放處理，簡稱混合方法。該問題的關鍵是如何確定各種操作方法的量及其操作順序。然而在確定了多操作方法的數量及順序后，它的難點在于如何設計出一種有效的評價度量機制來衡量目標結果圖像與源圖像的相似度。這種評價準則實際上也是不同混合方法的主要差別之所在。因為該類算法綜合了多種方法的優點，但同時它也引入各種方法的缺點，那么如何最優結合各種方法即決定最佳的操作順序以及操作量，需要一種有效的質量評價方法去計算源圖像與目標圖像的相似度來決定不同縮放方法之間的切換點。然而大多多操作方法的時間復雜度較高，那么如何去加快多操作方法的處理速度也是需要認真考慮的問題。

發明內容