[發明專利]基于融合思想的視頻時空聯合增強方法

有效

• 申請號: 201110215674.X
• 申請日: 2011-07-29
• 公開（公告）號: CN102289795A
• 公開（公告）日: 2011-12-21
• 發明（設計）人: 林巍峣;陳遠哲;徐寧
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/00
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 郭國中

?

技術領域

????本發明涉及圖像處理技術領域的方法，具體地涉及一種基于融合思想的視頻時空聯合增強方法。????

背景技術

????隨著互聯網和多媒體通信設備的快速發展，視頻服務的應用越來越廣泛。在實際應用中，一方面視頻本身受光照條件、曝光程度等條件的影響，其質量難以保證；另一方面視頻在傳輸、存儲過程中受傳輸帶寬、存儲容量等方面的限制，其質量還可能會下降。因此，視頻增強是保證高質量視頻服務的主要方法，在實際應用中至關重要。視頻增強的方法可以從多個不同的角度對視頻質量予以提高。這些方法大致可以分為兩類：空域增強和時域增強。空域增強是針對視頻序列的每一幀分別進行增強，而時域增強是在不同幀之間進行增強，主要目的是使幀與幀之間具有較強的連續性。現有方法主要針對上述兩種增強類型中的一種，很難使視頻的空域質量和時域連續性同時得到增強。有些方法在對某一領域進行增強時，還可能破壞視頻在另一領域的質量。在這種情況下，如果能夠結合視頻序列在空域和時域中的不同特征，從而對兩個領域同時增強，則可以使視頻增強方法的效果顯著提高。

????經過對現有技術的文獻檢索發現，Z.?Liu等人在2007年“IEEE?International?Conference?on?Multimedia?and?Expo”（國際電子電氣工程師協會國際多媒體會議暨博覽會）第1035至第1038頁上發表的“Learning-Based?Perceptual?Image?Quality?Improvement?for?Video?Conferencing”（用于視頻會議的基于學習的圖像增強）文章中提出了一種基于學習的空域圖像增強方法。該方法先利用一組已有的圖像事先訓練出質量較好的視頻的特征信息，然后再待增強的視頻中選定人臉區域，針對該區域，Liu建立了一種映射關系使待增強的視頻的特征信息盡可能地接近訓練得到的特征信息，并將這種映射關系作用于全局，從而達到增強效果。該方法僅能針對圖像中的某一特定興趣區域的特征進行增強，可能會使圖像中其它一些興趣區域的質量下降。基于一種融合的思想，可以提出一種針對兩個興趣區域的空域增強方法。同時將這一思想擴展到時域上，可以得到一種時空聯合增強的視頻增強方法。???

發明內容

?????????本發明針對現有方法存在的上述不足，提出了一種基于融合思想的視頻時空聯合增強方法。所述方法可以同時對視頻序列的空域質量和時域連續性進行增強，在選定興趣區域時可以處理兩個興趣區域的情況。

根據本發明的一個方面，提供一種基于融合思想的視頻時空聯合增強方法，其特征在于，包括如下步驟：第一步：選定視頻中的興趣區域，對各所述興趣區域分別進行訓練，得到各個興趣區域理想圖像的特征，其中，所述興趣區域是指：在特定的場景下，圖像中包含關鍵信息的區域；第二步：對當前幀圖像進行預處理，通過映射函數f(x)使當前幀圖像的像素平均值與前一幀圖像的像素平均值相一致；第三步：對當前幀圖像中各所述興趣區域的像素平均值進行比較，若滿足選擇標準，就利用基于分段的融合方法得到相應的空域增強映射關系；若不滿足選擇標準，則利用基于參數的融合方法得到相應的空域增強映射關系；第四步：對當前幀的空域增強映射關系和前一幀的空域增強映射關系進行融合，通過比較兩幀圖像的熵值來確定兩種映射關系在融合過程中的權重。

優選地，在所述第一步中，對各所述興趣區域分別進行訓練的方法，是以圖像三個顏色通道的直方圖的均值m和方差σ作為特征進行類聚，將類聚得到的特征向量作為理想的特征。

優選地，在所述第二步中，所述映射函數f(x)是指：

???????????????????????????????????????????????????????????????????????

其中，a和b可由f(L)=L^’及f(255)=255兩式聯合求得，L指代原圖像的像素平均值，L^’指代期望的像素平均值，L^’可由下式求得：

其中，L_{avg_past}指代前一幀平均的像素平均值，β用來平衡L和L_{avg_past}的權重。

優選地，在所述第三步中，所述選擇標準是指：兩個所述興趣區域的像素平均值之差若在一給定范圍內，即認為滿足標準，在范圍之外即不滿足標準。