[發明專利]一種基于深度學習的圖像增強方法

在審

• 申請號: 201710242667.6
• 申請日: 2017-04-14
• 公開（公告）號: CN107392857A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 趙海賓;謝亞光
• 申請（專利權）人: 杭州當虹科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明屬于圖像處理領域，更具體的說涉及一種基于深度學習的圖像增強方法。

背景技術

不論我們用PC、平板還是手機任何一種方式獲取內容，都會發現，視頻的增長正如日中天，它幾乎已經統治了我們的互聯網世界，同時可以出現在任何地方，比如社交賬號、新聞或是電子郵件中。

視頻的傳播離不開網絡的傳輸，由于帶寬的限制，視頻在傳輸時必然要進行壓縮，壓縮的本質是削弱視頻的高頻分量，這必然會帶來視頻的模糊，在壓縮率較大時，在視頻圖像邊緣附近還會出現一些弱紋理，整體感覺視頻圖像變臟，本發明中將這些臟東西稱為編碼噪聲。

本發明從解決視頻模糊和編碼噪聲問題出發，發明了一種基于深度學習的圖像增強方法，使得處理之后的視頻細節銳利清晰，有效抑制編碼噪聲，給用戶較強的主觀感受。

發明內容

本發明提供了一個基于深度學習的圖像增強方法及系統，此方法及系統由樣本采集制作模塊、離線學習模塊和在線處理模塊組成。樣本采集制作模塊非常關鍵，其決定了深度學習網絡的能力；離線學習模塊通過構建一個深度學習網絡，并使用大量采集制作的樣本學習出深度學習網絡參數；在線處理模塊將需要處理的視頻輸入到學習好的深度網絡中，得到圖像邊緣清晰銳利且削弱編碼噪聲的視頻。

為了解決上述技術問題，本發明的技術方案為：一種基于深度學習的圖像增強方法，依次包括有樣本采集制作、離線學習和在線處理三個步驟；所述樣本采集制作按照如下步驟：

Y1采集自然圖像，并將圖像縮放到標準大小，得到圖像集A，

Y2對圖像集A計算圖像整體方差，去除方差低于閾值的圖像，得到圖像集B，

Y3對B圖像集進行高斯模糊，得到圖像集C，

Y4對圖像集C添加高斯白噪聲，得到圖像集D，

Y5對圖像集D使用設定編碼質量參數進行jpeg編碼壓縮，得到jpeg圖像集E，

Y6讀取圖像集B和E，并將圖像數據轉換至YUV平面數據格式，

Y7按照重疊掃描規則對圖像集B的Y平面數據提取一定大小的圖像塊，并將圖像塊數據歸一化至[0,1]范圍內，得到歸一化圖像塊數據集{Yi}，

Y8按照重疊掃描規則對圖像集E的Y平面數據提取一定大小的圖像塊，并將圖像塊數據歸一化至[0,1]范圍內，得到歸一化的圖像塊數據集{Xi}；

所述離線學習按照如下步驟：

L1將{Xi}作為網絡的輸入數據；

L2將輸入數據進行m次卷積濾波操作，得到m個特征圖，

L3將m個特征圖進行重組形成n個新的特征圖，

L4將n個特征圖進行卷積濾波操作并進行合并累加形成最終的輸出圖像；

L5訓練深度學習網絡，學習端到端的映射函數F需要估計參數Θ＝{W1,W2,W3,B1,B2,B3}，可以通過最小化重建圖像F(X；Θ)和基準圖的代價來實現；

所述在線處理按照如下步驟：

Z1對視頻數據的每一幀進行解碼至YUV平面格式，提取出Y平面數據并將數據歸一化至[0,1]范圍內，得到Yinput，UV平面數據保持不變，

Z2將Yinput輸入至深度學習網絡，對輸入進行m次卷積濾波操作，得到m個特征圖，

Z3將m個特征圖進行重組形成n個新的特征圖，

Z4將n個特征圖進行卷積濾波操作并進行合并累加形成最終的輸出圖像，

Z5Youtput＝CLIP(Yinput*255)，CLIP(x)函數為將x的值限制的設定范圍內，一般圖像數據中x的范圍為[0,255]，

Z6將Youtput和UV重新壓縮編碼形成視頻文件。

進一步的，所述離線學習的L2步驟，其操作公式為F1(X)＝max(0,W1*X+B1)，其中X為圖像塊數據，W1為卷積濾波系數，B1為偏置項，max為取大于等于0的值。

進一步的，，所述離線學習的L3步驟，其操作公式為F2(X)＝max(0,W2*F1(X)+B2)，其中X為圖像塊數據，W2為卷積濾波系數，B2為偏置項。

進一步的，所述離線學習的L4步驟，其操作公式為F(X)＝W3*F2(X)+B3，其中W3為卷積濾波系數，B3為偏置項。

進一步的，所述離線學習的L5步驟，其代價函數可以定義為：其中n為訓練樣本的總個數，Xi為輸入圖像塊，即圖像集{Xi}中的圖像塊數據，Yi為基準輸出圖像塊，即圖像集{Yi}中的圖像塊數據。此代價函數可以通過隨機梯度下降法可以求得估計參數Θ。