[發(fā)明專(zhuān)利]一種基于深度學(xué)習(xí)的圖像增強(qiáng)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710242667.6
• 申請(qǐng)日: 2017-04-14
• 公開(kāi)（公告）號(hào): CN107392857A
• 公開(kāi)（公告）日: 2017-11-24
• 發(fā)明（設(shè)計(jì)）人: 趙海賓;謝亞光
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州當(dāng)虹科技有限公司
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于深度學(xué)習(xí)的圖像增強(qiáng)方法，其特征在于，依次包括有樣本采集制作、離線學(xué)習(xí)和在線處理三個(gè)步驟；

所述樣本采集制作按照如下步驟：

Y1 采集自然圖像，并將圖像縮放到標(biāo)準(zhǔn)大小，得到圖像集A，

Y2 對(duì)圖像集A計(jì)算圖像整體方差，去除方差低于閾值的圖像，得到圖像集B，

Y3 對(duì)B圖像集進(jìn)行高斯模糊，得到圖像集C，

Y4 對(duì)圖像集C添加高斯白噪聲，得到圖像集D，

Y5 對(duì)圖像集D使用設(shè)定編碼質(zhì)量參數(shù)進(jìn)行jpeg編碼壓縮，得到j(luò)peg圖像集E，

Y6 讀取圖像集B和E，并將圖像數(shù)據(jù)轉(zhuǎn)換至YUV平面數(shù)據(jù)格式，

Y7 按照重疊掃描規(guī)則對(duì)圖像集B的Y平面數(shù)據(jù)提取一定大小的圖像塊，并將圖像塊數(shù)據(jù)歸一化至[0,1]范圍內(nèi)，得到歸一化圖像塊數(shù)據(jù)集{Yi}，

Y8 按照重疊掃描規(guī)則對(duì)圖像集E的Y平面數(shù)據(jù)提取一定大小的圖像塊，并將圖像塊數(shù)據(jù)歸一化至[0,1]范圍內(nèi)，得到歸一化的圖像塊數(shù)據(jù)集{Xi}；

所述離線學(xué)習(xí)按照如下步驟：

L1 將{Xi}作為網(wǎng)絡(luò)的輸入數(shù)據(jù)；

L2 將輸入數(shù)據(jù)進(jìn)行m次卷積濾波操作，得到m個(gè)特征圖，

L3 將m個(gè)特征圖進(jìn)行重組形成n個(gè)新的特征圖，

L4 將n個(gè)特征圖進(jìn)行卷積濾波操作并進(jìn)行合并累加形成最終的輸出圖像；

L5 訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，學(xué)習(xí)端到端的映射函數(shù)F需要估計(jì)參數(shù)Θ＝{W1,W2,W3,B1,B2,B3}，可以通過(guò)最小化重建圖像F(X；Θ)和基準(zhǔn)圖的代價(jià)來(lái)實(shí)現(xiàn)；

所述在線處理按照如下步驟：

Z1 對(duì)視頻數(shù)據(jù)的每一幀進(jìn)行解碼至YUV平面格式，提取出Y平面數(shù)據(jù)并將數(shù)據(jù)歸一化至[0,1]范圍內(nèi)，得到Y(jié)input，UV平面數(shù)據(jù)保持不變，

Z2 將Yinput輸入至深度學(xué)習(xí)網(wǎng)絡(luò)，對(duì)輸入進(jìn)行m次卷積濾波操作，得到m個(gè)特征圖，

Z3 將m個(gè)特征圖進(jìn)行重組形成n個(gè)新的特征圖，

Z4 將n個(gè)特征圖進(jìn)行卷積濾波操作并進(jìn)行合并累加形成最終的輸出圖像，

Z5 Youtput＝CLIP(Yinput*255)，CLIP(x)函數(shù)為將x的值限制的設(shè)定范圍內(nèi)，一般圖像數(shù)據(jù)中x的范圍為[0,255]，

Z6 將Youtput和UV重新壓縮編碼形成視頻文件。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的圖像增強(qiáng)方法，其特征在于，所述離線學(xué)習(xí)的L2步驟，其操作公式為F1(X)＝max(0,W1*X+B1)，其中X為圖像塊數(shù)據(jù)，W1為卷積濾波系數(shù)，B1為偏置項(xiàng)，max為取大于等于0的值。

3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的圖像增強(qiáng)方法，其特征在于，所述離線學(xué)習(xí)的L3步驟，其操作公式為F2(X)＝max(0,W2*F1(X)+B2)，其中X為圖像塊數(shù)據(jù)，W2為卷積濾波系數(shù)，B2為偏置項(xiàng)。

4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的圖像增強(qiáng)方法，其特征在于，所述離線學(xué)習(xí)的L4步驟，其操作公式為F(X)＝W3*F2(X)+B3，其中W3為卷積濾波系數(shù)，B3為偏置項(xiàng)。

5.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的圖像增強(qiáng)方法，其特征在于，所述離線學(xué)習(xí)的L5步驟，其代價(jià)函數(shù)可以定義為：其中n為訓(xùn)練樣本的總個(gè)數(shù)，Xi為輸入圖像塊，即圖像集{Xi}中的圖像塊數(shù)據(jù)，Yi為基準(zhǔn)輸出圖像塊，即圖像集{Yi}中的圖像塊數(shù)據(jù)。此代價(jià)函數(shù)可以通過(guò)隨機(jī)梯度下降法可以求得估計(jì)參數(shù)Θ。

6.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的圖像增強(qiáng)方法，其特征在于，所述在線處理的Z2步驟，操作公式為F1(Yinput)＝max(0,W1*Yinput+B1)，其中W1和B1為離線學(xué)習(xí)模塊中學(xué)習(xí)得到的卷積濾波系數(shù)和偏置項(xiàng)，max為取大于等于0的值。

7.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的圖像增強(qiáng)方法，其特征在于，所述在線處理的Z3步驟，操作公式為F2(Yinput)＝max(0,W2*F1(Yinput)+B2)，其中W2和B2為離線學(xué)習(xí)模塊中學(xué)習(xí)得到的卷積濾波系數(shù)和偏置項(xiàng)，max為取大于等于0的值。

8.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的圖像增強(qiáng)方法，其特征在于，所述在線處理的Z4步驟，F(xiàn)(Yinput)＝W3*F2(Yinput)+B3，其中W3和B3為離線學(xué)習(xí)模塊中學(xué)習(xí)得到的卷積濾波系數(shù)和偏置項(xiàng)。