[發明專利]一種抗塊效應的圖像視頻增強方法

有效

• 申請號: 202011036966.2
• 申請日: 2020-09-28
• 公開（公告）號: CN112215767B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 王正寧;曾儀;曾浩;劉怡君;彭大偉;奚偉航
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/90;G06T9/00
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 鄧黎

1.一種抗塊效應的圖像視頻增強方法，其特征在于，包括以下步驟：

S1、將低照度壓縮圖像I_RGB由RGB色彩空間轉換到YUV色彩空間得到低照度壓縮圖像I_YUV；其中，低照度壓縮圖像I_YUV包括三個通道分量，亮度Y分量表示為I_Y、色度U分量表示為I_U、色度V分量表示為I_V；

S2、使用U-net神經網絡對亮度分量I_Y進行環境入射照度的估計，環境入射照度的估計趨向于平滑；所述U-net神經網絡的損失函數表達式為：

s.t.l_Y≥I_Y

其中，l_Y為環境入射照度估計值，p為像素點集合，α為式(1)第二項的非負權重系數，β為式(1)第三項的非負權重系數；

S3、對Y通道分量進行初步增強：

對l_Y逐點取倒數，并與I_Y點相乘得到Y通道初步增強圖

其中，⊙表示矩陣點乘；

S4、采用塊邊界檢測神經網絡定位Y通道初步增強圖的塊效應邊界：

所述塊邊界檢測神經網絡的卷積核大小由塊大小決定，采用膨脹卷積的方式擴大卷積核感受野；對于塊大小為M×M的壓縮圖片或視頻幀，使用卷積核大小為k×k，膨脹率分別為和的兩組膨脹卷積核組對Y通道初步增強圖進行卷積運算，每組卷積核數量為n，兩組卷積操作命名為和輸出和的殘差：

式中，ω¹為第一組膨脹卷積核學習參數，ω²為第二組膨脹卷積核學習參數，殘差結果D反映塊效應邊界信息；

S5、Concate塊效應邊界信息D和Y通道初步增強圖得到一個張量接著采用卷積網絡通過對的學習，得到殘差項由殘差項加上初步增強圖去除或弱化塊效應，輸出最終無顯著塊效應的Y通道增強圖

式中，+表示逐像素點相加，f表示卷積網絡，表示Concate操作，θ為網絡學習參數；

I_{Y_GT}表示正常光照下圖片或視頻幀的Y通道分量為Ground Truth，采用均方誤差作為代價損失函數：

S6、將Y通道增強圖與色度通道分量I_U和I_V Concate得到YUV格式增強圖

S7、將轉換顏色空間，得到RGB格式增強圖

采用顏色平衡網絡調節點乘，以平衡各顏色通道分量比例，如下式得到三個顏色通道分量比例較為平衡的張量Θ：

式中I_ch為低照度壓縮圖像I_RGB中各顏色通道分量，為中各顏色通道分量，η為非負超參數；對Θ進行卷積核維度為3×3×3的3D卷積操作，輸出顏色平衡后的最終增強圖I_end；

再從距離和角度兩個方面衡量色偏：將I_end中每個像素點的R、G、B值視為一個三維向量，則I_end視為一個三維向量矩陣O_end；顏色平衡網絡的損失函數表達式如下：

式中，O_GT為正常光照的RGB圖片向量矩陣，SSIM為結構相似因子，||·||為向量二范數，λ為三維RGB顏色向量角度損失的權重系數，μ為O_end和O_GT結構相似度的權重系數；

最終得到無顯著塊效應的增強圖片或視頻幀。

2.如權利要求1所述的一種抗塊效應的圖像視頻增強方法，其特征在于，步驟S2中，U-net神經網絡使用殘差連接方式。

3.如權利要求1所述的一種抗塊效應的圖像視頻增強方法，其特征在于，步驟S4中n的取值范圍為15-20。