[發(fā)明專利]一種基于深度學(xué)習(xí)的圖像比特增強(qiáng)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911043281.8
• 申請(qǐng)日: 2019-10-30
• 公開（公告）號(hào): CN110852964A
• 公開（公告）日: 2020-02-28
• 發(fā)明（設(shè)計(jì)）人: 蘇育挺;孫婉寧;劉婧
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 李林娟

本發(fā)明公開了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)的圖像比特深度增強(qiáng)方法，所述方法包括以下步驟：對(duì)高比特?zé)o損畫質(zhì)的圖像進(jìn)行預(yù)處理，并量化到低比特圖像；基于深度學(xué)習(xí)設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)，將量化后的低比特圖像作為輸入，并將輸出結(jié)果和原始高比特圖像之間的感知損失作為損失函數(shù)；通過優(yōu)化器梯度下降損失函數(shù)來訓(xùn)練模型中各個(gè)卷積層和批歸一化層的參數(shù)，在模型損失函數(shù)的下降幅度不超過閾值后，保存相應(yīng)模型及模型中所有層的參數(shù)；將高比特圖像量化成低比特后，通過保存的卷積神經(jīng)網(wǎng)絡(luò)恢復(fù)高比特圖像。本發(fā)明利用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)框架，能夠準(zhǔn)確恢復(fù)高質(zhì)量的高比特圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)領(lǐng)域，尤其涉及一種基于深度學(xué)習(xí)的圖像比特增強(qiáng)方法。

背景技術(shù)

隨著科學(xué)技術(shù)的發(fā)展，人們?cè)谖镔|(zhì)文化水平不斷提高的同時(shí)，對(duì)顯示器提供的視覺質(zhì)量的要求也在不斷提高。人們逐漸希望顯示器能夠提供清晰度更高、色彩更加接近真實(shí)景物的畫面。在這種情況下，高清顯示器和HDR(高動(dòng)態(tài)范圍，High Dynamic Range)顯示器憑借其很好的視覺體驗(yàn)逐漸占有更大的市場(chǎng)份額。

但是，目前大多數(shù)已經(jīng)存在的圖片和視頻資料都以低比特的形式拍攝存儲(chǔ)。大多數(shù)的圖像和視頻中的每個(gè)像素的每個(gè)顏色通道都用8比特存儲(chǔ)，因此每個(gè)顏色通道最多表現(xiàn)出256個(gè)顏色。有一些網(wǎng)絡(luò)攝像機(jī)甚至分別用5,6,5個(gè)比特來表示紅、綠、藍(lán)三個(gè)顏色通道。另外，圖像和視頻在高倍率壓縮時(shí)也經(jīng)常會(huì)將高比特圖像壓縮成低比特圖像。

當(dāng)在高分辨率的顯示器上顯示低分辨率的圖片時(shí)，畫面會(huì)模糊不清。與之相似，當(dāng)?shù)捅忍氐膱D像在經(jīng)過簡(jiǎn)單的轉(zhuǎn)換后就在高比特的顯示器上顯示時(shí)，會(huì)出現(xiàn)明顯的偽輪廓效應(yīng)，而且在亮度比較大的區(qū)域會(huì)出現(xiàn)色彩失真現(xiàn)象^[1]。因此，對(duì)于圖片比特深度增強(qiáng)的研究有著非常重要的價(jià)值。

近些年來，DL(深度學(xué)習(xí)，Deep Learning)和CNN(卷積神經(jīng)網(wǎng)絡(luò)，ConvolutionalNeural Network)已經(jīng)被應(yīng)用于大多數(shù)的計(jì)算機(jī)視覺領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)能夠提取圖片的高維特征，并且將輸入轉(zhuǎn)化為特定分布，在圖像可記憶度預(yù)測(cè)^[2]，圖像美感度評(píng)估^[3]，目標(biāo)識(shí)別和跟蹤^[4-6]等任務(wù)上都得到了比傳統(tǒng)算法更好的結(jié)果。

目前已經(jīng)提出了許多基于簡(jiǎn)單計(jì)算的圖像比特深度增強(qiáng)的算法，但是大多數(shù)的算法都不能很好的解決圖像偽輪廓的問題。有些算法是基于插值進(jìn)行計(jì)算，可以在很大程度上消除偽輪廓，但一般會(huì)導(dǎo)致圖像細(xì)節(jié)和淺色輪廓模糊不清，尤其是在LMM區(qū)域(局部最大值最小值區(qū)域，Local Maximum/Minimum Region)。

發(fā)明內(nèi)容

本發(fā)明提供了一種基于深度學(xué)習(xí)的圖像比特增強(qiáng)方法，本發(fā)明基于卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)框架，能夠準(zhǔn)確恢復(fù)高質(zhì)量的高比特圖像，詳見下文描述：

一種基于深度學(xué)習(xí)的圖像比特深度增強(qiáng)方法，所述方法包括：

對(duì)用于訓(xùn)練的高比特深度無損畫質(zhì)的圖像進(jìn)行預(yù)處理，并量化到低比特深度圖像作為模型輸入；

基于深度學(xué)習(xí)設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)，將量化后的低比特深度圖像作為輸入，并將輸出結(jié)果和原始高比特圖像之間的感知損失作為損失函數(shù)；

通過優(yōu)化器梯度下降損失函數(shù)來訓(xùn)練模型中各個(gè)卷積層和批歸一化層的參數(shù)，在模型損失函數(shù)的下降幅度不超過閾值后，保存相應(yīng)模型及模型中所有層的參數(shù)；

將高比特深度圖像量化成低比特深度的版本后作為測(cè)試用例，通過保存的卷積神經(jīng)網(wǎng)絡(luò)恢復(fù)高比特圖像。

其中，所述對(duì)圖像進(jìn)行預(yù)處理具體為：

將無損畫質(zhì)的高比特深度圖像進(jìn)行切塊，降低模型的計(jì)算復(fù)雜度、減少訓(xùn)練內(nèi)存占用量；

將切分好的圖像隨機(jī)打散后以numpy的形式進(jìn)行存儲(chǔ)，提高圖像讀取效率并防止圖像的學(xué)習(xí)率差別過大造成的效果不均衡；