[發明專利]基于深度學習的用于圖像處理的動態調光背光擴散方法

有效

• 申請號: 201910895951.2
• 申請日: 2019-09-21
• 公開（公告）號: CN110728637B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 張濤;曾琴;王伊飛
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 杜文茹

1.一種基于深度學習的用于圖像處理的動態調光背光擴散方法，其特征在于，包括：讀取樣本圖像以及獲取與所述樣本圖像對應的補償圖像，采用區域背光提取算法提取樣本圖像的背光亮度；將背光亮度輸入至基于深度學習背光擴散模型進行背光亮度擴散，輸出背光亮度擴散圖像，所述的背光擴散模型是以不同圖像為樣本集，經過深度學習訓練建立；將背光亮度擴散圖像與補償圖像相乘，得到顯像圖像，確定顯像圖像與樣本圖像間的誤差，用所述的誤差更新背光擴散模型，得到最終的背光擴散模型；具體包括如下步驟：

1)確定樣本集，所述樣本集包括各種亮度等級、對比度和各種場景的圖像；

2)對樣本集中樣本圖像進行預處理；

3)對預處理后的樣本集進行數據增強，所述數據增強包括旋轉、剪裁、翻轉變換、縮放變換、平移變換和噪聲擾動；

4)采用像素補償方法分別處理樣本集的所有樣本圖像，得到與樣本圖像對應的補償圖像；

5)采用區域背光提取算法對樣本集的樣本圖像提取背光亮度，得到背光亮度圖像；

6)基于全卷積神經網絡結構，建立背光擴散模型；

所述的背光擴散模型，是采用四層上采樣模型對背光亮度進行上采樣，針對深度神經網絡訓練中的梯度消失和爆炸問題，引入殘差網絡并在相應的卷積層后面添加批量歸一化層；

所述的背光擴散模型，包括依次串聯設置的第一卷積模塊(1)、第二卷積模塊(2)、第一雙線性插值模塊(3)、第一殘差塊(4)、第二雙線性插值模塊(5)、第二殘差塊(6)、第三雙線性插值模塊(7)、第三殘差塊(8)、第四雙線性插值模塊(9)、第四殘差塊(10)和第三卷積模塊(11)；其中，所述第一卷積模塊(1)的輸入為背光亮度圖像，第三卷積模塊(11)的輸出為背光擴散圖像；

所述的第一殘差塊(4)、第二殘差塊(6)、第三殘差塊(8)和第四殘差塊(10)結構相同，均包括：第四卷積模塊(12)、第一批量歸一化模塊(13)、第一線性整流函數(14)、第五卷積模塊(15)、第二批量歸一化模塊(16)、加法器(17)和第二線性整流函數(18)；其中，所述第一殘差塊(4)中的第四卷積模塊(12)的輸入和加法器(17)的另一輸入均為第一雙線性插值模塊(3)的輸出，所述第一殘差塊(4)中的第二線性整流函數(18)的輸出為第二雙線性插值模塊(5)的輸入；所述第二殘差塊(6)中的第四卷積模塊(12)的輸入和第二殘差塊(6)中的加法器(17)的另一輸入均為第二雙線性插值模塊(5)的輸出，所述第二殘差塊(6)中的第二線性整流函數(18)的輸出為第三雙線性插值模塊(7)的輸入；所述第三殘差塊(8)中的第四卷積模塊(12)的輸入和第三殘差塊(8)中的加法器(17)的另一輸入均為第三雙線性插值模塊(7)的輸出，所述第三殘差塊(8)中的第二線性整流函數(18)的輸出為第四雙線性插值模塊(9)的輸入；所述第四殘差塊(10)中的第四卷積模塊(12)的輸入和第四殘差塊(10)中的加法器(17)的另一輸入均為第四雙線性插值模塊(9)的輸出，所述第四殘差塊(10)中的第二線性整流函數(18)的輸出為第三卷積模塊(11)的輸入；

7)訓練過程初始化，具體包括背光擴散模型參數初始化、優化器初始化、學習率初始化；

8)將數據增強后的樣本集和與樣本集中的樣本圖像對應的背光亮度圖像共同輸入到背光擴散模型中；

9)將背光擴散模型輸出的背光擴散圖像與樣本圖像對應的補償圖像乘積，得到顯像圖像；

10)確定損失函數，具體是將均方誤差損失函數與結構相似性損失函數的和確定為所述背光擴散模型的整體損失函數；

所述的均方誤差損失函數為：

L_MSE＝MSE?(2)

其中，M和N為圖像的高度和寬度，Y′_i,j為輸出圖像的亮度，Y_i,j為原圖像的亮度；

所述的結構相似性損失函數是從三個局部統計量計算兩個圖像之間的相似性，即均值，方差和協方差；結構相似性損失函數值的取值范圍為[-1,1]，當兩幅圖像相同時等于1，使用標準偏差為1.5的11×11歸一化高斯核估計局部統計量；定義均值，方差和協方差的權值為W＝{W(p)|p∈P,P＝{(-5,-5),…,(5,5)}}，其中p為權值的中心偏移，P為內核的所有位置；使用卷積層實現，權值W不變，對于顯像圖像F和對應的樣本圖像Y的每個位置x，結構相似性損失函數L_SSIM的計算公式如下：

其中，μ_F和是顯像圖像F的局部均值和方差估計，σ_FY是區域的協方差估計，μ_Y和是樣本圖像Y的局部均值和方差估計，C₁和C₂是為防止分母出現0的常量，N是顯像圖像的像素數；

將均方誤差損失函數與結構相似性損失函數求和，得到整體損失函數Loss：Loss＝L_MSE+αL_SSIM，α是均方誤差損失函數和結構相似性損失函數之間的權重；

11)根據整體損失函數確定所述背光擴散模型的誤差，是將顯像圖像與所述顯像圖像對應的樣本圖像輸入到所述整體損失函數中，得到背光擴散模型的誤差；

12)將所述背光擴散模型的誤差反向傳播，調整所述背光擴散模型的參數，對所述背光擴散模型進行優化；

13)返回步驟7)，對所述背光擴散模型進行迭代訓練，直到所述整體損失函數收斂，訓練完成后得到最終的背光擴散模型。