[發(fā)明專利]基于深度學(xué)習(xí)的高動(dòng)態(tài)范圍圖像色調(diào)映射方法及其系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910340157.1
• 申請(qǐng)日: 2019-04-25
• 公開（公告）號(hào): CN110197463B
• 公開（公告）日: 2023-01-03
• 發(fā)明（設(shè)計(jì)）人: 廖廣森;羅鴻銘;侯賢旭;邱國(guó)平
• 申請(qǐng)（專利權(quán)）人: 深圳大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T5/40;G06N3/08
• 代理公司: 深圳市君勝知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 王永文;劉文求

本發(fā)明公開了基于深度學(xué)習(xí)的高動(dòng)態(tài)范圍圖像色調(diào)映射方法及其系統(tǒng)，所述方法包括步驟：構(gòu)建色調(diào)映射網(wǎng)絡(luò)框架；輸入高動(dòng)態(tài)范圍圖像后進(jìn)行預(yù)處理，并通過基于全局的感官特征損失函數(shù)和基于局部的直方圖特征損失函數(shù)計(jì)算總的損失函數(shù)；根據(jù)總的損失函數(shù)對(duì)色調(diào)映射網(wǎng)絡(luò)框架進(jìn)行訓(xùn)練網(wǎng)絡(luò)；當(dāng)訓(xùn)練結(jié)果收斂時(shí)，停止訓(xùn)練并得到色調(diào)映射網(wǎng)絡(luò)的輸出。由于本發(fā)明中的神經(jīng)網(wǎng)絡(luò)框架，既可以對(duì)基于直方圖的兩個(gè)代價(jià)函數(shù)進(jìn)行優(yōu)化，又能端對(duì)端地實(shí)現(xiàn)色調(diào)映射，解決小區(qū)域間的邊界問題，直接獲得高質(zhì)量的低動(dòng)態(tài)范圍圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及的是一種基于深度學(xué)習(xí)的高動(dòng)態(tài)范圍圖像色調(diào)映射方法及其系統(tǒng)。

背景技術(shù)

從復(fù)雜光照條件下直接拍攝清晰的高動(dòng)態(tài)范圍圖像仍然是一個(gè)尚未解決的極具挑戰(zhàn)性的問題，現(xiàn)在的主流做法是通過拍攝多張不同曝光的照片，進(jìn)而計(jì)算融合得到一張高動(dòng)態(tài)范圍圖像。但是，傳統(tǒng)的顯示設(shè)備如電視電腦屏幕，手機(jī)屏幕等僅能顯示低動(dòng)態(tài)范圍圖像，即動(dòng)態(tài)范圍小于等于256。因此，需要通過色調(diào)映射方法將高動(dòng)態(tài)范圍圖像映射為低動(dòng)態(tài)范圍圖像，再予以顯示。所以，色調(diào)映射方法是重點(diǎn)研究對(duì)象，可以大致分為兩大類：基于全局的方法和基于局部的方法。

現(xiàn)有技術(shù)中，早期的方法是基于全局的方法，主要是利用單調(diào)的映射函數(shù)對(duì)高動(dòng)態(tài)范圍圖像進(jìn)行映射。這類方法計(jì)算簡(jiǎn)單而快速，但是，這類方法很容易丟失大量的細(xì)節(jié)以及圖像局部的對(duì)比度。

所以，基于局部的方法逐漸成為色調(diào)映射方法研究的主流，更多的關(guān)注點(diǎn)在于圖像局部細(xì)節(jié)的增強(qiáng)。由于基于直方圖的色調(diào)映射是基于全局的方法，將圖像劃分為多個(gè)小區(qū)域，對(duì)各個(gè)小區(qū)域分別使用基于直方圖的色調(diào)映射方法，然后再拼接組成大圖；由于這種做法極容易產(chǎn)生邊界痕跡，所以后續(xù)加上一個(gè)消除邊界的步驟。

因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題在于，針對(duì)現(xiàn)有技術(shù)的上述缺陷，提供一種基于深度學(xué)習(xí)的高動(dòng)態(tài)范圍圖像色調(diào)映射方法及其系統(tǒng)，旨在解決現(xiàn)有技術(shù)中實(shí)現(xiàn)高動(dòng)態(tài)范圍圖像到低動(dòng)態(tài)范圍圖像的端對(duì)端色調(diào)映射，需要額外的消除邊界痕跡的步驟的問題。

本發(fā)明解決技術(shù)問題所采用的技術(shù)方案如下：

一種基于深度學(xué)習(xí)的高動(dòng)態(tài)范圍圖像色調(diào)映射方法，其中，包括步驟：

構(gòu)建色調(diào)映射網(wǎng)絡(luò)框架；

輸入高動(dòng)態(tài)范圍圖像后進(jìn)行預(yù)處理，并通過基于全局的感官特征損失函數(shù)和基于局部的直方圖特征損失函數(shù)計(jì)算總的損失函數(shù)；

根據(jù)總的損失函數(shù)對(duì)色調(diào)映射網(wǎng)絡(luò)框架進(jìn)行訓(xùn)練網(wǎng)絡(luò)；

當(dāng)訓(xùn)練結(jié)果收斂時(shí)，停止訓(xùn)練并得到色調(diào)映射網(wǎng)絡(luò)的輸出。

所述的基于深度學(xué)習(xí)的高動(dòng)態(tài)范圍圖像色調(diào)映射方法，其中，所述輸入高動(dòng)態(tài)范圍圖像后進(jìn)行預(yù)處理，并通過基于全局的感官特征損失函數(shù)和基于局部的直方圖特征損失函數(shù)計(jì)算總的損失函數(shù)步驟具體包括：

輸入高動(dòng)態(tài)范圍圖像，并計(jì)算高動(dòng)態(tài)范圍圖像的亮度圖像；

使用對(duì)數(shù)函數(shù)對(duì)亮度圖像進(jìn)行處理得到色調(diào)映射網(wǎng)絡(luò)中的輸入；

根據(jù)色調(diào)映射網(wǎng)絡(luò)中的輸入和色調(diào)映射網(wǎng)絡(luò)中的輸出，通過基于全局的感官特征損失函數(shù)和基于局部的直方圖特征損失函數(shù)計(jì)算總的損失函數(shù)。

所述的基于深度學(xué)習(xí)的高動(dòng)態(tài)范圍圖像色調(diào)映射方法，其中，所述亮度圖像為：

L＝0.299R+0.587G+0.114B

其中，L表示亮度圖像，R、G、B分別表示高動(dòng)態(tài)范圍圖像的紅色通道、綠色通道和藍(lán)色通道。

所述的基于深度學(xué)習(xí)的高動(dòng)態(tài)范圍圖像色調(diào)映射方法，其中，所述色調(diào)映射網(wǎng)絡(luò)中的輸入為：