[發(fā)明專利]圖像重建方法和裝置

在審

• 申請?zhí)枺?/td>: 202011387357.1
• 申請日: 2020-12-01
• 公開（公告）號: CN114581311A
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計）人: 劉騰飛;王光全;廖軍;高偉
• 申請（專利權(quán)）人: 中國聯(lián)合網(wǎng)絡(luò)通信集團有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/40;G06T7/13;G06T11/00;G06N3/04
• 代理公司: 北京同立鈞成知識產(chǎn)權(quán)代理有限公司 11205
• 代理人: 羅英;臧建明

本申請?zhí)峁┮环N圖像重建方法和裝置，該方法包括：獲取圖像重建指令，根據(jù)LDR圖像，獲取LDR圖像的邊緣圖像，將LDR圖像輸入至預(yù)先訓練好的全局神經(jīng)網(wǎng)絡(luò)模型，獲得LDR圖像的中間圖像，將LDR圖像的邊緣圖像輸入至預(yù)先訓練好的邊緣神經(jīng)網(wǎng)絡(luò)模型，獲得LDR圖像的中間邊緣圖像，將LDR圖像的中間圖像、LDR圖像的中間邊緣圖像輸入至預(yù)先訓練好的融合神經(jīng)網(wǎng)絡(luò)模型，獲得LDR圖像對應(yīng)的HDR圖像。因此，能夠根據(jù)單幀LDR圖像重建出色彩鮮明、亮度信息豐富、紋理細節(jié)清晰的HDR圖像。

技術(shù)領(lǐng)域

本申請涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像重建方法和裝置。

背景技術(shù)

隨著時代的發(fā)展，人們在多媒體生活中對高質(zhì)量圖像的要求越來越高，高動態(tài)范圍((High-Dynamic Range，HDR)圖像能夠滿足人們這一需求。HDR圖像是高動態(tài)光照渲染的圖像，相比普通的低動態(tài)范圍(Low-Dynamic Range，LDR)圖像，可以提供更多的動態(tài)范圍和圖像細節(jié)。利用每個曝光時間相對應(yīng)最佳細節(jié)的LDR圖像來合成最終HDR圖像，能夠更好地反映出真實環(huán)境中的視覺效果。

目前，常用的獲得HDR圖像的方式是：對圖像使用多次曝光采集LDR圖像，然后再對多張LRD圖像進行合成，處理成一張具有HDR效果的圖像。但是，上述方式對圖像低亮區(qū)域的紋理細節(jié)增強效果不佳。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N圖像重建方法和裝置，以解決通過LDR圖像重建的HDR圖像的低亮區(qū)域的紋理細節(jié)增強效果不佳的問題。

第一方面，本申請?zhí)峁┮环N圖像重建方法，包括：

獲取圖像重建指令，圖像重建指令用于指示對LDR圖像采用預(yù)設(shè)的圖像重建神經(jīng)網(wǎng)絡(luò)模型重建HDR圖像，預(yù)設(shè)的圖像重建神經(jīng)網(wǎng)絡(luò)模型包括預(yù)先訓練好的全局神經(jīng)網(wǎng)絡(luò)模型、邊緣神經(jīng)網(wǎng)絡(luò)模型和融合神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)LDR圖像，獲取LDR圖像的邊緣圖像。

將LDR圖像輸入至預(yù)先訓練好的全局神經(jīng)網(wǎng)絡(luò)模型，獲得LDR圖像的中間圖像。

將LDR圖像的邊緣圖像輸入至預(yù)先訓練好的邊緣神經(jīng)網(wǎng)絡(luò)模型，獲得LDR圖像的中間邊緣圖像。

將LDR圖像的中間圖像、LDR圖像的中間邊緣圖像輸入至預(yù)先訓練好的融合神經(jīng)網(wǎng)絡(luò)模型，獲得LDR圖像對應(yīng)的HDR圖像。

可選的，預(yù)設(shè)的圖像重建神經(jīng)網(wǎng)絡(luò)模型是采用如下步驟得到：

獲取多張HDR樣本圖像；

根據(jù)多張HDR樣本圖像，獲得相應(yīng)的多張LDR樣本圖像；

根據(jù)多張LDR樣本圖像，獲得多張LDR樣本圖像的邊緣圖像；

將多張LDR樣本圖像輸入全局神經(jīng)網(wǎng)絡(luò)模型進行訓練，獲得訓練好的全局神經(jīng)網(wǎng)絡(luò)模型；并將多張LDR樣本圖像分別輸入至訓練好的全局神經(jīng)網(wǎng)絡(luò)模型中，獲得多張LDR樣本圖像的中間圖像；

將多張LDR樣本圖像的邊緣圖像輸入邊緣神經(jīng)網(wǎng)絡(luò)模型進行訓練，獲得訓練好的邊緣神經(jīng)網(wǎng)絡(luò)模型，并將多張LDR樣本圖像的邊緣圖像分別輸入至訓練好的邊緣神經(jīng)網(wǎng)絡(luò)模型中，獲得多張LDR樣本圖像的中間邊緣圖像；

將多張LDR樣本圖像的中間圖像和中間邊緣圖像輸入融合神經(jīng)網(wǎng)絡(luò)模型進行訓練，獲得訓練好的融合神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)訓練好的全局神經(jīng)網(wǎng)絡(luò)模型、訓練好的邊緣神經(jīng)網(wǎng)絡(luò)模型、訓練好的融合神經(jīng)網(wǎng)絡(luò)模型，獲得圖像重建神經(jīng)網(wǎng)絡(luò)模型。

可選的，全局神經(jīng)網(wǎng)絡(luò)模型包括第一壓縮子網(wǎng)絡(luò)、第一門控循環(huán)單元(GatedRecurrent Unit，GRU)網(wǎng)絡(luò)和第一解壓子網(wǎng)絡(luò)；

其中，第一壓縮子網(wǎng)絡(luò)包括3層卷積層，第一解壓子網(wǎng)絡(luò)包括3層反卷積層。