[發明專利]一種基于神經網絡的高動態圖像重建方法

有效

• 申請號: 202010749859.8
• 申請日: 2020-07-30
• 公開（公告）號: CN111986106B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 馬展;蒲志遠;郭珮瑤
• 申請（專利權）人: 南京大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06T5/00
• 代理公司: 江蘇法德東恒律師事務所 32305
• 代理人: 李媛媛

1.一種基于神經網絡的高動態圖像重建方法，其特征在于，包括如下步驟：

步驟1，將i個低動態范圍域的圖像按照亮度高低排列，記為{L_i}，并從中選取一張圖像作為參考圖像；

步驟2，利用伽瑪變換將步驟1的低動態范圍域圖像變換得到高動態范圍域圖像，記為{H_i}；

步驟3，將步驟1的低動態范圍域圖像與步驟2得到的高動態范圍域圖像輸入同一個特征提取網絡，得到不同尺度的低動態范圍域圖像特征和高動態范圍域圖像特征其中，s表示不同的尺度，s數值增大對應特征尺度減??；

步驟4，將步驟3提取的圖像特征和輸入到金字塔特征對齊網絡，網絡輸出對齊的與輸入圖像尺寸相同的低動態范圍域圖像特征和高動態范圍域圖像特征

步驟5，將步驟4對齊的圖像特征和經過掩膜融合網絡，得到重建的參考圖像視角的高動態范圍域圖像

2.根據權利要求1所述的一種基于神經網絡的高動態圖像重建方法，其特征在于，所述步驟4中，金字塔特征對齊網絡僅利用高動態范圍域的圖像特征來計算可變形卷積層所需的偏移Δp，以此減小曝光差異對特征對齊的影響，具體步驟如下：

步驟41，確定金字塔的尺度數目，輸入步驟3中提取圖像特征和

步驟42，取最小尺度的高動態范圍域圖像特征輸入卷積塊ConM計算偏移Δp^s，用可變形卷積DConv對圖像特征和進行粗對齊：

式中[·,·]表示特征級聯，下標為r代表該特征與參考圖視角一致；

步驟43，對較大尺度的圖像特征，基于前一尺度圖像特征計算的偏移以逐步細化的方式進行優化：

其中，↑²表示兩倍上采樣；

步驟44，經過逐步細化的對齊后，得到和原始輸入圖像同尺度的對齊圖像特征，再經過一個額外的可變形卷積層用于特征的整體微調，生成最終的對齊圖像特征和

3.根據權利要求1所述的一種基于神經網絡的高動態圖像重建方法，其特征在于，所述步驟5中，具體步驟如下：

步驟51，對齊的圖像特征和參考圖像特征被級聯作為掩膜融合網絡的輸入；

步驟52，級聯特征經過殘差密集連接卷積塊和卷積層得到初步重建結果Z₄；

步驟53，重建結果Z₄和高動態范圍域參考圖像H_r經過掩膜融合得到最終重建的高動態范圍圖像掩膜的生成及融合具體公式如下：

其中A·B表示A和B兩對象的逐元素乘積，sigmoid為S形函數，M為由卷積塊得到的掩膜，經過通道拆分split操作得到調整掩膜M_refine和融合掩膜M_merge。

4.根據權利要求3所述的一種基于神經網絡的高動態圖像重建方法，其特征在于，所述步驟52中，在殘差密集連接卷積塊中，殘差連接前加入擠壓激勵模塊。