[發明專利]一種基于U-net的HDR去噪和去模糊方法

在審

• 申請號: 202110302616.4
• 申請日: 2021-03-22
• 公開（公告）號: CN113034392A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 王小華;陳亮;張娜;韓鋒;王美娟
• 申請（專利權）人: 山西三友和智慧信息技術股份有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 太原榮信德知識產權代理事務所(特殊普通合伙) 14119
• 代理人: 楊凱;連慧敏

1.一種基于U-net的HDR去噪和去模糊方法，其特征在于，包括以下步驟：

S1、數據采集：從高速視頻數據集中獲取視頻數據，構建形成原始數據集；

S2、構建訓練集：通過運動模糊模型、像素噪聲模型和行/列的噪聲模型對構建的原始數據集進行模糊處理和噪聲處理，形成訓練集；

S3、構建測試集：通過相機拍攝獲得測試圖像，形成測試集；

S4、構建U-Net網絡模型并訓練：U-Net網絡模型包括編碼部分和解碼部分，編碼部分用于獲取上下文信息，解碼部分用于輸出預測圖；使用訓練集對U-Net網絡模型進行訓練；

S5、模型測試：采用訓練完成的U-Net網絡模型對測試集中的圖像進行去噪處理和去模糊處理，并對相關參數進行微調。

2.根據權利要求1所述的一種基于U-net的HDR去噪和去模糊方法，其特征在于，所述S2中，構建訓練集包括：

S21、將原始數據集中的視頻數據通過運動模糊模型形成運動模糊圖像IMB，其處理公式如下：

I_MB＝clamp(γ×Ε_{t∈{0，1，2，3}}[I_L(t)])，

S22、利用像素噪聲模型對IMB進行噪聲合成形成模擬MB的圖像IPN；利用行/列的噪聲模型從包含MB和像素噪聲IPN的圖像開始，通過迭代每一行、通道和曝光，計算行/列的均值y c；e，并再次使用一個來自ξc；e|ξ||y|的隨機數ξc；e；其中，y表示每個像素和MB的每個通道圖像IMB迭代獲得GT值，ξc表示隨機數，e是用來查找相應的累積直方圖Cc，用于產生一個模擬傳感器值x；將平均值之差添加到行/列，使行/列平均值與期望的平均值匹配，得到訓練集。

3.根據權利要求1所述的一種基于U-net的HDR去噪和去模糊方法，其特征在于，所述S3中，還包括：將獲取的測試圖像進行gamma校正和攝影色調映射。

4.根據權利要求1所述的一種基于U-net的HDR去噪和去模糊方法，其特征在于，所述編碼部分用于獲取上下文信息，包括重復的3×3卷積和2×2的最大池化層，激活函數使用ReLU，其公式如下：

之后進行下采樣后導致特征通道加倍。

5.根據權利要求1所述的一種基于U-net的HDR去噪和去模糊方法，其特征在于，所述解碼部分用于輸出預測圖，包括：

使用反卷積將特征通道減半，然后將反卷積后的結果與相應的編碼階段的特征圖進行拼接，再將拼接后的特征圖進行2次3×3卷積，解碼階段的最后一層采用1×1卷積核，將每個2位特征向量映射到網絡的輸入層；

基于殘差連接的U-Net網絡模型將殘差模塊加入到U-Net網絡中，其殘差連接公式為：

F(x)＝H(x)-x，

其中，H(x)為殘差網絡的輸出，F(x)為經過卷積操作的輸出。

6.根據權利要求1所述的一種基于U-net的HDR去噪和去模糊方法，其特征在于，還包括：

S6、U-Net網絡模型的驗證：查看模型損失函數是否繼續下降，若繼續下降，則表明模型未達到最佳，將模型繼續訓練，若不再下降，則保存模型。

7.根據權利要求1所述的一種基于U-net的HDR去噪和去模糊方法，其特征在于，所述S5中，模型測試包括：

使用SSIM對模型的去模糊和去噪效果進行評價，其評價公式如下：