[發明專利]Raw域視頻去噪監督數據集構造方法

在審

• 申請號: 202010432299.3
• 申請日: 2020-05-20
• 公開（公告）號: CN111724317A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 岳煥景;曹聰;楊敬鈺
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李素蘭

本發明公開了一種Raw域視頻去噪監督數據集構造方法，步驟1、將Raw域噪聲建模為泊松?高斯混合噪聲；步驟2、拍攝Flat?field幀以及Bias幀，校正噪聲模型在指定ISO下的參數；步驟3、進行ISP仿真與逆ISP仿真，實現可視化Raw圖像和生成對應的sRGB域視頻圖像，將sRGB域視頻圖像變換為Raw域視頻圖像；步驟4、準備數據集，包括合成噪聲仿真數據集和拍攝真實Raw域視頻數據集。與現有技術相比，本發明的一種Raw域視頻去噪監督數據集構造方法可用于仿真Raw域噪聲，可用于構建大量的“干凈?噪聲”成對Raw域視頻數據，支持Raw域視頻去噪工作。

技術領域

本發明屬于計算機圖像處理技術領域，特別涉及一種Raw域視頻去噪的相關處理技術。

背景技術

近些年來隨著智能手機、監控攝像機、自動駕駛的迅速發展，人們對高質量圖像和視頻的需求日益突出。然而在惡劣環境下很難保證高質量的成像，例如大部分成像設備在低光照條件下往往會設置較高的ISO，導致生成的視頻具有很大的噪聲，從而影響后續的視頻分析和觀賞者的視覺感受。在傳感器直接記錄的Raw域視頻上，噪聲遵循接近于泊松高斯分布的簡單分布模式，但在經過成像設備ISP(Image Signal Processor)處理后的sRGB域視頻上，噪聲分布變得非常復雜而且難以建模，因此Raw域去噪比sRGB域去噪更有優勢。此外，Raw域的噪聲會影響ISP中諸如白平衡、顏色校正、Gamma變換等算法的性能，所以去除Raw域噪聲有助于改善后續的ISP處理，生成更高質量的圖像，具有重要意義。

卷積神經網絡具有強大的擬合能力，已經用于圖像檢測、分割、復原等多個領域并取得良好的性能。但基于卷積神經網絡的方法往往需要大量的數據進行訓練，目前已存在多個公開的真實圖像去噪數據集，但尚無動態場景下的Raw域視頻去噪數據集。

發明內容

為了克服現有技術的不足，本發明提出一種Raw域視頻去噪監督數據集構造方法，通過逆ISP與噪聲建模方法構建仿真數據集，通過控制目標運動和按時間順序拍攝burst圖像構建真實數據集。

本發明的一種Raw域視頻去噪監督數據集構造方法，包括以下步驟：

步驟1、將Raw域噪聲建模為泊松-高斯混合噪聲，噪聲模型表達式為：

其中，x_p表示觀測到的噪聲圖像，y_p表示理想的無噪聲圖像，表示高斯噪聲分量的方差，表示泊松噪聲分量的方差，表示泊松分布，表示高斯分布，～表示是屬于……分布；

步驟2、拍攝Flat-field幀以及Bias幀，校正噪聲模型在指定ISO下的參數；

步驟2.1、拍攝Flat-field幀的具體操作為：將一張白紙貼于墻上，調節相機到指定ISO，對準白紙中心，并調整焦距使白紙充滿鏡頭畫面：設定不同的快門時間，對于每個快門時間，連續拍攝兩張圖像，并分別裁剪各自中心區域400×400大小的塊，命名為z_a與z_b；用(z_a+z_b)/2的中位數作為真實信號的估計，用的方差作為噪聲方差的估計，從而得到信號-噪聲方差圖上的一個點；根據多個快門時間得到的多個點估計噪聲方差曲線的斜率，即

步驟2.2、拍攝Bias幀的具體操作為：將相機置于暗室中，并用鏡頭蓋蓋住相機鏡頭，使得拍攝圖像中只含有read noise，調節相機到指定ISO，拍攝一張全黑圖像，對該張圖像求噪聲方差，作為校正之后得到：ISO＝1600時，ISO＝3200時，ISO＝6400時，ISO＝12800時，ISO＝25600時，

步驟3、進行ISP仿真與逆ISP仿真，實現可視化Raw圖像和生成對應的sRGB域視頻圖像，將sRGB域視頻圖像變換為Raw域視頻圖像，具體處理如下：