[發明專利]Raw域視頻去噪監督數據集構造方法

在審

• 申請號: 202010432299.3
• 申請日: 2020-05-20
• 公開（公告）號: CN111724317A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 岳煥景;曹聰;楊敬鈺
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李素蘭

1.一種Raw域視頻去噪監督數據集構造方法，其特征在于，該方法包括以下步驟：

步驟1、將Raw域噪聲建模為泊松-高斯混合噪聲，噪聲模型表達式為：

其中，x_p表示觀測到的噪聲圖像，y_p表示理想的無噪聲圖像，表示高斯噪聲分量的方差，表示泊松噪聲分量的方差，表示泊松分布，表示高斯分布，～表示是屬于……分布；

步驟2、拍攝Flat-field幀以及Bias幀，校正噪聲模型在指定ISO下的參數；

步驟2.1、拍攝Flat-field幀的具體操作為：將一張白紙貼于墻上，調節相機到指定ISO，對準白紙中心，并調整焦距使白紙充滿鏡頭畫面：設定不同的快門時間，對于每個快門時間，連續拍攝兩張圖像，并分別裁剪各自中心區域400×400大小的塊，命名為z_a與z_b；用(z_a+z_b)/2的中位數作為真實信號的估計，用的方差作為噪聲方差的估計，從而得到信號-噪聲方差圖上的一個點；根據多個快門時間得到的多個點估計噪聲方差曲線的斜率，即

步驟2.2、拍攝Bias幀的具體操作為：將相機置于暗室中，并用鏡頭蓋蓋住相機鏡頭，使得拍攝圖像中只含有read noise，調節相機到指定ISO，拍攝一張全黑圖像，對該張圖像求噪聲方差，作為校正之后得到：ISO＝1600時，ISO＝3200時，ISO＝6400時，ISO＝12800時，ISO＝25600時，

步驟3、進行ISP仿真與逆ISP仿真，實現可視化Raw圖像和生成對應的sRGB域視頻圖像，將sRGB域視頻圖像變換為Raw域視頻圖像，具體處理如下：

步驟3.1、進行ISP仿真：使用SID數據集訓練一個卷積神經網絡，輸入干凈Raw域視頻圖像，輸出干凈sRGB域視頻圖像；

步驟3.2、進行逆ISP仿真：讓sRGB域圖像依次經過逆gamma變換、逆CCM顏色校正、逆白平衡和馬賽克，最終得到Bayer模式的Raw域視頻圖像；

步驟4、準備數據集，具體處理如下：

步驟4.1、合成噪聲仿真數據集，具體過程包括：從MOTChallenge數據集中選取4個干凈的sRGB視頻，通過執行逆ISP仿真操作，將這些sRGB視頻映射為所需的干凈的Raw域視頻，通過已經確定的噪聲模型仿真噪聲，利用所得到的仿真噪聲加入干凈的Raw域視頻中，得到帶噪的Raw域視頻，從而建立噪聲仿真數據集；

步驟4.2、拍攝真實Raw域視頻數據集，具體過程包括：拍攝帶有ground truth的室內Raw域視頻數據集和不帶有ground truth的室外Raw域視頻數據；最后，用ISP仿真生成室內、室外對應的sRGB域噪聲視頻和干凈的sRGB域視頻；最終將所有Raw域視頻數據按時間順序組合起來形成成對的含有噪聲的Raw域視頻和干凈的Raw域視頻作為本步驟的真實數據集。