[發(fā)明專利]基于偽3D自相關(guān)網(wǎng)絡(luò)的真實(shí)圖像去噪方法

有效

• 申請?zhí)枺?/td>: 202110238276.3
• 申請日: 2021-03-04
• 公開（公告）號(hào): CN112862723B
• 公開（公告）日: 2022-08-02
• 發(fā)明（設(shè)計(jì)）人: 王好謙;胡小婉
• 申請（專利權(quán)）人: 清華大學(xué)深圳國際研究生院
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06V10/44;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 深圳新創(chuàng)友知識(shí)產(chǎn)權(quán)代理有限公司 44223
• 代理人: 江耀純

本發(fā)明公開了基于偽3D自相關(guān)網(wǎng)絡(luò)的真實(shí)圖像去噪方法，包括：基于一維快速卷積構(gòu)建偽3D自相關(guān)模塊P3AB，以用于：對(duì)輸入特征圖每個(gè)位置上的元素，通過一維快速卷積分別提取水平、垂直和通道方向的自相關(guān)特征，完成所有位置遍歷后，分別得到三個(gè)方向的偽3D自相關(guān)特征；對(duì)三個(gè)方向的偽3D自相關(guān)特征進(jìn)行通道級(jí)聯(lián)、自適應(yīng)特征融合，得到包含空間域自相關(guān)信息和通道域自相關(guān)信息的全局自相關(guān)特征；通過殘差連接將全局自相關(guān)特征與輸入特征圖相加后作為P3AB的輸出；構(gòu)建偽3D自相關(guān)網(wǎng)絡(luò)P3AN；P3AN包括淺層特征提取單元、堆疊的P3AB和末尾卷積層，并設(shè)置有兩層跳躍連接；訓(xùn)練P3AN；利用訓(xùn)練好的P3AN對(duì)輸入的真實(shí)噪聲圖像進(jìn)行去噪，輸出去噪后的圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺和圖像處理領(lǐng)域，特別涉及一種基于偽3D自相關(guān)網(wǎng)絡(luò)的真實(shí)圖像去噪方法。

背景技術(shù)

自然圖像中的噪聲往往具有多種來源，例如捕獲儀器中的暗電流噪聲和傳輸介質(zhì)中的隨機(jī)擾動(dòng)等。目前大量先進(jìn)的方法已經(jīng)在去除合成的高斯白噪聲方面取得了顯著的效果。但是，真實(shí)圖像中的噪聲在CCD或CMOS相機(jī)系統(tǒng)中往往具有復(fù)雜的生成過程，他們通常是非高斯和不均勻的。因此，在真實(shí)噪聲圖像的復(fù)原任務(wù)中，基于合成數(shù)據(jù)的去噪算法很難準(zhǔn)確地模擬和去除不規(guī)則噪點(diǎn)。對(duì)于盲圖像去噪，由于缺少特定的噪聲先驗(yàn)，輸入的低質(zhì)量噪聲圖像成為唯一的信息來源。因此，如何從原始圖像中捕捉更完備的先驗(yàn)特征和相關(guān)性信息顯得尤為重要。

圖像的自相關(guān)性先驗(yàn)已經(jīng)在許多傳統(tǒng)降噪算法中得到了廣泛探索并發(fā)揮了重要作用。為了使模型具有強(qiáng)大的學(xué)習(xí)和表示能力，最近的方法試圖利用深度學(xué)習(xí)方法來積累更有效和全面的先驗(yàn)知識(shí)。目前，自相關(guān)特征在卷積神經(jīng)網(wǎng)絡(luò)中的提取可分為基于通道和基于空間的算法。基于空間的算法則圍繞著被證明為自然圖像的強(qiáng)大特性的空間自相似性展開。一種通用的做法是通過非本地塊獲得空間域中的全局自相關(guān)，再相應(yīng)計(jì)算為所有像素方向特征的加權(quán)和特征圖，以獲得密集和像素級(jí)的遠(yuǎn)程全局上下文信息。

然而，圖像自相關(guān)性在深度學(xué)習(xí)中的進(jìn)一步探索遭遇了瓶頸。一方面，盡管在基礎(chǔ)CNN中增加捕捉其中某種類型的全局自相關(guān)性的結(jié)構(gòu)已經(jīng)帶來了更高的模型復(fù)雜度和較大的計(jì)算負(fù)擔(dān)，大多數(shù)現(xiàn)有方法仍致力于構(gòu)建更復(fù)雜的自相關(guān)模塊以實(shí)現(xiàn)更好的性能。另一方面，CNN中的特征圖通常是3維的，因此一個(gè)完備的自相關(guān)特征應(yīng)該同時(shí)具備通道和空間兩個(gè)方向。一個(gè)直觀的方案是引入3D卷積，伴隨參數(shù)的爆炸式增長。目前有一些方法通過串聯(lián)或并聯(lián)的結(jié)構(gòu)結(jié)合通道中的自注意力和空間中的自相似性機(jī)制。這種分步操作不僅增加了模型的復(fù)雜度，也會(huì)破壞局部區(qū)域中連續(xù)的相關(guān)性。高模型復(fù)雜性使得大多數(shù)自相關(guān)模塊只能在單個(gè)或幾個(gè)卷積塊中使用。

可見，現(xiàn)有技術(shù)對(duì)于真實(shí)噪聲圖像的去噪，存在去噪效果差、去噪模型復(fù)雜度高、計(jì)算負(fù)擔(dān)大的問題。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提出一種基于偽3D自相關(guān)網(wǎng)絡(luò)的真實(shí)圖像去噪方法，解決目前真實(shí)噪聲圖像的去噪方法所存在的去噪效果差、去噪模型復(fù)雜度高且計(jì)算負(fù)擔(dān)大的問題。

本發(fā)明為解決上述問題所提出的技術(shù)方案如下：

一種基于偽3D自相關(guān)網(wǎng)絡(luò)的真實(shí)圖像去噪方法，包括：

S1、基于一維快速卷積構(gòu)建偽3D自相關(guān)模塊，所述偽3D自相關(guān)模塊用于執(zhí)行如下操作：

首先，對(duì)輸入特征圖每個(gè)位置上的元素，通過一維快速卷積分別提取水平方向、垂直方向和通道方向的自相關(guān)特征，完成所有位置的遍歷后，分別得到水平方向、垂直方向和通道方向的偽3D自相關(guān)特征；其次，對(duì)水平方向、垂直方向和通道方向的偽3D自相關(guān)特征進(jìn)行通道級(jí)聯(lián)，再進(jìn)行自適應(yīng)特征融合，得到包含空間域自相關(guān)信息和通道域自相關(guān)信息的全局自相關(guān)特征；最后，通過殘差連接將所述全局自相關(guān)特征與所述輸入特征圖相加后作為所述偽3D自相關(guān)模塊的輸出；

S2、基于所述偽3D自相關(guān)模塊，構(gòu)建偽3D自相關(guān)網(wǎng)絡(luò)；