[發(fā)明專(zhuān)利]基于多尺度融合及邊緣增強(qiáng)的真實(shí)圖像去噪方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011149797.3
• 申請(qǐng)日: 2020-10-23
• 公開(kāi)（公告）號(hào): CN112233038B
• 公開(kāi)（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 門(mén)愛(ài)東;鞠國(guó)棟;沈良恒
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣東啟迪圖衛(wèi)科技股份有限公司
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00;G06T5/50;G06T7/13;G06N3/04;G06N3/08
• 代理公司: 合肥正則元起專(zhuān)利代理事務(wù)所(普通合伙) 34160
• 代理人: 王俊曉

1.基于多尺度融合及邊緣增強(qiáng)的真實(shí)圖像去噪方法，其特征在于，包括以下步驟：

步驟一：在圖像輸入階段，隨機(jī)采用數(shù)據(jù)增強(qiáng)技術(shù)，變換樣本內(nèi)容；數(shù)據(jù)增強(qiáng)技術(shù)的具體實(shí)現(xiàn)方法包括以下步驟：

S11：對(duì)輸入的圖像以1/2的概率決定是否對(duì)其進(jìn)行數(shù)據(jù)增強(qiáng)；

S12：當(dāng)需數(shù)據(jù)增強(qiáng)時(shí)，則在輸入圖像中隨機(jī)定位3個(gè)圖像塊，各圖像塊的寬和高的取值在范圍[0，1/4×W]，[0，1/4×H]里隨機(jī)指定；其中，輸入圖像寬為W，高為H；

S13：對(duì)于被定位到的圖像塊，將其替換為用于監(jiān)督對(duì)應(yīng)位置的無(wú)噪聲圖像塊內(nèi)容，即讓網(wǎng)絡(luò)對(duì)這部分像素進(jìn)行恒等映射的學(xué)習(xí)；

步驟二：將原始含噪圖片輸入網(wǎng)絡(luò)，對(duì)其同時(shí)進(jìn)行三種尺度的卷積操作，利用膨脹卷積技術(shù)，使用三個(gè)卷積核，參數(shù)量不變，進(jìn)行初步平滑處理，輸出三張平滑后的圖；

步驟三：將步驟二中輸出的圖與原始輸入圖進(jìn)行級(jí)聯(lián)，送入融合階段，同時(shí)采用跳連結(jié)構(gòu)，及時(shí)補(bǔ)充信息，輸出融合了不同尺度平滑效果的特征圖；融合階段由五個(gè)注意力模塊、一個(gè)特征圖動(dòng)態(tài)表達(dá)模塊，以及間隔的下采樣、上采樣構(gòu)成；融合階段的具體處理步驟為：

S31：融合階段的網(wǎng)絡(luò)結(jié)構(gòu)形字母V，共包含三層，左側(cè)逐步下采樣，視為編碼器，右側(cè)對(duì)應(yīng)逐步上采樣，視為解碼器；

S32：每一層首先進(jìn)行兩次3×3×32的卷積，進(jìn)一步提取特征，再通過(guò)一個(gè)注意力模塊，對(duì)攜帶不同尺度信息的特征圖進(jìn)行通道重要性重校準(zhǔn)；注意力模塊的具體工作步驟為：

S321：對(duì)輸入模塊的特征圖H×W×C，使用一層3×3×C×64的卷積操作，進(jìn)一步抽象特征；

S322：通過(guò)ReLU激活函數(shù)，再次通過(guò)一層3×3×64×64的卷積操作，而后利用通道注意力機(jī)制校準(zhǔn)不同通道的重要性；

S323：對(duì)模塊的輸入和S322的輸出進(jìn)行逐像素相加，作為注意力模塊的最終輸出；

S33：下采樣階段的每一層結(jié)尾，使用最大值池化將輸入特征的尺寸降低為原來(lái)的1/2，進(jìn)行空間特征的壓縮與融合，保留紋理內(nèi)容，擴(kuò)大卷積網(wǎng)絡(luò)的感受野，提取更多語(yǔ)義信息；

S34：上采樣階段的每一層開(kāi)頭，使用轉(zhuǎn)置卷積，進(jìn)行2倍的上采樣，并和下采樣階段同一層的具有相同分辨率的輸出進(jìn)行級(jí)聯(lián)，及時(shí)補(bǔ)充前半部分空間信息，同時(shí)合并深層次語(yǔ)義特征信息；

S35：對(duì)V字形網(wǎng)絡(luò)的輸出，將其再通過(guò)特征圖動(dòng)態(tài)表達(dá)模塊，融合不同的尺度信息，每層特征圖進(jìn)行自適應(yīng)表達(dá)，即輸出平滑結(jié)果，與輸入網(wǎng)絡(luò)的帶噪圖尺寸大小完全一樣；特征圖動(dòng)態(tài)表達(dá)模塊的具體工作步驟為：

S351：通過(guò)三個(gè)不同卷積核大小的卷積層來(lái)表達(dá)特征，得到U'、U”和U”'，然后將結(jié)果逐像素相加得到混合特征

S352：將進(jìn)行全局池化，提取其全局語(yǔ)義信息，然后經(jīng)過(guò)全連接層、ReLU非線性變換，再一分為三，得到對(duì)應(yīng)的三個(gè)通道校準(zhǔn)系數(shù)向量α、β和γ，并在整體上做softmax歸一化操作，即對(duì)三個(gè)向量沿著各通道進(jìn)行加權(quán)處理；

S353：將三個(gè)向量α、β和γ與U'、U”和U”'分別相乘，再逐像素相加，此時(shí)各特征通道自適應(yīng)地選擇了不同大小的卷積核進(jìn)行特征表達(dá)；

S354：通過(guò)一個(gè)單層卷積，得到恢復(fù)后的干凈圖像；其中卷積層的尺寸為3×3×1；

步驟四：對(duì)初始輸入網(wǎng)絡(luò)的圖像、經(jīng)過(guò)平滑操作的圖像以及步驟三輸出的特征圖采用拉普拉斯算子進(jìn)行邊緣提取，設(shè)置閾值對(duì)結(jié)果進(jìn)行二值化，得到5通道的邊緣圖像；將邊緣圖像與步驟三輸出的特征進(jìn)行級(jí)聯(lián)，送入增強(qiáng)模塊；

步驟五：增強(qiáng)模塊輸出的特征圖經(jīng)過(guò)卷積處理，映射到輸出的特征維度，然后輸出最終的清晰圖像，卷積核的輸出通道數(shù)與輸入原始圖像的通道數(shù)一致。

2.根據(jù)權(quán)利要求1所述的基于多尺度融合及邊緣增強(qiáng)的真實(shí)圖像去噪方法，其特征在于，步驟二中三個(gè)所述卷積核的大小依次為3×3、5×5和7×7。

3.根據(jù)權(quán)利要求1所述的基于多尺度融合及邊緣增強(qiáng)的真實(shí)圖像去噪方法，其特征在于，S322中所述的通道注意力機(jī)制具體過(guò)程為：

a：對(duì)輸入的原始特征U進(jìn)行全局池化，提取其全局語(yǔ)義信息，然后經(jīng)過(guò)全連接層、ReLU非線性變換、全連接層和Sigmoid非線性變換后得到通道校準(zhǔn)系數(shù)向量μ；

b：使用通道校準(zhǔn)系數(shù)向量μ與輸入特征U相乘，對(duì)其重新校準(zhǔn)。

4.根據(jù)權(quán)利要求1所述的基于多尺度融合及邊緣增強(qiáng)的真實(shí)圖像去噪方法，其特征在于，增強(qiáng)模塊具體工作步驟為：

S41：對(duì)輸入的特征圖H×W×5，依次通過(guò)三個(gè)級(jí)聯(lián)的殘差模塊，每個(gè)殘差模塊包括3×3的卷積、ReLU激活函數(shù)以及再次的3×3的卷積，最后將結(jié)果與模塊輸入進(jìn)行逐像素相加；同時(shí)整個(gè)增強(qiáng)模塊采用稠密卷積網(wǎng)絡(luò)結(jié)構(gòu)，即每一層將之前所有層的輸入進(jìn)行拼接，之后將輸出的特征圖傳遞給之后的所有層；

S42：輸入與第一個(gè)殘差模塊的輸出H×W×5級(jí)聯(lián)，得到的特征圖為H×W×10，通過(guò)1×1卷積操作將輸出映射為H×W×5，送入第二個(gè)殘差模塊；

S43：第二個(gè)殘差模塊的輸出與第一個(gè)殘差模塊的輸出以及輸入特征圖級(jí)聯(lián)，得到H×W×15的特征圖，通過(guò)1×1卷積輸出H×W×5，隨后送入第三個(gè)殘差模塊；

S44：使用一個(gè)1×1的卷積層對(duì)輸出進(jìn)行特征映射，得到最終完成去噪且保有邊緣細(xì)節(jié)的圖像并輸出。