[發明專利]基于部分到整體注意力機制的多層次圖像修復方法

有效

• 申請號: 201911246343.5
• 申請日: 2019-12-08
• 公開（公告）號: CN111127346B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 顏波;陳鶴丹
• 申請（專利權）人: 復旦大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一種基于部分到整體注意力機制的多層次圖像修復方法，其特征在于，具體步驟為：

(1)在U-Net結構的基礎上構建多層次的深度卷積神經網絡生成器，即去除U-Net結構的最后一個下采樣層，并將其中原有的跳躍連接結構均替換為一系列空洞卷積組成的殘差塊網絡結構；

(2)將部分到整體的注意力機制卷積層分別集成到深度卷積神經網絡生成器和判別器中；訓練深度卷積神經網絡生成器，得到圖像修復模型；

(3)利用圖像修復模型，得到修復的圖像；

所構建的多層次的深度卷積神經網絡生成器中：

主干網絡包括：1個輸入特征提取層conv_in；3個下采樣卷積層，分別記為conv_1，conv_2，conv_3；3個空洞殘差塊，分別記為drconv_1，drconv_2，drconv_3，分別連接在3個下采樣卷積層conv_1，conv_2，conv_3之后；2個特征通道壓縮層，記為conv_4，conv_5；2個注意力機制卷積特征層att_1和att_2，分別連接在2個特征通道壓縮層conv_4，conv_5之后；1個輸出卷積層conv_out；

所述判別器中，2個注意力層分別連接在第2、第3個卷積層之后；所有上述卷積層除輸出卷積層conv_out以外均采用ReLU激活函數，輸出卷積層采用Tanh激活函數；

步驟(2)中所述將部分到整體的注意力機制卷積層，分別集成到深度卷積神經網絡生成器和判別器中，是將生成器或判別器網絡某一層特征圖M作為注意力機制卷積層的輸入；具體是將整個特征圖M和其中心占總大小25％的正方形區域m分別通過1×1卷積操作得到M_1與m_1，這里，1×1卷積輸出通道數為輸入通道數的八分之一；然后將其尺寸分別調整為N×C/8和C/8×n，其中N、n為相應的高、寬，C/8為通道數，然后進行矩陣相乘，將結果按列進行softmax運算后得到注意力圖A，注意力圖A的尺寸為N×n；最后，將特征圖M再次通過1×1卷積的結果M_2的尺寸調整為C×N并與注意力圖A進行矩陣相乘，上述1×1卷積操作維持輸出通道數不變，得到特征圖F，并將特征圖F的尺寸調整為C×h×w，其中h、w分別為特征圖F的高和寬；最后，該卷積層的輸出O為：

O＝M-m+αm+βF

其中，α、β為可學習的參數，初始值分別為1和0。

2.根據權利要求1所述的基于部分到整體注意力機制的多層次圖像修復方法，其特征在于，

生成器主干網絡中，輸入特征提取層convin的卷積核大小為7，步長為1，邊緣填充大小為3，輸入通道數為4，輸出通道數為32；下采樣卷積層conv_1，conv_2，conv_3的卷積核大小為4，步長為2，邊緣填充大小為1，輸入通道數分別為32、64、128，輸出通道數分別為64、128、256；3個空洞殘差塊drconv_1，drconv_2，drconv_3中子塊個數分別為16個、8個和4個，每個子塊由卷積核大小為3，步長為1，邊緣填充大小為2，擴張率為2，輸出通道數維持不變的空洞卷積核和卷積核大小為3，步長為1，邊緣填充大小為1，輸出通道數維持不變的普通卷積核構成，每個子塊的輸出為輸入經過上述卷積核得到的結果與輸入的求和；2個特征通道壓縮層conv_4，conv_5中，conv_4的卷積核大小為3，步長為1，邊緣填充大小為1，輸入通道數為256，輸出通道數為128；conv_5的卷積核大小為5，步長為1，邊緣填充大小為2，輸入通道數為128，輸出通道數為64；上采樣反卷積層deconv_1，deconv_2，deconv_3的卷積核大小為4，步長為2，邊緣填充大小為1，輸入通道數分別為256、128、64，輸出通道數分別為128、64、32；輸出卷積層conv_out的卷積核大小為7，步長為1，邊緣填充大小為3，輸入通道數為32，輸出通道數為3。