[發明專利]基于注意力機制的圖像盲去模糊方法及系統

有效

• 申請號: 202010553157.2
• 申請日: 2020-06-17
• 公開（公告）號: CN111709895B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 林晨;王子健;尹增山
• 申請（專利權）人: 中國科學院微小衛星創新研究院;上海微小衛星工程中心
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/045;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 上海智晟知識產權代理事務所(特殊普通合伙) 31313
• 代理人: 李鏑的

1.一種基于注意力機制的圖像盲去模糊方法，其特征在于，所述基于注意力機制的圖像盲去模糊方法包括：

多尺度注意力網絡采用端到端方式，直接恢復清晰圖像；

所述多尺度注意力網絡采用非對稱的編解碼結構，所述編解碼結構的編碼側采用殘差密集網絡塊，以完成所述多尺度注意力網絡對輸入圖像進行特征提取和表達；

所述編解碼結構的解碼側設置多個注意力模塊，所述注意力模塊輸出初步復原圖像，所述初步復原圖像形成圖像金字塔式的多尺度結構；

所述注意力模塊還輸出注意力特征圖，所述注意力特征圖從全局角度建模遠距離區域之間的關系處理模糊圖像；

暗通道先驗損失和多尺度內容損失組成損失函數，所述損失函數用于反向優化網絡；

所述損失函數包括：

L_total＝λ₁L_darkchannel+λ₂L_{sub_content}+λ₃L_content???????????(1)

暗通道先驗損失的系數λ₁為25，注意力模塊的內容損失系數λ₂為5，輸出的內容損失系數λ₃為10；

多尺度內容損失模塊包括：

網絡優化過程中選擇均方誤差作為內容損失函數，通過計算網絡輸出圖像與真實清晰圖像之間逐像素誤差的平方得到：

其中，θ_σ是網絡參數，I_x,y^sharp是真實的清晰圖像，I^Blur是模糊圖片，是復原得到的圖像，r，W，H分別是圖像數量，圖像寬和圖像高；

在訓練過程中采用優化的多尺度均方誤差函數；

利用解碼側的復原圖像與對應尺度的真實清晰圖片之間的均方誤差，監督注意力模塊中全局特征的提取和轉化：

各個尺度的內容損失加權后得到多尺度內容損失函數，權重通過原圖與當前尺寸的比值得到；

暗通道先驗損失模塊包括：

暗通道先驗損失實現清晰圖像暗通道稀疏性約束；

對圖像I，像素p的暗通道定義為：

其中，p和q是像素位置，N(p)表示以像素p為中心的圖像塊，I^c(q)是第C個通道上圖像，因此暗通道描述的是圖像塊中最小值；

基于卷積神經網絡的去模糊工作中，卷積是特征提取的基本操作，每個通道上的卷積計算可表示為：

其中，x_i,j表示輸入第i行j列元素，w_m,n表示卷積核第m行n列權重，w_b表示偏置，a_i,j表示該通道上得到的特征圖第i行j列元素；

所述暗通道先驗損失模塊采用均方誤差，計算真實清晰圖像和復原圖像中像素暗通道的歐幾里得距離：

2.如權利要求1所述的基于注意力機制的圖像盲去模糊方法，其特征在于，所述非對稱的編解碼結構包括：

所述編碼側由四個卷積模塊組成，每個尺度下包含步長為2的卷積層和三個殘差連接的密集網絡塊；

所述解碼側由三個注意力模塊和重建模塊組成，所述注意力模塊與所述重建模塊相互補充，自適應的校準特征圖的重要性有助于重建信息；每個重建模塊包含一個轉置卷積層和三個瓶頸殘差塊；

所述瓶頸殘差塊的結構由兩個卷積層組成，先通過1×1卷積層增加通道維度，再通過3×3卷積核得到目標輸出，每個卷積層之后均有非線性激活函數；

所述編解碼兩側相同尺寸的注意力特征圖之間加入跳躍連接，通過相加完成低層特征與高層特征的融合。