[發明專利]基于多分支門控融合的水下圖像復原模型及其復原方法

有效

• 申請號: 202010590175.8
• 申請日: 2020-06-24
• 公開（公告）號: CN111754438B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 賈曉芬;覃小峰;郭永存;趙佰亭
• 申請（專利權）人: 安徽理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 西安知誠思邁知識產權代理事務所(普通合伙) 61237
• 代理人: 麥春明

1.基于多分支門控融合的水下圖像復原模型，其特征在于，包括依次連接的多分支特征提取模塊、門控融合模塊和重建模塊；

所述多分支特征提取模塊，用于提取待復原的水下原始圖像的不同尺度、不同層級的圖像特征信息；

所述門控融合模塊，用于對待復原的水下原始圖像的不同尺度、不同層級的圖像特征信息進行融合，得到水下低分辨率特征圖像；

所述重建模塊，用于對水下低分辨率特征圖像進行圖像重建，得到高分辨率特征圖像即水下復原圖像；

所述多分支特征提取模塊由多個不同的分支模塊組成，其多個不同的分支模塊分別用于提取待復原的水下原始圖像的不同尺度、不同層級的圖像特征信息，且其多個不同的分支模塊輸出的特征圖尺寸均相同；

所述多分支特征提取模塊的每個分支模塊的輸出端均與門控融合模塊的輸入端連接；

所述多分支特征提取模塊由多尺度提取模塊、單一尺度特征提取模塊和空洞卷積殘差提取模塊這三個不同的分支模塊組成；

所述多尺度提取模塊，用于在不同的感知野下提取待復原的水下原始圖像中不同大小的物體的顏色、邊緣、紋理信息，得到多尺度的特征圖；

所述單一尺度特征提取模塊，用于提取包含待復原的水下原始圖像的全部特征信息，得到單一尺度的特征圖；

所述空洞卷積殘差提取模塊，用于利用空洞卷積提取待復原的水下原始圖像的局部特征信息；

所述多尺度提取模塊由依次連接的多個多尺度特征提取單元構成，其中，每個多尺度特征提取單元包含兩層結構相同的卷積結構，兩層結構相同的卷積結構均采用卷積核大小為1×1、3×3和5×5的卷積層；輸入的特征圖通過多尺度特征提取單元的第一層卷積結構時，分別經過卷積核大小為3×3和5×5的卷積層對輸入的特征圖進行卷積處理，然后將兩部分卷積處理的輸出按照特征圖的第一維度連接在一起后再經卷積核大小為1×1的卷積層進行卷積處理，卷積核大小為1×1的卷積層卷積處理的輸出作為第一層卷積結構的輸出結果傳遞到第二層卷積結構；第二層卷積結構和第一層卷積結構的操作相同，最后使用跳躍連接將當前多尺度特征提取單元的輸入與當前特征提取單元的第二層卷積結構的輸出結果相加進行信息融合后傳遞到下一多尺度特征提取單元；

所述單一尺度特征提取模塊由依次連接的五層卷積層構成，其第一層卷積層的卷積核大小為3×3，步長為1；剩余四層卷積層的卷積和大小為3×3，步長為2；

所述空洞卷積殘差提取模塊由12個空洞卷積殘差層組成，所述空洞卷積殘差層由兩個深度可分離卷積層和兩個空洞卷積層構成，并以深度可分離卷積層-空洞卷積層-深度可分離卷積層-空洞卷積層的形式依次連接，同時通過跳躍連接將當前空洞卷積殘差層的輸入與當前空洞卷積殘差層的最后一個空洞卷積層的輸出直接相加傳遞至下一個空洞卷積殘差層。

2.根據權利要求1所述的基于多分支門控融合的水下圖像復原模型，其特征在于，所述門控融合模塊包括Concate連接層、卷積層和特征信息增強層；

所述Concate連接層，用于對多分支特征提取模塊提取得到的待復原的水下原始圖像的不同尺度、不同層級的特征圖進行一維融合拼接，得到總的特征信息圖T；

所述卷積層，用于對總的特征信息圖T進行卷積操作，使其尺寸與待復原的水下原始圖像的不同尺度的特征圖尺寸一致；

所述特征信息增強層，用于按照對應像素值，將總的特征信息圖T分別與不同分支的特征圖按對應位置元素相乘并將乘積相加作為信息增強后的圖像當前位置元素，得到水下低分辨率特征圖像。

3.根據權利要求1任一項所述的基于多分支門控融合的水下圖像復原模型，其特征在于，所述重建模塊由四個重建層級聯組成，每層重建層以放大2倍的效果，依次將低分辨率特征圖恢復到待復原的水下原始圖像的分辨率尺寸；

每個重建層由依次連接的像素重組模塊和卷積核大小為3×3或1×1的卷積層組成，所述像素重組模塊，用于以放大2倍的效果對輸入的特征圖像進行重組；

所述卷積核大小為3×3或1×1的卷積層，其卷積步長為1，用于平衡輸入的特征圖即像素重組模塊輸出的特征圖的通道數，以便后續的上采樣能正常進行，使最后能夠輸出RGB三通道的復原圖像。