[發明專利]一種基于ER網絡多幀圖像去模糊系統及其方法

有效

• 申請號: 202011170383.9
• 申請日: 2020-10-28
• 公開（公告）號: CN112200752B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 謝春芝;高志升
• 申請（專利權）人: 西華大學;成都視證科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/40;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 孟仕杰

1.一種基于ER網絡多幀圖像去模糊系統，其特征在于：包括

接受指令模塊，用于接收用戶創建的任務指令；

指令生成模塊，用于用戶創建任務指令；

采集模塊，用于接收用戶上傳的模糊目標圖像；

清晰化處理模塊，用于將用戶上傳的模糊目標圖像進行清晰化處理；

所述清晰化處理模塊包括：

退化模型，用于生成第一退化圖像和第一退化圖像序列；

ERnet神經網絡模型，包括多幀互補信息提取網絡、信息精細化網絡和時空注意力機制，用于將第一退化圖像進行排序，并生成新的第二退化序列；

退化特征抽取器，包含第一2D卷積層、第一最大池化層和第一flatten層，用于輸出退化特征向量；

清晰特征抽取器，包含第二2D卷積層、第二最大池化層和第二flatten層，用于輸出清晰特征向量；

退化圖像生成器，用于輸入退化特征向量后輸出第二退化圖像；

清晰圖像生成器，用于輸入清晰特征向量后輸出與第二退化圖像相對應的清晰圖像；

多幀互補信息提取網絡，包括第三3D卷積層、第四3D卷積層、3D轉置卷積層、第三最大池化層和第一殘差分解塊，用于提取輸入退化圖像序列各幀的有效信息，并將有效信息融合成單通道特征圖進行輸出；

時空注意力機制，包括3D全局平局池化、3D全局最大池化、多個全連接層、第二殘差分解塊、第五3D卷積層、2D全局平局池化、2D全局最大池化和第三2D卷積層，用于加強輸入退化圖像序列的有效信息，并輸出單通道特征圖；

信息精細化網絡，包括編碼器、解碼器、第三2D卷積層和第四2D卷積層，所述編碼器包括4個第三殘差分解塊和相對應的4個下采樣層，所述解碼器包括4個上采樣層和相對應的4個第四殘差分解塊，用于對多幀互補信息提取網絡和時空注意力機制的輸出進行修正。

2.一種基于ER網絡多幀圖像去模糊方法，采用上述一種基于ER網絡多幀圖像去模糊系統，其特征在于：包括

步驟一、退化模型的構建，包括如下步驟：

S11、構建大氣湍流特性的點擴散函數PSF，公式如下：

PSF＝exp{-3.44(αfU/r)^5/3}；

其中，U表示頻率，(u,v)表示單位脈沖，α表示波長，f表示光學系統的焦距，r表示弗里德參數；

S12、退化模型表示為：

y＝T(x*PSF+N)；

其中，N表示泊松噪聲，*表示卷積操作，+表示求和操作，所述泊松噪聲N受分布參數λ影響；

步驟二、由選取的若干張空間目標清晰圖像組成仿真數據集；

步驟三、步驟二中的仿真數據集輸入退化模型中生成供訓練的第一退化圖像和第一退化圖像序列；

步驟四、將第一退化圖像輸入ERnet神經網絡模型進行第一退化圖像序列的排序，并生成第二圖像序列，并對ERnet神經網絡模型的排序結果進行評估；

步驟五、將第二退化圖像序列輸入多幀互補信息提取網絡和時空注意力機制，所述多幀互補信息提取網絡和時空注意力機制輸出結果相加作為信息精細化網絡的輸入數據；

步驟六，用戶輸入模糊目標圖像，生成清晰目標圖像；

所述步驟三中，第一退化圖像的生成方法具體包括

S31、在預設的固定退化范圍內隨機生成多組退化干擾，其中，預設退化范圍為(r_x,r_y)、(λ_x,λ_y)，r在(r_x,r_y)中選取，λ在(λ_x,λ_y)中選取；

S32、預設輸入的退化圖像序列共有K幀，即在退化范圍內隨機生成K個PSF和噪聲；

S33、將生成的K個PSF分別與空間目標清晰圖像卷積得到對應的K幀空間目標模糊圖像，將各幀空間目標模糊圖像與對應的噪聲相加，生成第一退化圖像，并輸出第一退化圖像序列；

所述步驟四中，K組第一退化圖像序列逐幀輸入到ERnet神經網絡模型，得到退化特征向量組dvec和清晰特征向量組svec，預設每組輸入的退化圖像序列共有l幀，用表示第k個退化特征向量組的第i個退化特征向量，用表示第k個清晰特征向量組的第j個清晰特征向量，其中，0kK，因此，每組清晰特征向量的平局值作為清晰度指標，公式為：

其中，svec_k表示第k個清晰特征向量組的平均值，將退化特征向量組中的每個退化特征向量與svec_k求歐幾里得距離公式為：

其中，L₂表示歐幾里得距離函數，將輸入第一退化圖像序列的順序記為rank_inp，將ERnet神經網絡模型的排序結果記為rank_outp，使用加權肯德爾距離衡量輸入第一退化圖像序列的順序與ERnet神經網絡模型的排序結果之間的差距，將加權肯德爾距離的平均值作為ERnet神經網絡模型的評估結果，評估結果記為M_RN，公式為：

其中，τ為加權肯德爾距離函數。