[發(fā)明專利]一種基于ER網(wǎng)絡(luò)多幀圖像去模糊系統(tǒng)及其方法

有效

• 申請?zhí)枺?/td>: 202011170383.9
• 申請日: 2020-10-28
• 公開（公告）號: CN112200752B
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計）人: 謝春芝;高志升
• 申請（專利權(quán)）人: 西華大學(xué);成都視證科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/40;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識產(chǎn)權(quán)代理有限公司 51230
• 代理人: 孟仕杰

本發(fā)明涉及計算機視覺領(lǐng)域，具體是一種基于ER網(wǎng)絡(luò)多幀圖像去模糊系統(tǒng)，包括接受指令模塊、指令生成模塊、采集模塊、清晰化處理模塊；一種基于ER網(wǎng)絡(luò)多幀圖像去模糊方法，包括步驟一、退化模型的構(gòu)建，步驟二、建立仿真數(shù)據(jù)集，步驟三、生成供訓(xùn)練的第一退化圖像和第一退化圖像序列，步驟四、利用ERnet神經(jīng)網(wǎng)絡(luò)模型進行第一退化圖像序列的排序，并對ERnet神經(jīng)網(wǎng)絡(luò)模型的排序結(jié)果進行評估，步驟五、將多幀互補信息提取網(wǎng)絡(luò)和時空注意力機制輸出結(jié)果相加作為信息精細化網(wǎng)絡(luò)的輸入數(shù)據(jù)，步驟六，用戶輸入模糊目標圖像，生成清晰目標圖像；解決了大氣湍流退化圖像具有隨機性，多幀之間具有較為明顯的互補信息，同時多幀之間也具有隨機的差異性問題。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺領(lǐng)域，具體是指一種基于ER網(wǎng)絡(luò)多幀圖像去模糊系統(tǒng)及其方法。

背景技術(shù)

退化圖像的復(fù)原是計算機視覺領(lǐng)域的一個關(guān)鍵任務(wù)，是當前熱門的研究問題，從復(fù)原方法角度可以分為非盲復(fù)原和盲復(fù)原，非盲復(fù)原已知圖像退化的點擴散函數(shù)，結(jié)合模糊圖像和正則化規(guī)則進行反解卷積，完全的盲復(fù)原算法是在模糊參數(shù)和噪聲參數(shù)都未知的情況下進行圖像復(fù)原，其輸入僅僅只有退化圖像，非盲復(fù)原需要預(yù)知點擴散函數(shù)或點擴散函數(shù)符合特定的先驗分布，所以這類方法難以應(yīng)用到真實圖像的復(fù)原，從退化因素角度可以分為運動模糊，抖動模糊,失焦模糊，物理模糊,噪聲干擾和大氣湍流模糊，如前所述，大氣湍流模糊的圖像往往受到多種退化因素的影響，同時退化嚴重，其復(fù)原難度是最大的，從輸入數(shù)據(jù)角度可分為單幀復(fù)原和多幀復(fù)原。多幀復(fù)原是輸入連續(xù)的多幀圖像，實現(xiàn)圖像的復(fù)原，也可以用于視頻復(fù)原。

求取清晰圖像是一個非適定的反問題，難以直接求取得最優(yōu)的唯一解，一種直觀的方法是通過引入正則化先驗，例如Tikhonov等，再通過優(yōu)化算法求解方程得到清晰圖像，這類方法在處理嚴重退化圖像的復(fù)原問題時，存在模型過度簡化，正則化規(guī)則難以確定的問題，使得算法穩(wěn)定性差，甚至發(fā)生完全失敗的現(xiàn)象，近年來，利用深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)強大的表示學(xué)習(xí)能力進行圖像復(fù)原的工作日益增多并取得了顯著的效果，這類基于學(xué)習(xí)的方法實現(xiàn)圖像復(fù)原，存在需要大量訓(xùn)練數(shù)據(jù)，模型泛化能力和可解釋性差等問題，融合兩者的優(yōu)點進行退化圖像復(fù)原也是解決問題的一種思路，一種方法是利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像的先驗，然后用于傳統(tǒng)方法求解，另外一種方法是利用傳統(tǒng)方法復(fù)原后利用深度神經(jīng)網(wǎng)絡(luò)增強圖像的細節(jié)信息。

發(fā)明內(nèi)容

基于以上問題，本發(fā)明提供了一種基于ER網(wǎng)絡(luò)多幀圖像去模糊系統(tǒng)及其方法，解決了大氣湍流退化圖像具有隨機性，多幀之間具有較為明顯的互補信息，同時多幀之間也具有隨機的差異性問題。

為解決以上技術(shù)問題，本發(fā)明采用的技術(shù)方案如下：

一種基于ER網(wǎng)絡(luò)多幀圖像去模糊系統(tǒng)，包括

接受指令模塊，用于接收用戶創(chuàng)建的任務(wù)指令；

指令生成模塊，用于用戶創(chuàng)建任務(wù)指令；

采集模塊，用于接收用戶上傳的模糊目標圖像；

清晰化處理模塊，用于將用戶上傳的模糊目標圖像進行清晰化處理。

進一步，所述清晰化處理模塊包括

退化模型，用于生成第一退化圖像和第一退化圖像序列；

ERnet神經(jīng)網(wǎng)絡(luò)模型，包括多幀互補信息提取網(wǎng)絡(luò)、信息精細化網(wǎng)絡(luò)和時空注意力機制，用于將第一退化圖像進行排序，并生成新的第二退化序列；

退化特征抽取器，包含第一2D卷積層、第一最大池化層和第一flatten層，用于輸出退化特征向量；

清晰特征抽取器，包含第二2D卷積層、第二最大池化層和第二flatten層，用于輸出清晰特征向量；

退化圖像生成器，用于輸入退化特征向量后輸出第二退化圖像；