[發明專利]一種基于帶對稱跨層連接的卷積神經網絡的圖像修復方法

在審

• 申請號: 201810239695.7
• 申請日: 2018-03-22
• 公開（公告）號: CN108537747A
• 公開（公告）日: 2018-09-14
• 發明（設計）人: 楊育彬;董劍峰;毛曉蛟
• 申請（專利權）人: 南京大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/08;G06N3/04
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華;于瀚文

本發明公開了一種基于帶對稱跨層連接的卷積神經網絡的圖像修復方法，包含如下步驟：訓練數據預處理；自動生成模糊訓練圖像；構建神經網絡；訓練神經網絡；驗證修復效果并進行參數調整。本發明能從受損圖像基礎上，修復出更為清晰的原圖像，提升傳統圖像去噪、圖像超分辨率、圖像補全等方法的效果。此外，通過在卷積神經網絡中加入對稱跨層連接，可以更容易優化更深層次的神經網絡，提高模型泛化能力，同時保留底層圖像細節，得到更好的修復后圖像。本發明實現了高效、清晰的圖像還原，因此具有較高的實用價值。

技術領域

本發明涉及圖像還原領域，尤其涉及一種基于帶對稱跨層連接的卷積神經網絡(Convolutional Neural Network，CNN)的圖像修復方法。

背景技術

隨著信息技術的不斷飛速發展，各個領域每天都在以驚人的速度產生各種類型的圖像數據。在大量的圖像數據獲取、傳播過程中，圖像往往會被人為壓縮、降低分辨率，或非人為地造成擾動噪聲，而如何從受到破壞的圖像中盡可能真實地恢復原圖像，成為了一個十分重要的問題。隨著越來越多的具有拍照功能的移動設備如照相機、手機、平板等的日益普及，以及社交網絡的興起，人們獲取圖像的方式越來越多，也進一步促使圖像數據急劇增長，如何從有損壞的圖像中盡可能清晰地還原原圖像也成為了十分重要的問題。人們迫切希望計算機能幫助人類，對互聯網中海量低質量或有損壞圖像進行分析，并充分理解底層圖像特征，進而更有效地對其進行修復。

圖像修復作為底層圖像理解最主要的技術之一，一直受到了學術界和工業界的廣泛關注，并且經常作為各種圖像相關國際學術會議的重要主題，是跨計算機視覺和圖像處理領域一個非常重要的研究課題。圖像修復是指根據圖像內部結構關聯性信息，通過一定的技術手段，從受到外部原因破壞后的損壞圖像數據中恢復清晰的圖像的問題，其具體問題包括圖像去噪聲，圖像超分辨率，和JPEG壓縮圖像還原等。圖像修復不僅是單一的底層圖像恢復問題，也同時作為許多高層圖像語義研究的突破口，成為了圖像理解任務不可分割的部分。科學研究人員已經漸漸意識到以上問題的重要性并不斷深入分析。近幾年，基于深度神經網絡，特別是深度卷積神經網絡的方法廣泛應用于許多計算機視覺和模式識別任務，在許多高層圖像理解任務，如圖像分類，圖像分割等問題上取得令人矚目的效果，但在底層圖像分析和修復領域，仍有許多研究點尚未涉及，因此在該領域仍有巨大的突破空間。基于卷積神經網絡的圖像修復方法的研究，已成為當前相關領域研究的的熱點，對積極推進社會信息化起到重要作用。在創造了無可替代的社會價值的同時，該領域仍有許多關鍵技術問題尚未解決，仍有許多功能實現需要進一步完善，因此，如何利用深度卷積神經網絡，更有效地學習修復受損圖像，并加深對圖像數據的理解，以更靈活地實現計算機視覺的研究，具有深遠的意義。

發明內容

發明目的：本發明所要解決的技術問題是針對現有技術的不足，提供一種基于帶跨層連接的卷積神經網絡的圖像修復方法，通過在海量受損-清晰圖像數據中訓練卷積神經網絡模型，最終提高圖像修復的效果。

為了解決上述技術問題，本發明公開了一種基于帶跨層連接的卷積神經網絡(Convolutional Neural Network，CNN)的圖像修復方法，包含如下步驟：

步驟1，圖像預處理，采集無損圖像數據，對每張圖像做隨機采樣得到無損圖像集合Y；

步驟2，生成訓練集和驗證集：根據要解決的圖像修復任務，對無損圖像集合Y中的圖像進行破壞，得到破壞后的圖像集X，在(X,Y)中隨機取出90％作為訓練集(X_train,Y_train)，另外10％作為驗證集(X_val,Y_val)；

步驟3，構建神經網絡：根據輸入圖像大小構建卷積神經網絡，設網絡總深度為D層，D為偶數，其中前D/2層為卷積層，后D/2層為反卷積層，卷積核大小為3x3，步長為1，輸入為破壞后的圖像集X中的圖像，輸出為網絡恢復后圖像；