[發明專利]一種基于卷積神經網絡的圖像縮小方法及系統

有效

• 申請號: 202010563256.9
• 申請日: 2020-06-19
• 公開（公告）號: CN111724306B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 牛玉貞;鐘夢真;林家祺;劉文犀
• 申請（專利權）人: 福州大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08;G06K9/62;G06V10/774
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

本發明涉及一種基于卷積神經網絡的圖像縮小方法及系統，首先對原始高分辨率訓練圖像進行預處理，得到原始高分辨率訓練圖像塊組成的圖像塊數據集；然后設計圖像縮小教師網絡，并使用圖像塊數據集訓練該網絡；接著設計圖像縮小學生網絡，保持訓練好的圖像縮小教師網絡的參數、權重不變，訓練圖像縮小學生網絡；最后將原始高分辨率的測試圖像輸入到訓練好的圖像縮小學生網絡，預測其縮小后的圖像。本發明能夠提高圖像縮小后小圖的質量。

技術領域

本發明涉及圖像和視頻處理技術領域，特別是一種基于卷積神經網絡的圖像縮小方法及系統。

背景技術

圖像縮小是數字圖像處理中的一個重要課題。隨著計算機技術、多媒體技術以及網絡通訊技術的快速發展，數字圖像處理的相關技術被廣泛地應用于人類社會生活的各個方面。視覺是人類獲取外界信息的主要途徑之一。最近幾年來移動互聯網的快速發展，越來越多用戶在移動設備上觀看圖像，不同設備上的顯示窗口大小也各不相同，如何在保證直觀效果的同時，盡可能高效地將圖像縮小到合適的尺寸是數字圖像處理的關鍵性問題之一。

早期提出的基于插值的方法，雖然可以直接將圖像縮小到合適的尺寸，但是由于插值算法較為簡單，圖像在經過縮小后經常存在模糊、過度平滑的現象，進而影響到人眼直觀感受，且這類方法依賴統計出來的圖像先驗，因此效果較差。

目前先進的方法都是基于卷積神經網絡，強大的特征表示及端到端的訓練過程使得卷積神經網絡能夠重建出高質量的小圖。但現有的方法都是在圖像縮小的卷積神經網絡后接上一個圖像超分辨率網絡來進行端到端的訓練，導致生成的小圖質量無法得到保證。

發明內容

有鑒于此，本發明的目的是提出一種基于卷積神經網絡的圖像縮小方法及系統，能夠提高圖像縮小后小圖的質量。

本發明采用以下方案實現：一種基于卷積神經網絡的圖像縮小方法，具體包括以下步驟：

對原始高分辨率訓練圖像進行預處理，得到原始高分辨率訓練圖像塊組成的圖像塊數據集；

設計圖像縮小教師網絡，并使用圖像塊數據集訓練該網絡；

設計圖像縮小學生網絡，保持訓練好的圖像縮小教師網絡的參數、權重不變，訓練圖像縮小學生網絡；

將原始高分辨率的測試圖像輸入到訓練好的圖像縮小學生網絡，預測其縮小后的圖像。

本發明使用逆亞像素卷積，將圖像無損地按比例縮小為特征并利用通道注意力密集殘差塊有效地提取出縮小后特征的信息，再利用知識蒸餾的思路，充分發揮卷積神經網絡的擬合能力，對比現有的圖像縮小模型，該方法能顯著提高圖像縮小的性能。

進一步地，所述對原始高分辨率訓練圖像進行預處理，得到原始高分辨率訓練圖像塊組成的圖像塊數據集具體包括以下步驟：

將原始高分辨率圖像進行無重疊的切塊，得到原始高分辨率訓練圖像塊；

將得到的圖像塊進行旋轉和翻轉，得到用于訓練的圖像塊數據集。其中，旋轉角度包括順時針旋轉90°，180°，和270°，翻轉包括水平翻轉和垂直翻轉。

進一步地，所述設計圖像縮小教師網絡，并使用圖像塊數據集訓練該網絡具體包括以下步驟：

將高分辨率訓練圖像塊隨機分成一個以上的批次，每個批次包含N個圖像塊；

將每個批次的圖像塊分別輸入到圖像縮小教師網絡，得到各個圖像塊的圖像縮小預測結果；

根據圖像縮小教師網絡的目標損失函數loss，利用反向傳播方法計算所述圖像縮小教師網絡中各參數的梯度，并利用隨機梯度下降方法更新參數；

以批次為單位重復進行上述步驟直至得到的損失函數值收斂到預設的閾值或達到迭代次數閾值，保存網絡參數，完成圖像縮小教師網絡的訓練過程。