[發明專利]一種基于AMP網絡的輕量化圖像重構方法

在審

• 申請號: 202211625754.7
• 申請日: 2022-12-16
• 公開（公告）號: CN115953289A
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 張軍;郭智景
• 申請（專利權）人: 廣東工業大學;人工智能與數字經濟廣東省實驗室（廣州）
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 高棋

本發明公開了一種基于AMP網絡的輕量化圖像重構方法、系統及計算機可讀存儲介質，方法包括以下步驟：S1：獲取二維圖像，將二維圖像通過分塊函數分割成預設個數、尺寸固定的圖像子塊，將圖像子塊轉換為一維向量信號；S2：構建輕量化AMP網絡，所述輕量化AMP網絡包括依次相連的采樣框架、初始化模塊以及多層重構塊；S3：將一維向量信號輸入至輕量化AMP網絡輸出重構后的圖像。本發明通過構建輕量化AMP網絡，在多層重構塊引入全圖卷積來充分利用圖像全局信息，從而去除偽影，從而不需要引入額外的去偽影模塊，使得在重構質量相當甚至更優的前提下大幅度降低重構時間和模型參數量，降低了圖像重構所需的資源和時間。

技術領域

本發明涉及圖像重構技術領域，更具體地，涉及一種基于AMP網絡的輕量化圖像重構方法及系統、計算機可讀存儲介質。

背景技術

隨著互聯網的飛速發展，高清圖片、視頻、動圖等大容量的非結構化數據廣泛出現，加上人們對圖像質量效果的不斷追求，在傳輸的過程中就會對信道帶寬、處理速度以及內存資源占用帶來極高的要求，而圖像壓縮感知(Compressive?image?sensing，CIS)是一種能夠以超低采樣率對圖像信號采樣并重構的技術，得益于其簡單的編碼機制，CIS通常用在資源受限的場景下進行圖像信息采集和數據壓縮，但對于解碼端而言，隨著移動應用的快速發展，越來越多的資源受限場景要求圖像重構所需的資源和時間盡可能少，因此我們就需要在不犧牲重構質量的前提下，盡可能降低重構算法的復雜度、模型規模以及重構時間。

壓縮感知(Compressive?sensing，CS)是指以超低采樣率對信號進行壓縮采樣并重構的信號處理技術，2006年Candès、Romberg、Tao及Donoho等人指出，當一個信號具有稀疏表示時，那么它可以通過一系列線性的、非自適應的觀測值精確重建。對于K階段稀疏信號x∈R^N，在編碼端中我們可以利用一個線性映射y＝Φx對信號同時實現壓縮和采樣，獲得觀測值y∈R^N，其中Φ∈R^M×N(M＜＜N)為采樣矩陣。然后我們可以將極短的觀測值y傳輸到解碼端，解碼端獲取到y后，就可以通過相應的算法精確重構出x。

盡管自然圖像信號并不是稀疏的，但我們可以對圖像信號進行小波變換以獲得信號的近似系數表示。小波變換可以將圖像信號轉化為高頻和低頻部分，低頻部分給出了圖像的一個粗略尺度近似，而高頻部分填充了圖像的細節，當我們計算一幅自然圖像的小波系數時，大多數的系數是非常小的，因此我們就可以將小系數部分設為零，就可以得到圖像的近似表示。因此對于一幅自然圖像信號s∈R^N，通過采樣矩陣Φ∈R^M×N進行壓縮采樣y＝Φs獲得測量值y∈R^M，此時我們就可以利用y重構出圖像的近似稀疏表示x∈R^N，通過小波逆變換重構出圖像信號，其中Ψ∈R^N×N為小波逆變換矩陣。

現有的方案主要可以分為兩類，第一類是非迭代神經網絡(Non-iterativeneural?network)，該類方案首先搭建一個初始神經網絡來讓y映射到x，然后利用了深度學習(Deep?learning，DL)強大的學習能力，通過大量的數據訓練出優質的神經網絡以及更優的采樣矩陣，這類方案的重構速度快，且圖像重構質量高，但由于該類方案在訓練過程中將神經網絡視為“黑盒子”，因此該類方案的數學解釋性弱，并且需要足量的數據用于訓練。第二類是深度非折疊算法(deep?unfolding?methods)，該類方案把傳統的壓縮感知迭代算法展開成一個神經網絡的形式，不僅具有傳統迭代算法的強數學解釋性的優點，還能繼承神經網絡優秀的學習能力，利用訓練數據來獲得速度快、重構質量高的信號重構模型。