[發明專利]基于卷積神經網絡的任意尺度自適應壓縮感知重建方法

在審

• 申請號: 202011342246.9
• 申請日: 2020-11-26
• 公開（公告）號: CN114549676A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 胡雪梅;邱晨曦;岳濤
• 申請（專利權）人: 南京大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 江蘇法德東恒律師事務所 32305
• 代理人: 李媛媛

本發明涉及一種基于卷積神經網絡的任意尺度自適應壓縮感知重建方法。其步驟為：(1)使用線性全卷積神經網絡對輸入圖像進行壓縮測量；(2)使用全卷積神經網絡對測量結果進行重建，得到初始的重建結果；(3)將重建結果輸入到基于卷積神經網絡的注意力模塊，得到注意力圖；(4)將注意力圖與輸入圖像點乘，得到調制后的輸入圖像；(5)使用線性全卷積神經網絡對調制后的輸入圖像進行壓縮測量；(6)使用全卷積神經網絡對測量結果進行重建，并與之前的重建結果相加，得到新的重建結果；(7)重復步驟(3)～(6)，得到目標壓縮率下的重建結果。本發明能夠處理任意尺度的輸入圖像并實現多種采樣率，提高了網絡的魯棒性和壓縮測量的效率。

技術領域

本發明屬于圖像處理領域，尤其涉及針對任意尺度輸入圖像的自適應壓縮感知重建領域。

背景技術

壓縮感知(Compressive sensing)理論是21世紀提出的新采樣理論，其能夠在原始信號滿足稀疏性的條件下，以遠低于奈奎斯特采樣率對原始信號進行采樣，并精確地恢復原始信號，有效地降低了采集端的數據量，將計算負荷轉移到了后端。其數學模型為：y＝ψx，其中x∈R^N，為N維原始信號，ψ∈R^M×N為M×N維測量矩陣，y∈R^M為M維測量結果，其中M＜＜N。

通常獨立同分布的高斯隨機測量矩陣可以成為普適的壓縮感知測量矩陣，但是如果原始信號x的維度比較高，會導致測量矩陣過大，帶來存儲壓力。因此，在實踐中通常會對輸入圖像進行分塊處理，來減少存儲壓力，但是會帶來明顯的塊狀效應。由于卷積可以展開表示為傳統乘法的形式，因此近些年隨著深度學習的發展，有科研人員嘗試用線性全卷積神經網絡來代替傳統的測量矩陣，使用全卷積網絡作為測量矩陣的好處是可以針對任意尺度的輸入進行處理，不用再對圖像進行分塊。

自適應壓縮感知是提高采樣效率的一個途徑，傳統的自適應壓縮感知使用人工設計的不同的掩膜對輸入圖像進行調制，其本質依然是一種固定模式測量的方法。在深度學習中，注意力機制最先在自然語言處理中被提出，后來科研人員將其引入到圖像處理的領域，并取得了不錯的結果。但目前還沒有將注意力機制引入到壓縮感知這個領域的方法。。

對圖像壓縮測量后，需要對測量的結果進行重建。傳統的重建算法面臨著計算開銷大、復雜度高和重建速度慢等問題。深度學習的出現大大提升了重建效率和質量，而現有的基于卷積神經網絡的重建方法需要針對不同的采樣率訓練不同的網絡，大大增加了算法的復雜性，降低了算法的可實用性。

發明內容

針對以上現有的壓縮感知重建方法存在的問題，本發明的目的在于提出一種針對任意尺度輸入圖像的自適應壓縮感知重建方法。

為達到上述目的，本發明采用的計算方案如下：

基于卷積神經網絡的任意尺度自適應壓縮感知重建方法，包括以下步驟：

步驟1，使用基于線性全卷積神經網絡ψ₁對輸入圖像I進行壓縮測量，得到測量結果y₁；

步驟2，使用全卷積神經網絡F₁對測量結果y₁進行重建，得到初始的重建結果r₁；

步驟3，將重建結果r₁輸入到基于卷積神經網絡的注意力模塊T₁，得到注意力圖A₁；

步驟4，將注意力圖A₁與輸入圖像I進行點乘，得到調制后的輸入圖像I₁；

步驟5，使用線性全卷積神經網絡ψ₂對調制后的輸入圖像I₁進行壓縮測量，得到測量結果y₂；