[發明專利]超分辨率圖像重建方法及專用加速電路

有效

• 申請號: 201910095232.2
• 申請日: 2019-01-31
• 公開（公告）號: CN109886874B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 余寧梅;王永超;田典
• 申請（專利權）人: 西安理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T1/20;G06N3/08;G06N3/04
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 楊洲

1.超分辨率圖像的重建方法，其特征在于，包括以下步驟：

步驟1，第一層為輸入層，輸入一個低分辨圖像DL；

步驟2，第二至第六層為卷積層，低分辨率的圖像經過卷積層的卷積運算獲得一系列的特征圖，這些特征圖經過非線性映射成為高分辨率的圖像塊；

步驟2所述的卷積運算，卷積層是卷積神經網絡的核心組成部分，具有局部連接和權值共享特征，卷積運算可由下面公式來表示:

Fⁱ＝σ(W_c(i)*F^i-1+b_i),(1)

式中：Fⁱ代表第i個卷積層的輸出，F^i-1代表第i-1個卷積層的輸出，上一層的輸出作為下一層的輸入，W_c(i)代表第i個卷積層的權重；卷積權重對應的是一個數量為n、大小為fxf的濾波器組，n和f的值需要具體進行設置，*代表卷積操作，b_i代表第i層的偏置；其中，偏置的維數始終與該層卷積核的數量保持一致，σ代表激活函數，卷積操作可以很好的提取特征，通過BP的誤差反向傳播，可以根據不同任務，得到對于這個任務最好的一個參數，學習出相對于這個任務最好的卷積核；對于每個卷積層需要設置的幾個參數為:卷積核的大小、卷積核的數目(Number)、卷積操作的步長(stride)以及零填充(Pad)的大小；

步驟3，第七層為反卷積層，經過反卷積層的反卷積運算進一步提高圖像塊的分辨率；

步驟3所述的反卷積運算，過一個反卷積層實現了最終的重建過程，反卷積層在這里相當于上采樣操作，通過調整反卷積層的步長來實現對采樣因子的調整，采用相對較大的卷積核提升重建質量，該過程可以由下面公式來表示:

F＝σ(W_d·F⁵+B),(2)

其中F代表反卷積層的輸出，W_d代表反卷積層的權重參數，·代表反卷積操作，F⁶代表最后一個卷積層的輸出，B代表偏置，步長根據網絡采樣因子的大小進行相應的調整且始終大于1，若輸入反卷積層的圖像大小為I，反卷積層參數為:核的大小RxR、步長s，填充大小為p，經過反卷積之后的輸出圖像的大小為:o＝s(I-1)+R-2p，(4)；

步驟4，最終由第八層輸出重建的高分辨率的圖像DH。

2.用于如權利要求1所述的超分辨率圖像重建方法的專用加速電路，其特征在于，包括有網絡訓練服務器(1)，網絡訓練服務器(1)便攜圖像采集電路(2)的網絡結構參數存儲單元(3)相連；網絡結構參數存儲單元(3)通過網絡結構參數導入控制單元(4)與超分辨率芯片(5)的主存儲器(6)相連；主存儲器(6)的數據輸入端與CMOS攝像頭(7)相連。

3.根據權利要求2所述的用于超分辨率圖像重建方法的專用加速電路，其特征在于，所述的便攜圖像采集電路(2)包括有超分辨率芯片(5)；超分辨率芯片(5)包括主存儲器(6)，主存儲器(6)的輸出端與CPU8相連；主存儲器(6)的輸出端與取數控制單元(9)相連；主存儲器(6)的輸入端與寫數控制單元(10)相連；CPU(8)的輸出端分別與配置寄存器一(11)、配置寄存器二(12)、配置寄存器三(13)、配置寄存器四(14)、配置寄存器五(15)、配置寄存器六(16)相連；配置寄存器一(11)通過通路選擇器一與取數控制單元(9)的輸入輸出端端相連；取數控制單元(9)依次與卷積運算單元(17)、激活運算單元(18)、反卷積運算單元(19)、池化運算單元(20)、寫數控制單元(10)相連；配置寄存器二(12)通過通路選擇器二與卷積運算單元(17)相連；配置寄存器三(13)通過通路選擇器三與激活運算單元(18)相連；配置寄存器四(14)通過通路選擇器四與反卷積運算單元(19)；配置寄存器五(15)通過通路選擇器五與池化運算單元(20)相連；配置寄存器六(16)通過通路選擇器六與寫數控制單元(10)相連。

4.根據權利要求2所述的用于超分辨率圖像重建方法的專用加速電路，其特征在于，所述的配置寄存器一(11)、配置寄存器二(12)、配置寄存器三(13)、配置寄存器四(14)、配置寄存器五(15)、配置寄存器六(16)結構相同；配置寄存器一(11)由配置寄存器A和配置寄存器B組成。