[發(fā)明專利]一種便攜式圖像超分辨系統(tǒng)及系統(tǒng)構建方法

有效

• 申請?zhí)枺?/td>: 202011376766.1
• 申請日: 2020-11-30
• 公開（公告）號: CN112581366B
• 公開（公告）日: 2022-05-20
• 發(fā)明（設計）人: 劉明亮;王曉航
• 申請（專利權）人: 黑龍江大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N5/04
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 劉景祥

本發(fā)明公開了一種便攜式圖像超分辨系統(tǒng)及系統(tǒng)構建方法。所述PL硬件層負責構建DPU IP核、用于神經網絡的推理、并對該推理過程加速；所述PS嵌入式Linux系統(tǒng)層負責讀取和保存圖片、對DPU的任務進行調度及對神經網絡輸出進行亞像素卷積操作、與上位機進行通信；所述客戶端應用層面向用戶，通過簡單地操作由用戶指定需要進行超分辨率的圖片、獲取輸出的高分辨率圖像及修改參數(shù)。實現(xiàn)了圖像超分辨率的卷積神經網絡在ZYNQ嵌入式平臺上的部署，成功的對網絡推理進行加速并得到了好地輸出結果。

技術領域

本發(fā)明屬于圖像領域；具體涉及一種便攜式圖像超分辨系統(tǒng)及系統(tǒng)構建方法。

背景技術

圖像超分辨率(SR)問題是計算機視覺領域的經典問題，其目的是從低分辨率(LR)圖像重建恢復高分辨率(HR)圖像。各種SR方法已廣泛應用于工業(yè)、安全和醫(yī)療，同時在社交娛樂領域也展現(xiàn)出了非常好的前景。因此，圖像超分辨率算問題引起了計算機視覺領域許多優(yōu)秀學者的密切關注，并提出了許多優(yōu)秀的圖像超分辨率算法。

早期SR方法主要是基于圖像插值的方法，例如最近鄰插值，雙線性插值和雙三次插值。圖像插值算法通常是通過對低分辨率圖像插入新的像素點來生成高分辨率圖像，該像素是對低分辨率圖像的相鄰像素值進行加權平均后得出的。一些更加有效的方法是利用統(tǒng)計到的圖像先驗信息來進行超分辨率處理，這些方法可以獲得更多的圖像細節(jié)，但同時也需要更多先驗知識。

近年來，許多基于機器學習的超分辨率方法被相繼提出，例如SRCNN，該方法首次成功地將神經網絡技術引入了超分辨率問題。該方法使用了網絡的輕量級結構，但是獲得了比當時最先進的方法更高的結果質量。FSRCNN使用1x1卷積來擴展和縮小特征圖的數(shù)量，且不同于SRCNN，不是將插值后的偽高分辨率圖輸入到網絡中，該方法通過反卷積層放大圖像，大大降低了訓練與推理的時間成本。ESPCN提出了一種亞像素卷積的新上采樣方法，同樣降低了訓練與推理的時間成本，并得到了更好的質量的輸出結果。

盡管現(xiàn)有的基于機器學習的方法取得了非常出色的成績，但它仍然存在以下缺陷：(1)傳統(tǒng)網絡模型的參數(shù)量與計算量龐大，計算所消耗的時間與功耗均不理想，同時這也限制了其在嵌入式平臺上的應用(2)由于為了取得更好的輸出質量，傳統(tǒng)網絡通常更傾向于增加網絡深度與寬度，這就導致其訓練與部署困難(3)由于網絡訓練階段要求的數(shù)據(jù)精度較高，因而采用float32或float64的數(shù)據(jù)格式，而網絡的推理階段使用高精度數(shù)據(jù)帶來的輸出質量提升十分微弱。

發(fā)明內容

本發(fā)明提供了一種便攜式圖像超分辨系統(tǒng)及系統(tǒng)構建方法，實現(xiàn)了圖像超分辨率的卷積神經網絡在ZYNQ嵌入式平臺上的部署，成功的對網絡推理進行加速并得到了好地輸出結果。

本發(fā)明通過以下技術方案實現(xiàn)：

一種便攜式圖像超分辨系統(tǒng)，所述系統(tǒng)包括PL硬件層、PS嵌入式Linux系統(tǒng)層和客戶端應用層，所述PL硬件層負責構建DPU IP核、用于神經網絡的推理、并對該推理過程加速；所述PS嵌入式Linux系統(tǒng)層負責讀取和保存圖片、對DPU的任務進行調度及對神經網絡輸出進行亞像素卷積操作、與上位機進行通信；所述客戶端應用層面向用戶，通過簡單地操作由用戶指定需要進行超分辨率的圖片、獲取輸出的高分辨率圖像及修改參數(shù)。

一種便攜式圖像超分辨系統(tǒng)的系統(tǒng)構建方法，所述系統(tǒng)構建方法包括構建PL端邏輯的步驟、進行嵌入式Linux定制與移植的步驟、卷積神經網路模型的設計訓練與部署的步驟、構建下位機的控制的步驟與構建DPU網絡加速推理的步驟。

進一步的，所述構建PL端邏輯的步驟具體為，

步驟S2.1：DPU IP核的集成與連接；所述DPU IP核采用低RAM消耗的模式，DSP切片消耗模式設置為高，且不使用深度方向卷積；DSP切片的工作頻率需固定為DPU工作頻率的兩倍；

步驟S2.2：按照開發(fā)板原理圖對ZYNQ核進行配置。