[發明專利]一種實現圖像尺寸放大的上采樣裝置及其方法

有效

• 申請號: 202111168017.4
• 申請日: 2021-09-30
• 公開（公告）號: CN113933111B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 潘紅兵;張子杰;彭成磊;梅正宇;王宇宣
• 申請（專利權）人: 南京大學
• 主分類號: G01N1/18
• 分類號: G01N1/18
• 代理公司: 江蘇法德東恒律師事務所 32305
• 代理人: 李媛媛

本發明提供了一種實現圖像尺寸放大的上采樣裝置及其方法。其裝置包括數據存儲單元、數據傳輸單元、數據接收單元、卷積運算單元、讀控制單元和寫控制單元。本發明提供的實現圖像上采樣的方法，可以對不同尺寸圖像、不同類型的圖像進行處理，同時采用了流水化、模塊化的思想，通過對處理的圖像數據進行分塊處理，重復使用分塊中部分數據，例如分塊的某一行及某一列，以避免卷積操作造成的圖像的信息損失，提升了圖像上采樣的效果，也減少了硬件資源的開銷。

技術領域

本發明涉及一種針對圖像處理中實現尺寸放大的上采樣裝置和方法，屬于圖像處理技術領域。

背景技術

在圖像處理算法中，需要在不損失圖像信息的情況下，將現有圖像縮放至合適尺寸，其中放大圖像以將其顯示在更高分辨率的顯示設備上的操作就是上采樣。圖像上采樣的方法包括線性插值、反卷積(transposed convolution，其實也是一種特殊的正向卷積)、反池化(unpooling)等，通過將輸入圖像進行補零，來擴大圖像尺寸，接著與特定卷積核進行卷積，從而達到還原原來圖像尺寸的目的。

具體而言，線性插值分為最近鄰插值算法、雙線性插值、雙三次插值算法，最近鄰插值即在像素點周圍插上與該像素點灰度完全相同的像素，采用該方法的缺點在于容易在圖像上產生馬賽克塊，成像效果不佳，優點是計算量小，處理速度快；雙線性插值是將圖像的橫向和縱向看作x軸和y軸，在x軸和y軸方向依次做線性變換，經過兩次線性變換之后，在待插像素點處插入所求像素值，優點在于處理速度居中，效果也優于最近鄰插值，但是會使得圖像的細節產生退化；雙三次插值，通過對距離待求像素點最近的十六個采樣點的值做加權平均，優點在于圖像處理效果最佳，但是處理速度也最慢，計算復雜度高。

另外就是基于深度學習的方法，轉置卷積對于輸入數據只是執行了常規的卷積操作，但是可以重建圖像先前的空間分辨率，可以實現圖像的粗粒化效果，且參數可學習，很適合用于編解碼器中；反池化的做法比較簡單，分為反平均池化和反最大池化，反平均池化就是將平均池化操作所生成的平均值補位到待求像素點處，反最大池化就是在最大池化像素點處保留像素值，在待求像素點處補零，由于反池化操作只能通過補位來實現信息的相對完整，所以是會存在圖像信息丟失的問題。

發明內容

為了能夠在較小的硬件開銷下，更好地實現圖像像素尺寸的還原，本發明對圖像處理的具體過程和方法進行了一定的優化，減少圖像的搬運重疊，并為之提出了一種具體的裝置和方法。

本發明裝置采用的技術方案如下：

一種實現圖像尺寸放大的上采樣裝置，包括：總控制單元，用于協調控制不同單元的工作時序；

讀控制單元，用于配置圖像數據存儲的起始地址和突發傳輸長度，并采用分塊讀取的策略從數據存儲單元讀取數據；

寫控制單元，用于配置數據寫入數據存儲單元的地址信息和傳輸長度，并將卷積運算單元的運算結果數據寫入數據存儲單元；

數據傳輸單元，用于傳輸數據；

數據存儲單元，用于存儲待處理的圖像數據，以及接受卷積運算單元的運算結果；

數據接收單元，用于接收數據傳輸單元的數據，并對輸入的圖像數據進行插零和補零操作；

卷積運算單元，用于讀取數據接收單元經插零和補零操作后的圖像數據，并進行卷積運算。

進一步地，所述數據傳輸單元采用FIFO。

進一步地，所述數據存儲單元采用DRAM存儲器，當讀控制單元發起讀數據請求時，數據存儲單元將需要送出的數據經由數據傳輸單元傳輸至數據接收單元，當寫控制單元發起寫數據請求時，數據存儲單元將卷積運算單元的運算結果寫入數據存儲單元。