[發明專利]基于zynq平臺的高并行度、低延時的圖像縮放及其裁剪的處理方法

在審

• 申請號: 202010908114.1
• 申請日: 2020-09-02
• 公開（公告）號: CN112017107A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 趙凡;趙不賄
• 申請（專利權）人: 鎮江芯智慧電子科技有限公司
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06T1/60;G06T3/40
• 代理公司: 南京申云知識產權代理事務所(普通合伙) 32274
• 代理人: 王云

本發明公開了一種基于zynq平臺的高并行度、低延時的圖像縮放及其裁剪的處理方法，該方法包括，zynq的PS側獲取原圖像數據，并可設置包括最鄰近插值、雙線性插值、雙三次插值模式的縮放算法以及圖像裁剪的區域，PL側根據不同的插值模式采用對應傳輸方法，利用多級的緩存將每行的像素點與其對應的系數相乘，實現了高度并行流水。本發明主要可應用在神經網絡的圖像預處理階段中網絡模型對于圖像大小的要求，對于研究FPGA實現卷積神經網絡的系統設計具有一定的實用性，同時可減少乘法器的使用和片上buffer資源緊張的問題，具有實時性、低功耗的特點。

技術領域

本發明涉及圖像處理領域，具體指的是一種基于zynq高并行度、低延時的多種插值模式圖像縮放及其裁剪的處理方法。

背景技術

隨著人工智能的火熱，FPGA在其領域的應用越來越廣泛，其中利用zynq平臺實現深度學習算法已是如今的熱門。目前，基于FPGA的平臺已經開發了不少神經網絡模型。而對于不同的網絡模型，要求的輸入圖像的大小也是不同的，圖像的品質對整個算法的結果有一定影響。除此之外，在深度學習算法的訓練過程中，需要對圖像進行一些隨機裁剪來減小背景因子的權重，增加模型穩定性。為了進一步實現深度學習算法的整個系統設計的部署和提高其運行速度，需要高并行度、低延時的圖像縮放及其裁剪的處理方法。

圖像縮放的基本原理是將原圖的像素值按照一定的規則計算目標圖像的像素值，而對于如何選取原圖像的像素值則受到插值方法的影響。一般情況下，縮放的插值模式有最鄰近插值、雙線性插值、雙三次線性插值等。不同的插值模式會產生不同效果，其中，最鄰近插值是最簡單的插值方法，它的計算量很小，運算速度最快，硬件很容易實現，但因沒考慮相鄰像素值的影響，會導致圖像失真。雙線性插值是目前圖像處理中最常用的插值方法，在這種方法中，通過像素點附近的最鄰近的四個像素點按一定的權重求出最終的像素值，它的計算量也不大，硬件實現并不復雜，但是圖像的細節會有損失。雙三次線性插值相交于以上兩種插值有較好的效果，它是通過目標圖像坐標求出對應與原圖像的浮點坐標，將周圍距離最近的十六個像素點乘以相應的權重，從而計算最終的像素值。因此，它的計算量也是最大的。

圖像的裁剪和圖像的縮放有一定的相似性，一般情況下，縮放是對整幅圖像進行放大或縮小，而裁剪是對指定區域進行剪切，兩者都是改變了原圖和目標圖像的大小。對于某些特定情況，裁剪完的圖像由于尺寸改變，會再進行縮放以達到要求圖像的大小。

發明內容

本發明是為了解決FPGA實現深度學習的預處理階段圖像大小不滿足模型要求的問題，提出了一種基于zynq高并行度、低延時的多種插值模式圖像縮放及其裁剪的處理方法。

本發明將最近鄰插值、雙線性插值、雙三次插值算法三種插值模式的縮放算法和圖像裁剪應用在FPGA芯片中，包括如下步驟：

zynq的軟件處理系統PS用來獲取圖像的像素值，將圖像存入FPGA的片外存儲器DDR中，并配置可編程邏輯PL側縮放模塊所需的參數和裁剪的相關寄存器，內存映射MMIO寫入相應的地址內；

zynq的可編程邏輯PL側的縮放坐標生成模塊會根據PS側配置不斷生成圖像的行首地址，可配置的DMA模塊按照行首地址將側PS數據搬運回FPGA內部的buffer中，其中，每次搬運的行數是由插值算法的模式決定的；

zynq的PL側主要負責圖像數據的運算通路，數據從DDR進入到FPGA后，將像素值存入到片內緩存中，縮放模塊讀出緩存中的數據進入縮放函數計算模塊；

zynq的PL側計算完所有的像素值后，將所有像素值返傳回PS的DDR中。