[發明專利]基于zynq平臺的高并行度、低延時的圖像縮放及其裁剪的處理方法

在審

• 申請號: 202010908114.1
• 申請日: 2020-09-02
• 公開（公告）號: CN112017107A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 趙凡;趙不賄
• 申請（專利權）人: 鎮江芯智慧電子科技有限公司
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06T1/60;G06T3/40
• 代理公司: 南京申云知識產權代理事務所(普通合伙) 32274
• 代理人: 王云

1.一種基于zynq平臺的高并行度、低延時的圖像縮放及其裁剪的處理方法，其特征在于，將最近鄰插值、雙線性插值、雙三次插值算法三種插值模式的縮放算法和圖像裁剪應用在FPGA芯片中，包括如下步驟：

zynq的軟件處理系統PS用來獲取圖像的像素值，將圖像存入FPGA的片外存儲器DDR中，并配置可編程邏輯PL側縮放模塊所需的參數和裁剪的相關寄存器，內存映射MMIO寫入相應的地址內；

zynq的可編程邏輯PL側的縮放坐標生成模塊會根據PS側配置不斷生成圖像的行首地址，可配置的DMA模塊按照行首地址將側PS數據搬運回FPGA內部的buffer中，其中，每次搬運的行數是由插值算法的模式決定的；

zynq的PL側主要負責圖像數據的運算通路，數據從DDR進入到FPGA后，將像素值存入到片內緩存中，縮放模塊讀出緩存中的數據進入縮放函數計算模塊；

zynq的PL側計算完所有的像素值后，將所有像素值返傳回PS的DDR中。

2.根據權利要求1所述的基于zynq平臺的高并行度、低延時的圖像縮放及其裁剪的處理方法，其特征在于，所述配置可編程邏輯PL側縮放模塊所需的參數和裁剪的相關寄存器，包括縮放前的原圖的寬度、高度，縮放后的寬度、高度和縮放的插值模式包括最近鄰插值、雙線性插值、雙三次插值，以及配置裁剪的上下左右四個頂點的坐標；完成配置后，利用MMIO寫入到對應的地址中去，PS與PL的數據交互接口GP口可將這些參數傳入到FPGA內部，PL側即可完成整個系統的配置。

3.根據權利要求1所述的基于zynq平臺的高并行度、低延時的圖像縮放及其裁剪的處理方法，其特征在于，所述zynq的PL側的縮放坐標生成模塊，PL通過axi-slave總線接收到縮放前與縮放后的圖像寬度和高度后，立即計算得到縮放的比例，同時分模式計算目標圖像對應的原圖像的橫坐標與縱坐標，將所述的橫坐標軸與縱坐標軸上坐標的值存入到buffer內。

4.根據權利要求1所述的基于zynq平臺的高并行度、低延時的圖像縮放及其裁剪的處理方法，其特征在于，所述可配置的DMA模塊，作為以AXI總線協議與zynq的PS側進行交互的模塊，DMA每次的數據突發長度與字節數采用芯片最大支持的突發長度與字節數，對于最鄰近插值模式和雙線性插值模式實行每兩行更新讀地址通道的偏移地址，對于雙三次插值模式實行每三行更新一次，每次DMA在更新完偏移地址后，將和PS側圖像的首地址相加得到目標圖像所對應的原圖像的行地址，對應于不同的插值模式以每兩行或三行為單位讀取片外存儲單元的圖像數據，單位內的數據不能整除時,將會在最后一次突發時，減小突發的長度，數據的字節數不滿足最小傳輸字節數時，將會多讀取額外地址的數據，保證滿足AXI支持的數據位寬最小的字節數，讀取完畢后，會對多余的數據進行截取，所有讀取的有效圖像數據將會存入到片內的buffer，buffer中的數據在被讀出后將會產生使能信號用來指示DMA進行下個單位的數據讀取，DMA的寫通道也將以讀通道的方式寫回到片外存儲單元。

5.根據權利要求1所述的基于zynq平臺的高并行度、低延時的圖像縮放及其裁剪的處理方法，其特征在于，所述的片內緩存，對于最鄰近插值和雙線性插值，使用片內兩塊RAM來同時存儲兩行數據,當DMA模塊接收到數據時，立即存入到FPGA的兩塊RAM中，此時不對數據進行處理，當數據的第二行開始存入到RAM時，圖像緩存模塊立刻拉高使能信號，讀出存入到buffer中的坐標值，根據坐標值可在一個時鐘下分別讀出第一塊RAM的左上角坐標的像素值和第二塊RAM的右上角坐標的像素值，當數據的第三行開始覆蓋掉RAM第一行的數據時，此時讀出第二行的左下角和右下角坐標的像素值，如此反復，直至將所有有效像素值讀完，對于雙三次插值，使用四塊RAM來同時存儲四行數據，將從第二行開始，在一個時鐘下分別讀取四塊RAM的第一行第一、二、三、四個地址，當buffer存儲第三行時，分別讀出原圖像第二行的像素值，當buffer存儲第四行時，分別讀出所求坐標附近的第三行的四個像素值，當buffer存儲第五行時，求出所求坐標附近的第四行的四個像素值，如此反復，直至將所有有效像素值讀完。

6.根據權利要求1所述的基于zynq平臺的高并行度、低延時的圖像縮放及其裁剪的處理方法，其特征在于，所述縮放函數計算模塊進行并行的縮放算法計算,當從片內緩存中讀出像素值后，對于最鄰近插值和雙線性插值算法，可以同時計算兩個像素值，其中彩色圖像的每個像素值又有RGB三個通道，則在一個時鐘下，可實現6個通道的計算，而對于雙三次插值算法，可同時計算4個像素值，同樣是彩色圖像，則在一個時鐘下，可實現12個通道的計算。