[發明專利]高效低延時的HEVC編碼器數據緩存與處理方法

在審

• 申請號: 202211277789.6
• 申請日: 2022-10-19
• 公開（公告）號: CN115695806A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 陳志峰;陳業旺;吳林煌;鐘昌標
• 申請（專利權）人: 福州時芯科技有限公司
• 主分類號: H04N19/176
• 分類號: H04N19/176;H04N19/423;H04N19/503;H04N19/186
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 丘鴻超;蔡學俊

本發明提出一種高效低延時的HEVC編碼器數據緩存與處理方法，目的是為了使H.265/HEVC硬編碼器能盡可能降低編碼延時，同時減少因越來越高視頻質量帶來日益劇增的存儲空間、數據帶寬壓力，提出一種高效率的編碼數據存取方案。實現了自適應輸入視頻分辨率，從而控制數據緩存與重構圖像邊緣填充寬度；實現了搜索框重構像素的滑動窗讀取，降低了DDR4帶寬需求與數據讀取延時；通過合理控制每次讀寫DDR4的突發長度，以的CTU塊為單位儲存數據，減少DDR4換行或切換bank，從而進一步提高存儲系統的效率。

技術領域

本發明屬于視頻編解碼技術技術領域，尤其涉及一種高效低延時的HEVC編碼器數據緩存與處理方法，特別是一種針對異構FPGA的HEVC視頻編碼數據高效存取方案。

背景技術

高效視頻編碼標準——H.265/HEVC(High Efficiency Video Coding)在相同視頻壓縮質量情況下，比上一代編碼標準H.264提高了約50％的編碼效率，但同時H.265相對H.264也增加了復雜度^[1]。H.265硬編碼器要壓縮編碼超高清視頻還需要解決一個重要的問題：如何滿足其成倍增加的數據吞吐量，同時盡可能降低存取延時、減少存儲帶寬壓力。由于H.265標準中可在8×8至64×64范圍內動態劃分CTU，支持33種幀內預測模式^[3]，這更增加了對內存空間訪問的需求。

為了盡可能降低編碼延時與存儲帶寬，現有技術提出了多種解決方案，例如：(1)將新型的非易失性存儲器，如ReRAM、STT-RAM等與DRAM組成分層內存結構，有效地節約了總體存儲器面積、降低了編碼數據存取功耗。但該方案中DRAM與非易失性存儲器需要不同的存儲控制器管理對內存的訪問，這無疑增加了硬件成本^[4]。該方案把編碼過程中的去方塊濾波、亮度色度預測所需數據分為獨立的數據存取事件處理，增加了DDR的訪問次數，無法使訪問存儲器的效率得到進一步提升。(2)采用FPGA拓展的PCIe接口接收待編碼的視頻數據，然后緩存至DDR中，再利用SRIO(Serial RapidIO)接口將FPGA預處理后的數據送至DSP芯片中，在DSP芯片上完成HEVC壓縮編碼^[5]。該方案硬件成本高，使用多個接口連接不同硬件電路增加了系統的不穩定性，也增大了視頻編碼延時，傳輸帶寬利用率不高。(3)設計一種DDR-BRAM-LUT三級物理存儲結構，使用DDR進行幀緩存、用BRAM行緩存、用LUT緩存參考像素^[6]。這在一定程度上緩解了片外存儲器的帶寬壓力，但沒有考慮CTU在內存中的存儲安排與DDR訪問效率的關系，數據存取效率不高。

參考文獻

[1]J.Vanne,M.Viitanen,T.D.Hamalainen,A.Hallapuro,“Comparative Rate-Distortion-Complexity Analysis of HEVC and AVC Video Codecs”，IEEE Trans.onCAS for Video Technology,vol.22,no.12,pp.1885-1898,Dec.2012.

[2]Bouaafia,S.,Khemiri,R.,Messaoud,S.et al.Deep CNN Co-design forHEVC CU Partition Prediction on FPGA-SoC.Neural Process Lett(2022).https://doi.org/10.1007/s11063-022-10765-1

[3]Bouaafia,S.,Khemiri,R.,Messaoud,S.et al.Deep CNN Co-design forHEVC CU Partition Prediction on FPGA-SoC.Neural Process Lett(2022).

https://doi.org/10.1007/s11063-022-10765-1