[發明專利]基于HEVC核心模塊的并行解碼方法、裝置及介質

有效

• 申請號: 202011159992.4
• 申請日: 2020-10-27
• 公開（公告）號: CN112468821B
• 公開（公告）日: 2023-02-10
• 發明（設計）人: 胡棟;馬浩;李毅
• 申請（專利權）人: 南京郵電大學
• 主分類號: H04N19/44
• 分類號: H04N19/44;H04N19/70;H04N19/91;H04N19/96;H04N19/172;G06F9/50
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 錢玲玲

本發明公開了一種基于HEVC核心模塊融合的并行解碼方法、裝置及介質。本方法在熵解碼模塊，利用已有的幀級并行熵解碼方法；在環路濾波模塊，引入一種區域待濾波邊界估計方法及劃分方法，并利用緩存，實現基于多線程負載均衡的聯合并行環路濾波方法；在像素解碼重構模塊，利用幀內及幀間CTU之間的數據依賴關系，實現基于CTU的幀內/幀間融合并行方法；最后，在三個模塊之間，使用分級線程調度策略，并引入流水線并行技術，實現核心模塊融合的并行解碼方法。本方法充分利用了多核處理器的并行計算資源，提高了HEVC的實時解碼處理效率。

技術領域

本發明涉及數字視頻信號編碼解碼領域，具體涉及一種基于多核處理器平 臺的HEVC核心模塊融合的并行解碼方法。

背景技術

網絡傳輸和存儲技術的發展，也帶動了視頻應用的創新，同時工業生產和 人們日常生活中對2K高清及4K超高清視頻的需求日益廣泛，這些因素都使得 視頻壓縮技術面臨更大的挑戰。為了應對這些挑戰，2010年，JCT-VC(視頻編碼 聯合工作組)—由VCEG(視頻編碼專家組)和動態圖像專家組MPEG(動態圖像專 家組)組建—開始制定新的視頻編碼標準，并于2013年4月正式發布，即 H.265/HEVC。這個新的視頻編碼標準在繼承了之前標準的眾多優良特性基礎上 引入了創新技術，使得其能夠保證在編碼與H.264/AVC標準相同質量視頻的同 時，減少一半的碼率，但新技術的引入也使得H.265/HEVC標準運算的復雜度 相比于H.264/AVC大約提升了2到3倍。與此同時，高清、超高清視頻包含比 以往標清視頻更大規模的數據量，這些問題都給傳統單核處理器帶來了巨大壓 力。目前，單純依靠增加單核處理器的時鐘頻率來提升處理速度的方法已達到 極限，并且這種做法還會使得功耗變得更高。使用多核處理器技術成為解決上 述問題的重要途徑。

國內外的學者已經在多核處理器上結合視頻編解碼標準做出了一些研究。 國際上，在韓國學者Seunghyun Cho和HyunMi Kim發表在2015年的IEEE Transactions onmultimedia上的論文“Efficient In-Loop Filtering Across Tile Boundaries forMulti-Core HEVC Hardware Decoders with 4K/8K-UHD Video Applications”中，結合多核HEVC硬件解碼器提出了一種控制環路濾波的方法。 該方法允許在跨越Tile邊界時，解碼器的內核繼續處理下一個編碼樹單元 (CTU)，而無需等待其他解碼器完成對其他Tile中相鄰CTU的ILF處理。 Mauriocio Alvarez-Mesa,Chi Ching Chi等人在發表于2012年的IEEETransactions on circuits and systems for video technology的論文“ParallelScalability and Efficiency of HEVC Parallelization Approaches”中，在一個12核，運行于3.33GHz 的平臺上比較了Tile、WPP和OWF在并行處理時的表現，實驗結果顯示Tile的性能略高于WPP，在12個核上，對所有給出的分辨率視頻，解碼速度平均提 高了7％。OWF有著更高的性能，平均比Tile高28％。HyunMi Kim等人在發表 的論文“An EfficientArchitecture of In-Loop Filters for Multicore Scalable HEVC HardwareDecoders”(2018)提出一種基于多核平臺的高效環路濾波(ILF)方 案，解決了多個處理單元間的數據依賴問題，并能夠靈活地對多個圖像區域進 行濾波。國內學者也提出了一些多核平臺的解碼方法。大連理工大學信息與通 信工程學院的馬愛迪等(2014年)提出了基于CPU+GPU混合平臺的HEVC并 行解碼器，采用CUDA硬件平臺，且利用硬件優勢完成系統優化。南京郵電大 學圖像處理與圖像通信實驗室的方狄(2015年)提出了基于Tilera多核處理器的HEVC多層次并行解碼方法，實現了包括幀級CABAC并行熵解碼，基于CTU 行的并行像素解碼重構和CTU行級并行去方塊濾波在內的三種并行方案，降低 了模塊間的解碼延遲。同實驗室的韓峰(2018年)提出基于Tilera多核處理器 的任務級與數據級相結合的HEVC并行解碼技術，將HEVC解碼流程劃分成碼 流讀取，熵解碼解析，像素解碼重構，去方塊濾波，SAO等多個環節，采用流 水線方式實現各環節間的并行處理，實現任務級與數據級的結合。同實驗室的 張文祥(2019年)提出了細粒度多層次并行解碼方案，進一步減少了系統整體 延遲，并且實現了在Tilera平臺上同時處理兩路視頻流的實時解碼，使多核資源 得到更加充分的利用。