[發明專利]一種基于運動矢量細化的幀率上變換與HEVC相結合的方法

在審

• 申請號: 201910225382.0
• 申請日: 2019-03-25
• 公開（公告）號: CN111741304A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 何小海;蔡于涵;熊淑華;卿粼波;滕奇志;吳曉紅
• 申請（專利權）人: 四川大學
• 主分類號: H04N19/146
• 分類號: H04N19/146;H04N19/70;H04N19/85;H04N19/513
• 代理公司: 暫無信息
• 代理人: 暫無信息

研究表明，將幀率上轉換技術與新型視頻壓縮編碼標準HEVC相結合有可能進一步提升視頻的壓縮效率以及壓縮質量。但是HEVC幀間編碼采用的運動估計并不是基于對象的真實運動的估計，因此直接利用HEVC運動估計得到的運動矢量進行幀率上轉換得到的視頻并不能取得很好的效果。本發明提出一種將HEVC本身運動矢量的進行后處理方法，從HEVC碼流中獲取運動矢量后對其進行基于分層的前向?后向聯合運動估計的細化過程，最后利用運動補償插幀恢復原始幀率的視頻序列。實驗結果顯示本發明提出的算法相較于HEVC標準碼率有一定節省，在客觀質量方面,本發明所提方法與利用幀內塊運動矢量填充后進行幀率上轉換相比，重建視頻的PSNR平均高0.4558dB。

技術領域

本發明涉及圖像通信領域中的視頻編碼技術，最主要的是提升編碼性能的問題，涉及幀 率上轉換技術與高性能視頻編碼標準HEVC幀間編碼方法。

背景技術

時間冗余是視頻信號最重要的特性之一，許多視頻處理方法和視頻編碼系統根據視頻信 號的這一特性對視頻信號進行處理達到壓縮視頻信號的目的。在幀率上轉換(Frame Rate Up-Conversion,FRUC)中，可利用去除時間冗余來改善視覺質量，而HEVC編碼標準利用視 頻序列的時間冗余這一特性來提高編碼效率。

幀率上轉換是在兩個連續的原始幀之間插入新幀以此提高視頻的幀率，因此它可用于減 少保持型顯示器(例如液晶顯示器)的運動模糊。此外，隨著目前多媒體設備和顯示技術的 迅猛發展，在實際應用中對幀率上變換技術的需求不斷增加，因為通過幀率上轉換技術我們 可以生成具有更好視覺質量的高幀率(HFR)視頻。

大多數幀率上轉換方法都是利用運動信息沿運動軌跡進行插值，這些方法也稱為運動補 償幀率上轉換(Motion Compensated-Frame Rate Up-Conversion，MC-FRUC)。典型的MC-FRUC 包括運動估計(Motion Estimation,ME)和運動補償內插(Motion CompensatedInterpolation,MCI)。運動估計旨在估計連續幀之間的運動矢量(Motion Vector,MV),這些運 動矢量表示連續幀之間物體的運動軌跡。在完成運動估計之后，我們根據估計得到的運動矢 量通過運動補償內插來生成內插幀。在這些運動估計方法中，塊匹配方法由于其簡單性和便 于在硬件中實現而得到最廣泛的應用。Kang提出了雙運動估計方法來增強運動矢量的準確性， 其首先利用雙向運動估計得到初始運動矢量，然后利用單向運動估計來計算單向匹配率以此 提高運動矢量的精確性。Liu利用多假設幀率上轉換方案來估計具有最大后驗概率的中間幀， 該方法利用多個“最佳”運動軌跡來形成一組運動假設，然后利用這些運動假設生成所有的 運動補償內插幀，最后根據每個假設的可靠性自適應地融合這些內插幀。Dikbas通過對塊匹 配方法施加隱式和顯式平滑約束來跟蹤真實的運動軌跡。QidaWu將幀率變換與HEVC視頻 壓縮編碼標準相結合，利用從HEVC編碼碼流中提取的運動矢量進行幀內塊運動矢量填充后， 利用運動補償插幀得到最終的內插幀。

發明內容

針對將幀率上轉換技術與HEVC視頻壓縮編碼標準相結合時，直接利用HEVC碼流中提 取的運動矢量進行幀率上轉換會導致重建視頻質量不高的問題，本發明提出一種對HEVC碼 流中的運動矢量進行后處理的方法，在合理的復雜度范圍內，能夠進一步提升由幀率上變換 恢復得到的原始幀率視頻的主客觀質量。

本發明的基本思想是將HEVC碼流中運動矢量信息提取出來，對其進行基于分層的前向 -后向聯合運動估計的后處理，使處理后的運動矢量更加接近物體的真實運動，以此提升幀率 上變換之后恢復得到的原始幀率視頻的質量。