[發明專利]一種融合視覺感知特征的可分層視頻編碼方法

有效

• 申請號: 201510025201.1
• 申請日: 2015-01-20
• 公開（公告）號: CN104539962B
• 公開（公告）日: 2017-12-01
• 發明（設計）人: 劉鵬宇;賈克斌
• 申請（專利權）人: 北京工業大學
• 主分類號: H04N19/30
• 分類號: H04N19/30;H04N19/567;H04N19/167;H04N19/109;H04N19/11
• 代理公司: 北京思海天達知識產權代理有限公司11203
• 代理人: 沈波

技術領域

本發明涉及視頻編碼方法，尤其涉及一種融合視覺感知特征的可分層視頻編碼方法。

背景技術

隨著多媒體信息處理和通信技術的飛速發展，IPTV、PDA、立體電影、自由視點視頻等多樣化視頻業務相繼推出，視頻編碼在信息化處理以及相關領域展現了廣闊的發展前景。然而，在網絡帶寬和存儲空間受限的同時，人們對視頻質量的要求卻在不斷提高、數字視頻的性能指標，如分辨率、質量、幀率等不斷提升，對現有的視頻編碼標準提出了新要求。

為了獲得具有低復雜度、高質量和高壓縮率的視頻編碼方法，繼2003年由國際電信聯盟ITU-T和國際標準化組織ISO/IEC聯合推出視頻壓縮標準H.264/AVC后，2010年1月，ISO/IEC和ITU-T聯合成立了JCT-VC(Joint Collaborative Team on Video Coding)小組，并且發布了下一代視頻編碼技術提案HEVC(High Efficiency Video Coding)。提案指出，HEVC依然沿用H.264/AVC的混合編碼框架，著力研究新的編碼技術，旨在解決現有視頻編碼標準在壓縮率與編碼復雜度之間的矛盾，使之適應多類型的網絡傳輸，承載更多的信息處理業務。具有“實時性”、“高壓縮率”和“高清晰度”的視頻編碼標準及其應用技術，已成為信號與信息處理領域的研究熱點之一。

截至目前，眾多學者圍繞視頻快速編碼或者視覺感知分析開展了大量研究工作，但是很少將二者結合在一個編碼框架內聯合實現對視頻編碼性能的優化。

在視覺感知特征分析方面，有的研究人員采用顏色、亮度、方向和膚色四種視覺特征進行感興趣區域計算，但忽略了運動視覺特征；有的研究人員融合了運動、亮度強度、人臉和文字等視覺特征，構建視覺注意模型實現感興趣提取；也有的研究人員采用運動和紋理信息獲取感興趣區域；或者有人提出在壓縮域或者基于小波變換的方法獲得感興趣區域。由于現有的全局運動估計算法復雜度都較大，因此視覺感興趣區域提取算法復雜度過高。上述基于人類視覺系統HVS(Human Visual System)的視頻編碼技術集中研究了比特資源優化分配的方法，在比特資源受限時保證感興趣區域的視頻圖像質量，但欠缺對計算資源分配問題的考慮，并且對進行視覺感知分析時引入的額外計算復雜度，也沒有引起足夠的關注，其計算效率有待提高。

在快速視頻編碼方面，有的研究人員通過控制運動估計點數、以損失率失真性能為代價，實現快速編碼；有的研究人員通過進行編碼參數控制實現快速編碼。但上述方法并不區分視頻圖像中不同區域在視覺意義上的重要程度，對所有編碼內容采用相同的快速編碼方案，忽略了HVS對視頻場景感知的差異性。

發明內容

本發明針對上述問題，提出一種融合視覺感知特征的可分層視頻編碼方法，包括視覺感興趣區域優先級的設定以及視頻編碼資源分配方案的設定兩部分；

所述視覺感興趣區域優先級的設定主要為：鑒于視頻圖像內容的豐富性和人眼視覺選擇性注意機制，視頻內容通常同時具有時域和空域雙重視覺特征，標注視覺特征顯著度區域的計算公式可表示為：

式中，ROI(x，y)代表當前編碼宏塊視覺感興趣優先級；T(x，y，MV)代表當前編碼宏塊的時域視覺特征顯著度；S(x，y，Mode)代表當前編碼宏塊的空域視覺特征顯著度；(x，y)表示當前編碼宏塊的位置坐標；

所述視頻編碼資源分配方案的設定表現為：為在保證視頻編碼質量和壓縮效率的同時，改善視頻編碼實時性能，首先滿足感興趣區域宏塊的編碼最優化，

采用快速幀內預測算法，利用宏塊灰度直方圖描述宏塊平坦程度，依據宏塊平坦度自適應地選取可能的幀內預測模式集合；

采用快速幀間預測算法，通過分析各種幀間預測模式出現概率的統計特性，對特定模式進行預判以提前終止不必要的幀間預測模式搜索和率失真代價計算，減少編碼耗時；

采用快速運動估計搜索算法，基于編碼塊運動矢量相關性，依據編碼塊運動程度，判定搜索層次，實現高效搜索。

所述視覺感興趣區域優先級的設定中，首先，進行時域視覺顯著度區域標注：具體分為兩個步驟：步驟1運動矢量噪聲檢測和步驟2平移運動矢量檢測，分別用于削弱由于運動矢量噪聲和攝像機運動而產生的平移運動矢量對于時域視覺顯著度區域檢測準確性的影響，完成前景與背景的分離，得到較為準則的、符合人眼視覺特征的時域視覺顯著度區域標注結果；然后，進行空域視覺顯著度區域標；最后，依據時域、空域視覺特征顯著度區域標注結果，完成視覺特征顯著度區域的標注。