[發明專利]一種結合視覺感知的可伸縮視頻碼率控制方法、裝置

有效

• 申請號: 201210455614.X
• 申請日: 2012-11-14
• 公開（公告）號: CN103458238A
• 公開（公告）日: 2013-12-18
• 發明（設計）人: 柳偉;陳旭;梁永生;張基宏
• 申請（專利權）人: 深圳信息職業技術學院
• 主分類號: H04N7/26
• 分類號: H04N7/26
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 張全文

技術領域

本發明屬于視頻技術領域，尤其涉及一種結合視覺感知的可伸縮視頻碼率控制方法、裝置。

背景技術

隨著網絡技術和各種終端設備的發展，新的視頻應用要求視頻編碼能夠以較低復雜度提供時域、空域和質量可伸縮性。可伸縮編碼(Scalable?VideoCoding，SVC)采用多層編碼的方式把視頻序列編碼成相互依賴的可伸縮層集合，不同的終端設備可以根據播出能力、處理能力和網絡質量，提取和解碼可伸縮層的一部分。如何通過視頻碼率控制滿足用戶的個性化需求，實現播出質量的最大化成為視頻壓縮和傳輸中需要解決的關鍵問題。

現有的碼率控制方法大都基于JVT-H017草案，通過二次率失真模型估計量化參數。作為H.264/AVC的擴展，H.264/SVC在基本層實現了碼率控制算法。視覺認知的研究發現，每個視頻包對于視頻質量的貢獻是不一樣的，有必要在感知層面考慮視頻內容對人眼視覺系統的激勵特性，現有技術1提出了一種改進的JVT-H017算法，根據人類視覺系統特性設計加權Y分量的峰值信噪比（PeakSignaltoNoiseRatio，PSNR），再根據基本單元層的復雜度分配碼率；現有技術2提出面向運動可伸縮性的率失真優化算法，通過該算法實現碼流提取；現有技術3在視覺顯著圖的基礎上，根據顯著度和絕對誤差修改宏塊的復雜度，將碼率控制應用于無線信道；現有技術4將碼率和感知質量建模為幀率和量化步長的函數，應用于可伸縮碼流自適應和幀率自適應。針對中粒度可伸縮編碼(Medium-Grain?Scalable?Video?Coding，MGS)，現有技術5提出加權率失真模型估計差錯漂移的影響；現有技術6基于MGS中slices的視覺重要性分配碼率。

現有技術存在的問題和不足在于：

1、采用的視覺顯著圖都只有二維空間信息，沒有考慮時間變化所造成的人眼視覺轉移和視頻內容的變化；

2、使用視覺感知特性作為加權分量修改率失真模型，計算量大，并且沒有從整體上考慮碼率分配的邊際效應。

綜上所述，在網絡帶寬資源有限的情況下，現有的視頻，經過可伸縮視頻編碼后，得到的可伸縮視頻的主觀質量比較差。

發明內容

本發明實施例提供了一種結合視覺感知的可伸縮視頻碼率控制方法、裝置，旨在解決現有技術經過可伸縮編碼后得到的可伸縮視頻的主觀視覺質量比較差的問題。

一方面，提供一種結合視覺感知的可伸縮視頻碼率控制方法，所述方法包括：

接收輸入的視頻文件，一方面對所述視頻文件進行可伸縮編碼，得到各個宏塊的編碼碼率，另一方面對所述視頻文件的視頻幀進行顯著圖計算，獲取各個視頻幀的視覺顯著圖；

構造注視轉移矩陣，根據所述注視轉移矩陣，結合鏡頭播放時長及人眼視覺特性，計算得到所述視覺顯著圖的時空顯著圖；

根據所述時空顯著圖中各個宏塊的顯著度信息，對各個宏塊的編碼碼率的重要性進行排序；

根據排序結果對各個宏塊的編碼碼率進行控制。

另一方面，提供一種結合視覺感知的可伸縮視頻碼率控制裝置，所述裝置包括：

視頻處理單元，用于接收輸入的視頻文件，一方面對所述視頻文件進行可伸縮編碼，得到各個宏塊的編碼碼率，另一方面對所述視頻文件的視頻幀進行顯著圖計算，獲取各個視頻幀的視覺顯著圖；

時空顯著圖獲取單元，用于構造注視轉移矩陣，根據所述注視轉移矩陣，結合鏡頭播放時長及人眼視覺特性，計算得到所述視覺顯著圖的時空顯著圖；

第一排序單元，用于根據所述時空顯著圖中各個宏塊的顯著度信息，對各個宏塊的編碼碼率的重要性進行排序；

碼率控制單元，用于根據排序結果對各個宏塊的編碼碼率進行控制。

在本發明實施例中，對輸入的視頻，先計算出包含時間和空間特性的時空顯著圖，再根據所述時空顯著圖中各個宏塊的顯著度信息對各個宏塊的碼率進行控制。時空顯著圖中不僅包括了空間信息，還包括時間信息，該時空顯著圖的主觀視覺質量相比現有技術采用的視覺顯著圖，視覺質量更高。另外，在進行碼率控制時，根據時空顯著圖中各個宏塊的顯著度信息對各個宏塊的碼率進行控制，優先降低注視可能性低的區域的碼率，而提高顯著度高區域的碼率，顯著度高區域的感知質量有了明顯提升。

附圖說明

圖1是本發明實施例一提供的結合視覺感知的可伸縮視頻碼率控制方法的實現流程圖；

圖2是本發明實施例二提供的結合視覺感知的可伸縮視頻碼率控制方法的實現流程圖；

圖3是本發明實施例二提供的人眼視覺示意圖；