[發明專利]一種基于率失真優化和丟幀預測的長參考幀的選取方法

有效

• 申請號: 201811320152.4
• 申請日: 2018-11-07
• 公開（公告）號: CN109587488B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 陳明宇;馮文瀾
• 申請（專利權）人: 成都隨銳云科技有限公司;隨銳科技股份有限公司
• 主分類號: H04N19/147
• 分類號: H04N19/147;H04N19/58;H04N19/19;H04N19/105
• 代理公司: 成都睿道專利代理事務所(普通合伙) 51217
• 代理人: 賀理興

本發明公開了一種基于率失真優化和丟幀預測的長參考幀的選取方法，涉及視頻編解碼技術領域。該方法包括以下步驟：步驟1：通過比較重建幀的已解概率和其與當前編碼真之間畸變大小的合函數來確定目標優化率失真函數；步驟2：對距離當前編碼幀步長為x的已發送的參考幀被丟失的概率的預測，與丟幀概率相乘構成目標優化率失真函數的第一項；步驟3：計算使用距離當前編碼幀的某一幀作為參考后，兩幀之間的畸變大小，與拉格朗日乘數λ相乘，構成目標優化率失真函數的第二項；步驟4：通過找到使目標優化率失真函數最小的步長值，獲得最優參考幀。本發明能夠降低所選參考幀丟失可能導致的失真，同時兼顧編碼效率，從而提升用戶體驗。

技術領域

本發明涉及視頻編解碼技術領域，尤其是涉及一種基于率失真優化和丟幀預測的長參考幀的選取方法。

背景技術

視頻通信是現代通信常用的通信方式，它出現在我們生活的各個方面，如網絡直播，視頻新聞，視頻會議等。視頻信息的特點就是直觀且信息量大，對于像直播或是像視頻會議這樣的實時視頻系統來說，如何保證視頻流實時且高效地傳輸極為重要。為了保證實時播放中的低延遲性，該類視頻中的幀類型通常只有兩種I和P，不使用B幀。現有的被廣泛應用的編解碼技術如H264或者HEVC，在進行幀間預測編碼來恢復重建圖像時，通常選取的是前一幀作為參考幀來編碼當前幀。

目前使用的壓縮標準在采用幀間編碼預測時，一到兩幀已重建圖像作為參考幀用于與運動估計來編碼當前幀。尤其在實時會議系統中我們通常選擇參考上一幀，該方法的優點是搜索時間短、算法復雜度低、延時較低，但這種參考幀選取方法的缺點是在當前幀發生巨大的場景變換或是當前幀預參考的上一幀在傳輸中發生丟包，無法正確解碼的情況下，會選擇重編I幀，開啟新的GOP進行恢復。因為重編I幀所需的比特數要遠遠大于其他幀類型，從而導致碼率突增，影響編碼效率，這時我們需要使用長參考幀作為丟幀恢復的解決方案。

長參考幀的定義是將已經被接收端收到且已解的關鍵幀記錄到參考幀列表中，當編碼端收到丟包反饋或是檢測到場景切換時，觸發長參考幀的使用。這樣一方面可以防止錯誤大范圍地蔓延導致解碼端不可解的狀況的發生，另一方面可以防止重編I幀帶了的巨大比特消耗。參考幀的選取實際上是一個消耗與效率的妥協，消耗包括存儲消耗和搜索消耗，而效率則是使用多參考幀帶來的壓縮效率的提升。就國內普遍使用的H264壓縮算法來說，國際標準化協會規定了在做幀間預測時，參考幀列表的最大長度不超過15幀。我們可以充分地在編碼端緩存15幀作為參考幀，根據比較所有參考幀與當前編碼幀之間畸變值的大小選擇最優的參考幀，但這樣做的成本就是系統所需的存儲空間增大，搜索查找最優幀的運算工作量增大，延時增加，影響碼流在實時傳輸系統中的時效性。

同時，長參考幀的選取可以結合傳輸錯誤控制機制，充分利用傳輸機制中的反饋信息來進行優化，提高用戶體驗。在丟包發生后，在標準傳輸協議中一般采用自動重傳請求(ARQ)和前向錯誤糾正(FEC)兩種方法進行錯誤控制。視頻接收端檢測出丟包時，ARQ機制會向發送端發送重傳請求(NACK)，請求發送端重傳丟失的數據包。自動重傳請求恢復是簡便且安全的幀恢復方法，當然重傳也會增加視頻延時，影響用戶體驗。當數據傳輸線路特別差時，自動重傳恢復甚至可能會發生死鎖現象。另一種方法是FEC，FEC通過增加冗余數據提供對抗包丟失的有效途徑，因為無需重傳或反通道，所以該方法常用于實時或多播應用，但是如果突發丟包長度超過FEC的糾錯能力時，FEC的性能可能很差。此外，冗余包通常要占用較多的存儲空間，在傳輸時需要更大的帶寬。ARQ和FEC可以降低網絡丟包對視頻質量造成的負面影響，但由于延時和帶寬等的限制，在實際應用中還是需要考慮如何進一步降低丟包對視頻體驗的負面影響。如何將長參考幀的選取和網絡丟包信息結合起來，預測出最優長參考幀是急需解決的關鍵問題。

發明內容

為了解決上述問題，本發明提出了一種基于率失真優化和丟幀預測的長參考幀的選取方法，通過丟包率對當前編碼幀之前的若干幀已被解碼端收到且已經被解碼的概率的預測以及當前編碼幀與之前的某幀之間的畸變或殘差的預測，借助概率和畸變估計選擇率失真綜合最優的長參考幀，降低所選參考幀丟失可能導致的失真，同時兼顧編碼效率，從而提升用戶體驗。