[發明專利]一種考慮時域失真傳播的零時延全景視頻碼率控制方法

在審

• 申請號: 202211273536.1
• 申請日: 2022-10-18
• 公開（公告）號: CN115695799A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 朱策;楊栩;羅雷;郭紅偉;段昶;杜金;侯晶晶
• 申請（專利權）人: 電子科技大學
• 主分類號: H04N19/146
• 分類號: H04N19/146;H04N19/14;H04N19/169;H04N19/96
• 代理公司: 成都點睛專利代理事務所(普通合伙) 51232
• 代理人: 孫一峰

本發明屬于圖像處理技術領域，具體涉及一種考慮時域失真傳播的零時延全景視頻碼率控制方法。本發明的方法主要為優化目標比特分配和全局率失真優化編碼，包括編碼樹單元(CTU)級的碼率控制以及時域全局率失真優化。CTU級碼率控制主要包括優化目標比特分配以及碼率控制參數更新；時域全局率失真優化主要利用已編碼幀的重建誤差和運動補償預測誤差信息來估計當前編碼幀內每個CTU的時域依賴性并據此調整CTU的率失真優化參數，同時根據全景球面圖形投影到2D平面(ERP投影)過程中，會在兩極產生過采樣增加像素冗余的特征，根據投影面積變化比值來調整編碼參數。本發明能有效縮短編碼時間并且在給定帶寬的條件下提升視頻編碼質量。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種考慮時域失真傳播的零時延全景視頻碼率控制方法。

背景技術

全景視頻是一種使用相機陣列或3D攝像機進行全方位360度進行拍攝的視頻，用戶在觀看視頻的時候，可以隨意調節視頻上下左右方位進行觀看，全景視頻具有高幀率、高分辨率(至少4K)、寬視域的特征，存儲和傳輸全景視頻非常消耗資源。碼率控制是根據目標碼率來逐層優化分配比特，并按照一定的編碼策略動態調整編碼器的編碼參數，使編碼器輸出碼流滿足傳輸信道帶寬限制及存儲設備存儲空間的需求，盡可能使得實際輸出碼率與目標碼率一致。其在實時視頻通信系統中廣泛應用。傳統全景視頻編碼存在以下問題，首先是其在投影過程中會產生像素冗余而影響編碼性能；同時傳統編碼器沒有利用幀間編碼單元之間的時域相關性進行編碼，編碼性能還有極大地提升空間；傳統編碼器沒有考慮幀間時域失真影響因子主要原因是其計算復雜度太高，不利于實時通信。本發明針對以上問題提出了一種考慮時域失真傳播的零時延全景視頻碼率控制方法，本發明首先根據全景視頻球面面積和投影面積之比來調整編碼參數以減小像素冗余帶來的編碼性能損失；同時通過計算編碼幀像素均值和方差值的變化量來確定圖像場景是否發生變換；在沒有發生場景變換的情況下，根據視頻圖像具有連續性的特點，利用時域上前一編碼幀的重建誤差和運動補償預測誤差計算時域失真影響因子，并利用該因子來編碼當前幀。本發明不用預存未編碼幀，而且利用已編碼幀信息計算時域失真影響因子，計算量小，編碼復雜度極低，同時率失真性能有非常大的提升，所以本發明易于推廣。

目前的碼率控制方法包括：

H.266/VVC碼率控制方法，主要步驟為：

步驟1：比特分配

VTM采用分層比特分配結構，在GOP層、幀層、CTU層分別進行比特分配，越往下，碼率分配越準確，修正誤差也越好實現。VTM在各個層次上平均分配目標碼率，為了逐步消除已編碼單元產生的碼率控制誤差，通過滑動窗口來平滑碼率波動，防止出現碼率波動較大而影響視頻質量的情況，通過下列式子實現分層碼率分配，即

其中，R_tar為目標碼率，FR為幀率，R_pic為整個序列平均每幀的比特數，T_gop、T_pic、T_ctu分別為分配給待編碼GOP、編碼幀、編碼單元的目標比特數，SW是平滑比特分配的滑動窗，N_coded、R_coded、N_gop、ω_pic、ω_ctu、ω_pic、ω_ctu分別為已編碼幀數、編碼視頻序列已消耗比特、一個GOP幀數、GOP內已編碼幀數、編碼幀所占權重、編碼單元所占權重、未編碼幀所占權重之和、幀內未編碼CTU權重之和。

步驟2：根據R-λ模型計算拉格朗日乘子