[發明專利]一種空間可分級視頻編碼方法及解碼方法

在審

• 申請號: 202111193953.0
• 申請日: 2021-10-13
• 公開（公告）號: CN114051137A
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 李國平;王國中;范濤;侯世維;商習武;方中華;沈怡君
• 申請（專利權）人: 上海工程技術大學
• 主分類號: H04N19/105
• 分類號: H04N19/105;H04N19/119
• 代理公司: 上海唯智贏專利代理事務所(普通合伙) 31293
• 代理人: 姜曉艷

本發明屬于編解碼的技術領域，公開了一種空間可分級視頻編碼方法，以視頻圖像中的各幀圖像作為原始圖像，將原始圖像采用下采樣方法得到各級增強層圖像和基本層圖像，其中，基本層圖像為最下層，其他層為增強層圖像；對基本層圖像采用已有視頻編碼標準進行編碼，輸出基本層編碼數據流，然后，采用圖像超分技術和圖像復原技術，計算當前增強層圖像編碼時需要的兩個參考圖像，從下至上逐一對各級增強層圖像進行編碼，輸出各級增強層編碼數據流，逐幀完成視頻圖像的編碼。還公開了一種空間可分級視頻圖像解碼方法。

技術領域

本發明屬于視頻編解碼的技術領域，具體涉及一種空間可分級視頻編碼方法及解碼方法。

背景技術

可分級編碼是實現漸進編碼的一種重要技術途徑。編碼器產生的碼流包含一個或多個可以單獨解碼的子碼流，子碼流可以具有不同的碼率，幀率和空間分辨率，其碼流一般可分為一個基本層和若干增強層，基本層的傳輸優先級最高，應確保收到，當信道條件允許時，隨著各增強層碼字的接收解碼，圖像質量將不斷提高。有空域、時域、信噪比可分級等方式：

時域可分級(Temporal scalability)：可以從碼流中提出具有不同幀頻的碼流。

空間可分級(Spatial scalability)：可以從碼流中提出具有不同圖像尺寸的碼流。

質量可分級(Quality scalability)：可以從碼流中提出具有不同圖像質量的碼流。

H.264SVC(Scalable Video Coding)是以H.264為基礎，在語法和工具集上進行了擴展，支持具有分級特性的碼流，H.264SVC是H.264標準的附錄G，同時作為H.264新的profile，H.264SVC在2007年10月成為正式標準，SHVC(SVC for HEVC)也于2014年10月納入H.265標準附錄H。

SVC在設計上有幾處不足，首先，SVC EL宏塊語法和解碼過程與AVC完全不一樣，無法在AVC解碼器不經過更改的情況下直接解碼SVC，甚至連BL都解碼不了；其次，為了權衡計算負載與內存占用，SVC解碼端有一個單循環約束(single-loop decoding constraint)，好處是無需解碼所有層或重建所有RL就可以解碼最高層圖像，所帶來的問題是它可以包含所有層幀內預測的編碼宏塊，但是不能包含所有層幀間預測的編碼宏塊，所以一旦EL某宏塊使用了IntraBL，層間預測也必須從RL對應的幀內預測編碼宏塊進行，受約束的幀內預測用于RL的所有幀，RL的空間幀內預測只能在幀內預測編碼空間的相鄰塊去尋找，不能從幀間預測編碼空間的相關位置宏塊中尋找；最后，不能在傳輸過程中任意時刻進行向下層級的轉換，如果解碼器一直在EL解碼，那么在BL解碼是不充分的，如果網絡適應性優化策略在帶寬不足的情況下把EL給丟棄了，那么BL也無法解碼了，因為BL的時域參考沒有了。

針對于SVC的不足，SHVC提出了新的思路，有兩個指導原則：一是BL盡量做的通用，盡量在高層語法上而不是底層實現上做修改調整；二是繼續高效發掘ILP來提升EL編碼效率。

SHVC的BL有帶內帶外兩種傳輸手段，前者需要解碼器解復用，但解碼本身就是標準的HEVC解碼器；EL層解碼器和標準的HEVC解碼器差距僅僅是片頭級或更高層語法的不同，塊級邏輯都是相同的，這就滿足了第一個原則。層間處理主要關注點在于如何用BL的DPB生成EL的DPB之間，這就使層間處理與每一層的編碼解耦，此外和SVC的one-loop解碼不同，SHVC使用multi-loop解碼，允許了層間預測使用RL參考區域的所有像素點，為第二個原則奠定好了架構基礎。SHVC顯然比較SVC在編碼效率上和通用性上更好，但是編解碼復雜度上都有很大增加，給未來的實際應用帶來了很大挑戰，如對于一個8K視頻來說，要實現空間可分級需要分別對1K，2K，4K，8K進行編解碼，這樣給實際應用帶來了很多的計算量。

發明內容