[發明專利]視頻序列圖像的解碼和編碼

有效

• 申請號: 201380050705.8
• 申請日: 2013-09-26
• 公開（公告）號: CN104685889A
• 公開（公告）日: 2015-06-03
• 發明（設計）人: 喬納坦·薩繆爾森;理卡爾德·肖伯格
• 申請（專利權）人: 瑞典愛立信有限公司
• 主分類號: H04N19/70
• 分類號: H04N19/70;H04N19/44;H04N19/31;H04N19/423
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 袁飛

技術領域

本實施例總體上涉及對視頻序列圖像進行解碼和編碼，更具體地，涉及從與解碼和編碼圖像有關的解碼圖像緩沖區輸出或傾倒圖像。

背景技術

H.264視頻壓縮

H.264(動態圖像專家組-4高級視頻編碼(MPEG-4AVC))是最新的視頻編碼標準。其包括利用時間和空間冗余的基于塊的混合視頻編碼方案。H.264/AVC定義在包括很多解碼處理的規范文檔中，這些解碼處理必須以指定順序來執行，以使解碼器符合標準。對編碼器沒有要求，但是一般情況下，編碼器也執行大部分處理以獲得良好的壓縮效率。

H.264/AVC定義了存儲解碼后的解碼圖像的解碼圖像緩沖區(DPB)。這意味著要求解碼器使用規定量的存儲器以解碼序列。DPB包含在解碼未來圖像期間用于參考的圖像。這里的“用于參考”表示在解碼另一個圖像時使用特定圖像來預測。用于參考的圖像的像素值這時可用于預測當前正在解碼的圖像的像素值。這也稱為幀間預測(Inter?prediction)。DPB附加地包含等待輸出的圖像。這里的“輸出”表示解碼器將圖像輸出到解碼器之外的功能。H.264規范說明了如何將比特流轉換為解碼圖像然后將其輸出，參見圖1。輸出圖像可以例如被顯示或寫入磁盤。

DPB中的圖像等待輸出的一個常見原因是，將在該圖像前輸出的圖像尚未完成解碼。

圖2示出了三個圖像A、B和C的示例。解碼順序是壓縮格式圖像被饋入解碼器的順序。通常來說，這與編碼器編碼圖像的順序相同。圖2示出了這個示例中的解碼順序為A、B和C。輸出順序是解碼圖像輸出的順序。輸出順序不必與解碼順序相同，如圖2中示例所示出的，輸出順序為A、C、B。圖中箭頭示出了哪一個圖像用于每一個圖像的參考：圖像A用于圖像B和C的參考。

圖2中，圖像C在圖像B之后解碼但在其之前輸出。當圖像B已經解碼時，其不能立即輸出，因為圖像C還沒有解碼并且必須在圖像B之前輸出。因此，圖像B在解碼后必須存儲在DPB中，即使其不用于任何其他圖像的參考。當解碼圖像C時，圖像A也必須在DPB中存在，因為圖像C使用圖像A來參考。

通過信號通知PictureOrderCount(POC)值，控制輸出順序。在比特流中存在用于傳達每個圖像的POC的語法元素，并且使用這些值來定義圖像的輸出順序。

為了跟蹤DPB，H.264/AVC包含三個在圖像解碼后進行的處理：圖像標記處理、圖像輸出處理和釋放(free-up)處理。

圖像標記處理將圖像標記為“用于參考”或“不用于參考”。標記為“用于參考”的圖像可用于參考，意味著解碼順序中后續的圖像在其解碼處理中可使用該圖像來參考。標記為“不用于參考”的圖像不可被后續圖像用于參考。編碼器通過比特流來控制這一處理。在H.264/AVC比特流中有一個可選語法，當其存在時指示什么圖像標記為“不用于參考”。該操作一般也稱為存儲管理控制操作(MMCO)。如果沒有可選的MMCO語法，就定義先進先出機制，也稱為“滑動窗口”處理?；瑒哟翱谔幚肀硎荆寒斪詈蠼獯a的圖像導致DPB中的圖像過多時，解碼順序中最早的圖像自動標記為“不用于參考”。

圖像輸出處理在圖像標記處理之后進行，將圖像標記為“需要輸出”或“不需要輸出”。標記為“需要輸出”的圖像尚未輸出，而標記為“不需要輸出”圖像已經輸出且不再等待輸出。圖像輸出處理還輸出圖像。這表示該處理選擇標記為“需要輸出”的圖像，輸出它們，然后將它們標記為“不需要輸出”。圖像輸出處理確定以什么順序輸出圖像。需要注意的是，在一個具體圖像解碼后，圖像輸出處理可輸出并標記零個、一個或多個圖像。

在解碼器調用上述兩個處理后，調用釋放處理。清空同時標記為“不用于參考”和“不需要輸出”的圖像并從DPB移除。有時這也稱為釋放DPB圖像槽之一。

在H.264/ABC中，DPB的大小是有限的。這意味著因等待輸出或使其可用于參考而能夠存儲的圖像的數量是有限的。變量max_dec_frame_buffering表示DPB的大小，有時也稱為DPB中圖像槽的數量。編碼器必須確保DPB的尺寸不會溢出。

以上三個處理在標準中有所說明。這意味著解碼器受到編碼器的控制，因此解碼器在輸出順序方面沒有任何自由。這完全由圖像輸出處理和編碼器發送的比特流中的有關元素確定。圖3中示出了H.264/AVC的解碼步驟的簡化流程圖。