[發明專利]一種視頻序列碼流及其解碼方法

有效

• 申請號: 201210021766.9
• 申請日: 2012-01-31
• 公開（公告）號: CN103227918B
• 公開（公告）日: 2017-08-15
• 發明（設計）人: 虞露;呂鵬;趙寅
• 申請（專利權）人: 浙江大學
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N13/00
• 代理公司: 杭州宇信知識產權代理事務所(普通合伙)33231
• 代理人: 張宇娟

技術領域

本發明涉及多媒體通信領域，特別是一種視頻序列碼流及其解碼方法。

背景技術

一個視頻序列的碼流不僅包含編碼各幀圖像直接產生的碼流，還包括一些參數信息，如圖像寬度、圖像高度等，這些參數通常被組織在一個稱為參數集的語法結構中，編碼成為參數集碼流，例如H.264/AVC中的序列參數集(Sequence Parameter Set，簡稱SPS)和圖像參數集(Picture Parameter Set，簡稱PPS)。

廣義的說，一個視頻序列包含V(V≥1)個視點，每個視點包含F(F≥1)幀圖像；當V＝1時，這樣的視頻序列為常見的單視點視頻序列；當V＞1時，這樣的視頻序列通常也稱為多視點視頻序列。采用H.264/AVC等編碼標準時，一幀圖像可以劃分為多個條帶(slice)，對每個條帶分別進行編碼和解碼。每個條帶含有一個條帶頭(slice header)，包含了這個條帶的一些編碼參數。在H.264/AVC中的分層結構中，使用了圖像參數集和序列參數集兩級參數集來描述視頻序列的一些參數。參數集可以被條帶引用，即根據條帶含有的參數集序號，找到對應序號的參數集，從中獲取參數。例如，條帶能夠根據其含有的序列參數集序號，在對應序號的序列參數集中獲取該條帶所在視點的視點序號；條帶也能夠根據其含有的圖像參數集序號，在對應序號的圖像參數集中獲取到圖像播放順序(Picture Order Count，簡稱POC)編碼方法等參數，利用這些參數以及條帶頭中的參數信息，條帶能夠獲取到該條帶所在幀的幀序號，即圖像播放順序。因此，視頻序列的每一幀可以通過其包含的條帶，獲得該幀所在視點的視點序號和該幀的幀序號。值得注意的是，為了限制幀序號的無限制增加，通常要將幀序號限制在某一范圍內，幀序號則在此范圍內進行循環，例如要將幀序號限制在255以內，則只需將幀序號對256進行取模運算，即可使幀序號按照0，1，2...254，255，0，1...的方式進行循環，該限制范圍一般被保存在序列參數集中。此外，同一個圖像參數集也可以被多個圖像引用。

隨著技術的發展，特別是三維圖像獲取技術和三維顯示設備的發展，視頻序列除了包含一個或多個視點的紋理信息之外，還可能包括一個或多個視點的深度信息，也可能再包含一個或多個視點的攝像機參數。攝像機參數可包括如焦距等內參數、以及攝像機相對于某一參考點的距離等外參數；當視頻序列包含深度信息時，攝像機參數通常還會包括深度信息所對應的最遠平面的深度數值和最近平面的深度數值。這些視頻序列攝像機參數可能是解碼視頻序列的紋理信息或深度信息所必需的參數，也可能是合成虛擬視點的紋理信息或深度信息所必須的參數，因此在某些應用下需要編碼成為碼流，進行傳輸。

當前的H.264/AVC標準中，攝像機參數僅可包含在輔助增強信息(Supplemental Enhancement Information，簡稱SEI)這種語法結構中。SEI獨立于視頻圖像內容，用于存儲影片簡介、版權信息、用戶自行定義的資料等，每個條帶的編碼和解碼過程并不引用SEI，或者說視頻圖像的編碼和解碼和SEI無關。但是對于包含深度信息的三維視頻序列，編碼和解碼過程中各幀需要用到攝像機參數，例如用于合成目標視點圖像作為視間參考幀，即常說的view synthesis prediction。對于這樣的三維視頻序列，如果按照現有的H.264/AVC標準中的技術將攝像機參數包含在輔助增強信息中，將無法使得各條帶在編碼和解碼過程中引用到需要的攝像機參數，從而導致編碼和解碼過程無法正常進行。如果將攝像機參數包含在條帶頭中，則編碼和解碼過程可以正常進行，但是編碼效率很低。

在AVS，HEVC等類似的視頻編解碼標準中，也存在類似的問題。

發明內容

本發明提出一種視頻序列碼流，用于提供一個新的語法結構，即攝像機參數集來傳輸視頻序列的攝像機參數。相應的，攝像機參數集信息需要被編碼成碼流，組成視頻序列碼流的一部分。

本發明一實施例提出一種視頻序列碼流，其至少包含一個攝像機參數集；所述每個攝像機參數集包含V×F×M個參數；V為所述攝像機參數集對應的視點個數，F為所述攝像機參數集對應的幀個數，M為所述攝像機參數集包含的攝像機參數的類型數；所述攝像機參數集還包含有該攝像機參數集對應的視點中的I個視點的視點序號P_i(i＝1，2，...I)；所述攝像機參數集還包含有該攝像機參數集對應的J個視點中的起始幀的幀序號S_j(j＝1，2，...J)；其中V、F、M為正整數，I、J為不大于V的非負整數。