[發(fā)明專利]視頻編碼方法及裝置、視頻解碼方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201310078194.2
• 申請(qǐng)日: 2005-09-30
• 公開(kāi)（公告）號(hào): CN103179400A
• 公開(kāi)（公告）日: 2013-06-26
• 發(fā)明（設(shè)計(jì)）人: 北原正樹(shù);木全英明
• 申請(qǐng)（專利權(quán)）人: 日本電信電話株式會(huì)社
• 主分類號(hào): H04N7/26
• 分類號(hào): H04N7/26;H04N7/32
• 代理公司: 中國(guó)專利代理(香港)有限公司 72001
• 代理人: 何欣亭;王忠忠

技術(shù)領(lǐng)域

本發(fā)明涉及適合可變更觀察位置或觀察方向的視頻技術(shù)等的視頻編碼及視頻解碼的技術(shù)。

背景技術(shù)

一般，為了在視頻編碼中使用時(shí)間方向的相關(guān)實(shí)現(xiàn)高編碼效率，采用幀間預(yù)測(cè)編碼。幀的編碼模式有不使用幀間相關(guān)而進(jìn)行編碼的I幀、由過(guò)去編碼的1幀預(yù)測(cè)的P幀、可由過(guò)去編碼的2幀預(yù)測(cè)的B幀。

P幀中可由I幀或P幀預(yù)測(cè)，B幀中可由I幀或P幀或B幀預(yù)測(cè)。尤其在視頻編碼方式H.264中，可預(yù)先在編碼裝置內(nèi)的參考圖像存儲(chǔ)器存儲(chǔ)多個(gè)幀的解碼圖像，從該存儲(chǔ)器選擇參考圖像用于預(yù)測(cè)。另外，P幀中輸入運(yùn)動(dòng)圖像中的時(shí)間由過(guò)去幀預(yù)測(cè)，但B幀中不僅可由過(guò)去幀預(yù)測(cè)，而且也可由未來(lái)幀預(yù)測(cè)。

圖7(a)部例示了運(yùn)動(dòng)圖像的預(yù)測(cè)關(guān)系。

在B幀中由2幀預(yù)測(cè)時(shí)(兩方向預(yù)測(cè))，插補(bǔ)來(lái)自2幀的圖像信息，作成1幀的圖像信息并作成預(yù)測(cè)圖像。將從第1幀到第7幀的編碼模式按IBBPBBP的順序編碼時(shí)，由于存在圖7(a)部所示的預(yù)測(cè)關(guān)系，在實(shí)際編碼時(shí)，將圖7(a)部所示的幀的編號(hào)從左到右設(shè)為1～7，按如圖7(b)部所示“1→4→2→3→7→5→6”的幀編號(hào)順序?qū)M(jìn)行編碼。

這里，交替運(yùn)動(dòng)圖像為1幀內(nèi)具有2場(chǎng)的構(gòu)成，與上述同樣，可按每個(gè)場(chǎng)設(shè)定預(yù)測(cè)關(guān)系。一般將幀與場(chǎng)統(tǒng)稱為圖片。另外，B幀的兩方向預(yù)測(cè)中可由過(guò)去2幀或未來(lái)2幀預(yù)測(cè)。例如在視頻編碼方式H.264中，預(yù)先在參考圖像存儲(chǔ)器中存儲(chǔ)多個(gè)幀的解碼圖像，可從該存儲(chǔ)器選擇2幀的參考圖像并加以預(yù)測(cè)。這里，選擇的幀的解碼后的顯示時(shí)刻可為編碼對(duì)象幀的顯示時(shí)刻的未來(lái)也可為過(guò)去。

另外，以I圖片作前頭的圖片集合設(shè)定為圖片組(GOP：group?of?picture)，從而能夠容易實(shí)現(xiàn)GOP單位的編碼數(shù)據(jù)隨時(shí)間的隨機(jī)存取功能。

GOP通過(guò)在特定圖片的編碼數(shù)據(jù)之前，包含表示GOP前頭的信息，能夠指定該圖片為該圖片以后的多個(gè)圖片構(gòu)成的COP的前頭。MPEG-2中，通過(guò)插入具有特有的位組合的代碼來(lái)指定是GOP的前頭。

即，可在表示GOP的前頭的代碼間構(gòu)成1GOP的編碼數(shù)據(jù)。還有，可在編碼數(shù)據(jù)中不對(duì)表示GOP的前頭的信息進(jìn)行編碼，而作為與編碼數(shù)據(jù)獨(dú)立的信息指定GOP構(gòu)成信息。

一般，在表示GOP前頭的信息之后，也包含GOP的前頭幀的時(shí)刻信息，在實(shí)現(xiàn)對(duì)于時(shí)間的隨機(jī)存取時(shí)使用。另外，各圖片上也可帶有時(shí)刻信息。

該時(shí)刻信息例如在H.263中稱為TR(Temporal?Reference)。TR是以單位時(shí)間為基本的、表示幀的輸出順序的信息。例如將單位時(shí)間設(shè)定為1/30秒時(shí)，每個(gè)幀增加一個(gè)值的情況等價(jià)于幀速率為30幀/秒的情況。通常TR按固定長(zhǎng)度被編碼。

并且，關(guān)于多個(gè)攝像機(jī)視頻的編碼，提出了將各攝像機(jī)視頻設(shè)定為GOP，在GOP間應(yīng)用預(yù)測(cè)編碼的同時(shí)作為一個(gè)視頻信息加以編碼的方法。

例如，在下述的非專利文獻(xiàn)1或非專利文獻(xiàn)2中，提出了定義Base?GOP和Inter?GOP來(lái)表示GOP間的預(yù)測(cè)關(guān)系的方法。在Base?GOP中包含的圖片僅參考同一GOP內(nèi)包含的圖片，在Inter?GOP中包含的圖片參考同一或其它GOP內(nèi)包含的圖片。Inter?GOP中頭部包含表示參考的GOP的參考GOP信息。

這樣，如果預(yù)先具有多個(gè)攝像機(jī)輸入視頻，可通過(guò)切換輸入視頻變更觀察位置與觀察方向。如此就能獲得拍攝的位置上的視頻，但還提出了生成未拍攝到的觀察位置或觀察方向的視頻的技術(shù)。

例如，在下述的非專利文獻(xiàn)3中，提出了由多個(gè)攝像機(jī)輸入圖像生成光線空間，通過(guò)從該光線空間抽出圖像信息，生成未拍攝到的觀察位置或觀察方向的視頻的方法。

在生成這樣的視頻的技術(shù)中，一般在多個(gè)攝像機(jī)輸入圖像中被拍攝了相同的被照體時(shí)，使用這些被拍攝的圖像信息，對(duì)于該被照體生成未拍攝到的觀察位置或觀察方向的圖像信息。即，對(duì)于在多個(gè)攝像機(jī)輸入圖像中被拍攝的被照體，使用各攝像機(jī)輸入圖像的一部分生成圖像信息。

作為該圖像生成技術(shù)例如有適應(yīng)過(guò)濾方法(例如參考非專利文獻(xiàn)4)或表參考法(例如參考非專利文獻(xiàn)5)。

非專利文獻(xiàn)1：Hideaki?Kimata?and?Masaki?Kitahara，″Preliminary?results?on?multiple?view?video?coding(3DAV)，″document?M10976?MPEGRedmond?Meeting，July，2004.