[發(fā)明專利]使用暗示參考幀的視頻編碼系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201280004566.0
• 申請(qǐng)日: 2012-01-03
• 公開（公告）號(hào): CN103299644B
• 公開（公告）日: 2017-06-16
• 發(fā)明（設(shè)計(jì)）人: 張珂;張大中;D·S·普萊斯;H-J·吳;周小松
• 申請(qǐng)（專利權(quán)）人: 蘋果公司
• 主分類號(hào): H04N11/02
• 分類號(hào): H04N11/02
• 代理公司: 中國(guó)國(guó)際貿(mào)易促進(jìn)委員會(huì)專利商標(biāo)事務(wù)所11038
• 代理人: 李玲

背景技術(shù)

視頻編碼/解碼系統(tǒng)在許多通信環(huán)境中得到廣泛的應(yīng)用。它們通常在第一位置捕捉視聽內(nèi)容，根據(jù)各種帶寬壓縮操作來編碼內(nèi)容，將經(jīng)編碼的內(nèi)容傳輸?shù)降诙恢茫⒔獯a內(nèi)容以供在第二位置處呈現(xiàn)。對(duì)于視頻內(nèi)容，編碼和解碼通常利用內(nèi)容中的時(shí)間的和空間的冗余，使用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)技術(shù)來降低編碼信號(hào)的帶寬。

運(yùn)動(dòng)補(bǔ)償技術(shù)涉及使用一個(gè)或多個(gè)預(yù)先編碼的幀作為預(yù)測(cè)的基礎(chǔ)，來對(duì)新輸入幀進(jìn)行預(yù)測(cè)。視頻編碼器和解碼器兩者都存儲(chǔ)被指定為“參考幀”的選擇幀的解碼版本。當(dāng)要根據(jù)運(yùn)動(dòng)補(bǔ)償技術(shù)來編碼新輸入幀時(shí)，編碼器在參考幀中搜索密切地匹配輸入幀的內(nèi)容的內(nèi)容。當(dāng)發(fā)現(xiàn)匹配時(shí)，編碼器通常向解碼器標(biāo)識(shí)匹配的參考幀，提供標(biāo)識(shí)匹配的內(nèi)容相對(duì)于輸入內(nèi)容的空間位移的運(yùn)動(dòng)矢量，并對(duì)表示輸入數(shù)據(jù)和參考幀的匹配內(nèi)容之間區(qū)別的殘差數(shù)據(jù)（residual data）進(jìn)行編碼。解碼器與編碼器存儲(chǔ)相同組的參考幀。當(dāng)給解碼器提供了參考幀的標(biāo)識(shí)符、運(yùn)動(dòng)矢量以及經(jīng)編碼的殘差數(shù)據(jù)時(shí)，解碼器可以恢復(fù)每一個(gè)輸入幀的副本以供顯示。通常將幀解析為數(shù)據(jù)的空間陣列（此處叫做“像素塊”），并可以為輸入幀的每一個(gè)像素塊提供運(yùn)動(dòng)矢量和經(jīng)編碼的殘差數(shù)據(jù)。

因此，運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)要求視頻編碼器和解碼器兩者都存儲(chǔ)預(yù)定數(shù)量的參考幀，供用于編碼和解碼。諸如H.263和H.264之類的現(xiàn)代編碼協(xié)議對(duì)將被存儲(chǔ)在編碼器和解碼器中的參考幀的數(shù)量定義了預(yù)定的限制。如此，通常給編碼器和解碼器提供了只存儲(chǔ)預(yù)定數(shù)量的參考圖片的高速緩存器（cache）。在操作過程中，如果參考圖片高速緩存器存儲(chǔ)了最大數(shù)量的參考圖片，并且將添加新參考圖片，那么將從高速緩存器移除先前存儲(chǔ)的參考圖片以容納新參考圖片。此后，移除的參考不能被用作用于預(yù)測(cè)新輸入幀的基礎(chǔ)。

參考圖片高速緩存器的有限的深度對(duì)于許多編碼應(yīng)用不能令人滿意。在其中圖像內(nèi)容可包括相對(duì)靜止背景上方的移動(dòng)前景內(nèi)容的應(yīng)用中，背景元素很可能具有非常高的時(shí)間冗余，并可被高效地編碼。然而，如果前景元素使背景元素模糊了如此長(zhǎng)的持續(xù)時(shí)間，以至于參考圖片高速緩存器已移除包括該背景元素的任何參考幀，那么如果前景元素再次移動(dòng)并暴露之前被模糊的背景元素，則視頻編碼器將不能預(yù)測(cè)性地對(duì)它進(jìn)行編碼。

因此，本領(lǐng)域中需要一種預(yù)測(cè)編碼系統(tǒng)，該系統(tǒng)有效地?cái)U(kuò)展運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)技術(shù)的范圍以包括已從編碼器和解碼器高速緩存器中移除的參考圖片的內(nèi)容。

附圖說明

圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的視頻編碼系統(tǒng)。

圖2是根據(jù)本發(fā)明的一個(gè)實(shí)施例的視頻編碼器和視頻解碼器的簡(jiǎn)化功能框圖。

圖3示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的方法。

圖4示出了在示例性參考幀組的上下文中的圖3的實(shí)施例的操作。

圖5示出了另一個(gè)示例性輸入數(shù)據(jù)組，該輸入數(shù)據(jù)組示出了本發(fā)明的實(shí)施例的操作。

圖6示出了可以在本發(fā)明的實(shí)施例的操作過程中獲取的示例性圖像模型。

圖7示出了可以在本發(fā)明的實(shí)施例的操作過程中獲取的另一個(gè)示例性圖像模型。

圖8示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的通信協(xié)議。

圖9示出了根據(jù)本發(fā)明的另一個(gè)實(shí)施例的另一個(gè)通信協(xié)議。

圖10是根據(jù)另一實(shí)施例的視頻編碼系統(tǒng)的簡(jiǎn)化框圖。

具體實(shí)施方式

本發(fā)明的各實(shí)施例提供從在編碼過程中發(fā)展而成的多個(gè)參考幀構(gòu)建暗示參考幀（implied reference frame）的視頻編碼/解碼系統(tǒng)。對(duì)參考圖片的經(jīng)編碼數(shù)據(jù)進(jìn)行解碼，并將其存儲(chǔ)在參考圖片高速緩存器中?？梢詮亩鄠€(gè)參考幀導(dǎo)出暗示參考幀，并可以將其存儲(chǔ)在所述參考圖片高速緩存器中。此后，可以使用暗示參考幀作為預(yù)測(cè)的源，對(duì)新輸入數(shù)據(jù)進(jìn)行編碼。可以使用該方法來標(biāo)識(shí)可以在比較長(zhǎng)的時(shí)間段內(nèi)在視頻中持續(xù)的、可以由系統(tǒng)在常規(guī)參考幀組裝（assembly）和移除下捕捉的諸如背景元素之類的視覺元素?？梢栽诰幋a器和解碼器兩者中構(gòu)建暗示參考幀，以充當(dāng)預(yù)測(cè)的源。