[發(fā)明專利]用于使用參數(shù)濾波進(jìn)行視頻編碼和解碼的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 200980108035.4
• 申請(qǐng)日: 2009-01-05
• 公開(kāi)（公告）號(hào): CN101965732A
• 公開(kāi)（公告）日: 2011-02-02
• 發(fā)明（設(shè)計(jì)）人: 波林·萊;珀文·B·潘迪特;尹澎
• 申請(qǐng)（專利權(quán)）人: 湯姆森特許公司
• 主分類號(hào): H04N7/26
• 分類號(hào): H04N7/26;H04N7/36
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 呂曉章

相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)要求2008年1月7日提交的美國(guó)臨時(shí)申請(qǐng)序列號(hào)第61/019525號(hào)(律師案號(hào)第PU080001號(hào))的權(quán)益，通過(guò)引用將其整體合并于此。

技術(shù)領(lǐng)域

本原理總地涉及視頻編碼和解碼，并且更具體地涉及用于使用參數(shù)濾波進(jìn)行視頻編碼的方法和裝置。

背景技術(shù)

在目前科技發(fā)展水平的視頻編碼方案中，使用基于塊的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(MCP)來(lái)利用時(shí)間冗余。對(duì)于多視圖視頻編碼(MVC)場(chǎng)景中的視圖間編碼，還可以應(yīng)用塊匹配例程以執(zhí)行視差補(bǔ)償預(yù)測(cè)(DCP)，由此利用視圖間冗余。多視圖視頻編碼(MVC)是用于多視圖序列的編碼的壓縮框架。多視圖視頻編碼(MVC)序列是從不同視點(diǎn)捕捉相同場(chǎng)景的兩個(gè)或者多個(gè)視頻序列的集合。

然而，存在除了平移位移(translational?displacement)之外的視頻內(nèi)容中的失配，諸如聚焦改變、單視場(chǎng)(monoscopic)視頻中的運(yùn)動(dòng)模糊、以及多視圖視頻編碼中跨不同視圖的照度和/或聚焦失配。此外，可以定位所呈現(xiàn)的失配，使得視頻幀的不同部分(對(duì)于被用作參考的一個(gè)或者多個(gè)幀中的對(duì)應(yīng)區(qū)域)可以經(jīng)受不同類型的改變。例如，對(duì)于(在多視圖視頻編碼中利用的)各照相機(jī)中的不同種類的照相機(jī)設(shè)置，不同類型的模糊度/清晰度失配將被與具有不同深度(depth)的對(duì)象相關(guān)聯(lián)。對(duì)于單視場(chǎng)視頻中的運(yùn)動(dòng)模糊，不同方向上的對(duì)象移動(dòng)可以造成方向模糊(directional?blurring)。這些非平移失配將降低運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)/視差補(bǔ)償預(yù)測(cè)的編碼效率。

在沒(méi)有關(guān)于視頻內(nèi)容中的失配的先前信息的情況下，可以利用雙通道編碼方案，其中首先執(zhí)行初始搜索和濾波器估計(jì)，以基于當(dāng)前幀和參考幀之間的差異來(lái)自適應(yīng)地設(shè)計(jì)濾波器。通過(guò)之前描述的雙通道編碼方案來(lái)實(shí)現(xiàn)更高的編碼效率，因?yàn)槭褂盟烙?jì)的濾波器創(chuàng)建新的參考。然而，這樣的方案顯著地增加了編碼復(fù)雜程度，并且還增加了開(kāi)銷，因?yàn)槲覀儗?duì)于利用此方案編碼的每一幀發(fā)送濾波器系數(shù)。

在視頻編碼的背景下，已經(jīng)提出了參考幀濾波途徑，其中生成新的參考幀來(lái)提高編碼效率。

對(duì)于聚焦改變和/或照相機(jī)搖攝(camera?panning)，提出了被稱作模糊補(bǔ)償?shù)募夹g(shù)，其中使用固定集合的模糊(低通)濾波器來(lái)生成用于視頻編碼的模糊的參考幀。此技術(shù)對(duì)于我們考慮的場(chǎng)景來(lái)說(shuō)有兩個(gè)缺點(diǎn)。第一，僅在幀級(jí)別做出濾波器選擇，即，不考慮將不同的濾波器應(yīng)用于幀的不同部分。第二，此方法依賴非常有限的預(yù)先定義的濾波器集合(僅低通)。

為了更有效地捕捉視頻內(nèi)容中的實(shí)際失配，我們之前提出了一種自適應(yīng)參考濾波途徑，其是一種雙通道編碼方案。例如，為了利用視圖間預(yù)測(cè)來(lái)編碼幀，提出了首先執(zhí)行初始視差估計(jì)。通過(guò)利用視差場(chǎng)作為場(chǎng)景深度的估計(jì)，將視頻幀劃分為與不同的場(chǎng)景深度級(jí)別相對(duì)應(yīng)的區(qū)域。對(duì)于每個(gè)深度級(jí)別，基于當(dāng)前幀和參考幀之間的差異來(lái)自適應(yīng)地設(shè)計(jì)空間濾波器，以使殘留能量最小化。這樣的設(shè)計(jì)途徑能夠處理跨不同的視圖呈現(xiàn)的、取決于深度的聚焦失配。將所估計(jì)的濾波器應(yīng)用于參考幀，以創(chuàng)建經(jīng)過(guò)濾波的參考。對(duì)于每個(gè)塊，編碼器選擇提供最低的速率失真代價(jià)(RD代價(jià))的(經(jīng)過(guò)濾波的或者未經(jīng)過(guò)濾波的)預(yù)測(cè)符，由此確保最高的編碼效率。在此自適應(yīng)參考濾波(ARF)方法中，與固定的濾波器集合途徑相比，開(kāi)銷(逐幀的濾波器系數(shù))將更大。更重要地，此雙通道方法顯著地增加了編碼復(fù)雜程度。如果我們不具有有關(guān)失配的先前知識(shí)，則額外的步驟(初始搜索以及濾波器估計(jì))是必須的。

發(fā)明內(nèi)容

通過(guò)本發(fā)明的原理來(lái)處理現(xiàn)有技術(shù)的這些和其它缺陷和缺點(diǎn)，本發(fā)明針對(duì)用于視頻編碼和解碼的方法和裝置。

根據(jù)本原理的一方面，提供了一種裝置。所述裝置包括用于編碼畫(huà)面的編碼器。所述編碼器執(zhí)行至少一個(gè)參考畫(huà)面的濾波以獲得至少一個(gè)經(jīng)過(guò)濾波的參考畫(huà)面，并且使用所述至少一個(gè)經(jīng)過(guò)濾波的參考畫(huà)面來(lái)預(yù)測(cè)性地編碼所述畫(huà)面。

根據(jù)本原理的另一方面，提供了一種方法。所述方法包括編碼畫(huà)面。所述編碼步驟包括：執(zhí)行至少一個(gè)參考畫(huà)面的濾波以獲得至少一個(gè)經(jīng)過(guò)濾波的參考畫(huà)面，以及使用所述至少一個(gè)經(jīng)過(guò)濾波的參考畫(huà)面來(lái)預(yù)測(cè)性地編碼所述畫(huà)面。

根據(jù)本發(fā)明的又一方面，提供了一種裝置。所述裝置包括用于解碼畫(huà)面的解碼器。所述解碼器執(zhí)行至少一個(gè)參考畫(huà)面的濾波以獲得至少一個(gè)經(jīng)過(guò)濾波的參考畫(huà)面，并且使用所述至少一個(gè)經(jīng)過(guò)濾波的參考畫(huà)面來(lái)預(yù)測(cè)性地解碼所述畫(huà)面。