[發(fā)明專利]精制深度圖

有效

• 申請?zhí)枺?/td>: 200980132114.9
• 申請日: 2009-08-06
• 公開（公告）號: CN102124742A
• 公開（公告）日: 2011-07-13
• 發(fā)明（設(shè)計）人: 田棟;珀文·比巴斯·潘迪特;尹鵬
• 申請（專利權(quán)）人: 湯姆遜許可公司
• 主分類號: H04N7/50
• 分類號: H04N7/50
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責任公司 11240
• 代理人: 余剛

相關(guān)申請的交叉引用

本申請享有于2008年8月20日提出的申請?zhí)枮?1/189,552、名稱為“精制深度圖”的美國臨時申請的優(yōu)先權(quán)，其內(nèi)容在此被整體引述用于各種目的。

技術(shù)領(lǐng)域

本發(fā)明描述的實施例涉及編碼系統(tǒng)。多個特定的實施例涉及精制深度圖。

背景技術(shù)

目前普遍認為多視圖視頻編碼是一項廣泛應(yīng)用于各個領(lǐng)域的關(guān)鍵技術(shù)，這些領(lǐng)域包括自由視點和三維視頻應(yīng)用、家庭娛樂設(shè)施和監(jiān)視設(shè)施。另外，深度數(shù)據(jù)可以和每個視圖相關(guān)聯(lián)。深度數(shù)據(jù)通常是視圖合成所必需的。多視圖應(yīng)用中，往往涉及到大量的視頻和深度數(shù)據(jù)。因此，目前至少存在對框架結(jié)構(gòu)的需求，這種框架結(jié)構(gòu)有助于改進當前視頻編碼方案中獨立視圖同步播放過程中的編碼效率。

多視圖視頻源包括同一場景的多個視圖。因而，在多個視圖影像之間往往存在很高的關(guān)聯(lián)性。因此，除時間冗余之外還可以利用視圖冗余。比如，可以通過跨越不同視圖進行視圖預(yù)測的方法來利用視圖冗余。

實際上，三維視頻系統(tǒng)可以編碼部分視圖，而其他視圖將通過視圖合成進行重構(gòu)。當需要更高質(zhì)量時，可以發(fā)送那些被跳過的視圖的殘留信號。此外，合成的圖像可以在編碼后續(xù)圖像時用作參考。

發(fā)明內(nèi)容

根據(jù)本發(fā)明的一個整體方面，訪問一組圖像中一個圖像的深度信息。訪問所述圖像的修改的深度信息。確定一種精制圖像，其基于深度信息和所述修改的深度信息之間的差異。提供所述精制圖像和所述深度信息用于處理所述一組圖像中的一個或多個圖像。

根據(jù)另一個整體方面，訪問一組圖像中一個圖像的深度信息。訪問一個精制圖像，其基于所述圖像的深度信息和所述圖像修改的深度信息之間的差異。確定所述圖像修改的深度信息。通過所述修改的深度信息處理所述一組圖像中的一個或多個圖像。

本發(fā)明中結(jié)合附圖及說明，提供了一個或多個實施例的詳細說明。即使本發(fā)明中的實施例是通過一種具體的方式描述的，但這里必須清楚地指出所述實施例仍然可以由其他不同方式配置或體現(xiàn)。例如，一個實施例可以作為一種方法來實施；其也可體現(xiàn)為一種設(shè)備，例如，一種配置用于執(zhí)行一組操作的裝置或一種儲存可執(zhí)行一組操作指令的裝置；其還可體現(xiàn)為一種信號。結(jié)合相應(yīng)的附圖和權(quán)利要求的詳細描述，能夠清楚地了解本發(fā)明的其他方面和特征。

附圖說明

圖1是一個編碼器的實例示意圖；

圖2是一個解碼器的實例示意圖；

圖3是一個視頻發(fā)送系統(tǒng)的實例示意圖；

圖4是一個視頻接收系統(tǒng)的實例示意圖；

圖5是一個視頻處理設(shè)備的實例示意圖；

圖6是一個發(fā)送和接收帶有深度信息的多視圖視頻的系統(tǒng)的實例示意圖；

圖7是一個用3個帶有深度信息(K＝3)輸入視圖生成9個(N＝9)輸出視圖的框架結(jié)構(gòu)的實例示意圖；

圖8是一個使用精制深度圖創(chuàng)建一種虛擬參考視圖的實例的示意圖；

圖9是一個編碼過程的實例示意圖；

圖10是一個進一步闡釋圖9的步驟920和圖12的步驟1210的示意圖；

圖11是一個使用精制深度圖創(chuàng)建一種虛擬的參考視圖的另一個實例的示意圖；

圖12是一個編碼處理過程的實例示意圖；

圖13是一個解碼處理過程的實例示意圖；

圖14是一個編碼處理過程的實例示意圖；

圖15是一個解碼處理過程的實例示意圖；

圖16是一個編碼處理過程的實例示意圖；

圖17是一個解碼處理過程的實例示意圖；

圖18是一個編碼處理過程的實例示意圖。

具體實施方式

通常，涉及本發(fā)明原理和至少一個實施例，需要理解的是，在某些情況下一個后續(xù)的視圖可能通過把視圖1扭曲(warp)到后續(xù)視圖的位置來以視圖1作為參考視圖。這一扭曲通常需要或用到所述參考視圖1的深度。大量的剩余使所述后續(xù)視圖得以預(yù)測編碼，并且我們可以精制視圖1的深度從而得到更好的編碼結(jié)果。這樣的處理方法產(chǎn)生兩個深度圖(depth?map，DM)。可以發(fā)送兩個深度圖，或者如本申請各種實施例所述，發(fā)送一個深度圖和一個精制圖像(refinement)。

一個深度圖有助于編碼，并且原始的深度圖有助于所述解碼器中的渲染(為觀眾合成一個虛擬視圖)。編碼深度圖可用于生成附加參考視圖(用于編碼/解碼)。渲染深度圖可用于為用戶生成附加的視圖。這兩種用途可能有不同的質(zhì)量評估方法。例如，有助于編碼的深度圖可能會產(chǎn)生主觀上看起來比較糟糕的視圖。無論如何，發(fā)送兩種深度圖都是昂貴的。