[發(fā)明專利]一種自然三維電視系統(tǒng)

有效

• 申請?zhí)枺?/td>: 200810062854.7
• 申請日: 2008-07-07
• 公開（公告）號: CN101312542A
• 公開（公告）日: 2008-11-26
• 發(fā)明（設(shè)計(jì)）人: 張明;李東曉;謝賢海;王維東;謝磊;徐元欣;陳惠芳;鄭偉
• 申請（專利權(quán)）人: 浙江大學(xué);杭州國芯科技有限公司
• 主分類號: H04N15/00
• 分類號: H04N15/00;H04N13/00;H04N7/26;G06T7/00
• 代理公司: 杭州求是專利事務(wù)所有限公司
• 代理人: 張法高

1.一種自然三維電視系統(tǒng)，其特征在于，由三目立體相機(jī)獲取場景的彩色圖像，選取其中一路相機(jī)作為主相機(jī)，其余相機(jī)作為輔相機(jī)；獲取的彩色圖像經(jīng)圖像校正模塊進(jìn)行亮度和色彩補(bǔ)償后，通過內(nèi)容制作模塊提取出三路碼流，三路碼流為主相機(jī)彩色圖像、主相機(jī)深度圖像和輔相機(jī)的遮擋信息；接著用標(biāo)準(zhǔn)編碼器進(jìn)行壓縮編碼，產(chǎn)生的壓縮碼流在信道上傳輸至標(biāo)準(zhǔn)解碼器，經(jīng)標(biāo)準(zhǔn)解碼器重新解碼成主相機(jī)彩色圖像、主相機(jī)深度圖像和輔相機(jī)的遮擋信息三路碼流；解碼成的三路碼流通過視點(diǎn)重構(gòu)模塊，重構(gòu)出主相機(jī)視點(diǎn)、輔相機(jī)視點(diǎn)和虛擬視點(diǎn)，經(jīng)顯示處理模塊合成一個3D顯示器顯示的立體圖像，通過3D顯示設(shè)備顯示；

當(dāng)信道帶寬受限時，可丟棄遮擋信息和深度信息，丟棄遮擋信息優(yōu)先，當(dāng)標(biāo)準(zhǔn)解碼器接收到的視頻碼流包含主相機(jī)的彩色圖像和深度信息時，由標(biāo)準(zhǔn)解碼器負(fù)責(zé)解碼后，視點(diǎn)重構(gòu)模塊只重構(gòu)主相機(jī)視點(diǎn)和虛擬視點(diǎn)，經(jīng)顯示處理模塊處理后，送至3D顯示器顯示；當(dāng)標(biāo)準(zhǔn)解碼器接收到的視頻碼流包含主相機(jī)的彩色圖像時，由標(biāo)準(zhǔn)解碼器負(fù)責(zé)解碼后，通過視點(diǎn)重構(gòu)模塊和顯示處理模塊后，直接送至2D顯示器；

所述的三目立體相機(jī)的所有相機(jī)呈平行光軸一維排列，相機(jī)之間的基線距離相等，相機(jī)中心光軸都垂直于相機(jī)連線平面，所有相機(jī)都是普通的相機(jī)；

或者，所有相機(jī)呈平行光軸一維排列，相機(jī)之間的基線距離相等，相機(jī)中心光軸都垂直于相機(jī)連線平面，主相機(jī)是普通的相機(jī)，輔相機(jī)內(nèi)部的CCD作平移，其中在主相機(jī)左邊的輔相機(jī)內(nèi)部CCD向左平移h，在主相機(jī)右邊的輔相機(jī)內(nèi)部CCD向右平移h，h的計(jì)算公式如下：

其中f是輔相機(jī)鏡頭焦距，b是輔相機(jī)離主相機(jī)的距離，Zc是拍攝場景相同時，拍攝場景到主相機(jī)與輔相機(jī)連線的垂直距離；

所述的內(nèi)容制作模塊，包括：

深度計(jì)算單元，用于從三目立體相機(jī)中提取主相機(jī)的深度圖像；

基于深度的圖像渲染DIBR單元，是利用主相機(jī)的彩色圖像和深度圖像渲染出輔相機(jī)所在位置的圖像，部分無法渲染的空洞區(qū)域不作填充處理；

加法器，把每個輔相機(jī)的原始圖像減去用基于深度的圖像渲染DIBR單元渲染出的圖像，其殘差就是部分無法渲染的空洞區(qū)域，即遮擋信息；

所述的視點(diǎn)重構(gòu)模塊包括：

基于深度的圖像渲染DIBR單元，是利用主相機(jī)視點(diǎn)的彩色圖像和深度圖像渲染出輔相機(jī)視點(diǎn)所在位置的圖像，以及其他位置的虛擬視點(diǎn)，部分無法渲染的空洞區(qū)域不作填充處理；

加法器，用基于深度的圖像渲染DIBR單元渲染出的輔相機(jī)視點(diǎn)圖像，加上對應(yīng)的遮擋信息，重構(gòu)出完整的輔相機(jī)視點(diǎn)；

空洞填充單元，利用空洞區(qū)域鄰接的圖像和輔相機(jī)視點(diǎn)的遮擋信息，填補(bǔ)用基于深度的圖像渲染DIBR單元重構(gòu)出的虛擬視點(diǎn)的空洞。

2.根據(jù)權(quán)利要求1所述的一種自然三維電視系統(tǒng)，其特征在于，所述的圖像校正模塊，包括亮度和色彩補(bǔ)償，以主相機(jī)的彩色圖像為基準(zhǔn)，校正輔相機(jī)的彩色圖像。

3.根據(jù)權(quán)利要求1所述的一種自然三維電視系統(tǒng)，其特征在于，所述的標(biāo)準(zhǔn)編、解碼器，是指使用AVS、MPEG-x和H.26x協(xié)議的編解碼器；標(biāo)準(zhǔn)編碼器的輸入是主相機(jī)彩色圖像、主相機(jī)深度圖像和輔相機(jī)的遮擋信息三路碼流；采用一種分層編碼結(jié)構(gòu)，把主相機(jī)彩色圖像作為基本層，主相機(jī)深度圖像作為第一增強(qiáng)層，輔相機(jī)的遮擋信息作為第二增強(qiáng)層。

4.根據(jù)權(quán)利要求1所述的一種自然三維電視系統(tǒng)，其特征在于，所述的3D顯示器，是指一種能提供裸眼的、適合多人多角度觀察的立體顯示設(shè)備。