[發(fā)明專利]產(chǎn)生立體影片深度圖的方法

有效

• 申請?zhí)枺?/td>: 201110129959.1
• 申請日: 2011-05-19
• 公開（公告）號: CN102307307A
• 公開（公告）日: 2012-01-04
• 發(fā)明（設(shè)計）人: 李坤庭;陳炳宇;劉晟齊;張哲維;林修宏
• 申請（專利權(quán)）人: 福州華映視訊有限公司;中華映管股份有限公司
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 福州元創(chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 蔡學(xué)俊

技術(shù)領(lǐng)域

本發(fā)明是關(guān)于一種產(chǎn)生立體影片的深度圖的方法，特別有關(guān)一種能夠加速產(chǎn)生該立體影片的深度圖的方法。

背景技術(shù)

目前三維立體呈像多半是利用視差原理來實現(xiàn)，藉由產(chǎn)生提供給左眼的影像及提供給右眼的影像，使觀者在適當(dāng)角度觀看畫面時產(chǎn)生三維空間感。雙視角（two-view）立體影片即是利用此原理制成的影片，其每一幅畫面均包含提供給左眼的影像及提供給右眼的影像。利用雙視角影片可計算出畫面中對象的相對距離的深度信息，各像素的深度信息即構(gòu)成深度圖（disparity?map）。配合所得出的深度圖能夠?qū)㈦p視角立體影片進(jìn)一步合成以形成多視角（multi-view）的立體影片。

然而，深度圖（或深度關(guān)系圖）的建構(gòu)非常耗時，在處理雙視角影片時，由于每一幅畫面均須計算出相對的深度圖，其計算量非常龐大。在現(xiàn)今已知的技術(shù)當(dāng)中，能夠計算出相對最精準(zhǔn)的深度圖的便是由Smith等人于CVPR?2009所發(fā)表的“Stereo?Matching?with?Nonparametric?Smoothness?Priors?in?Feature?Space”。但是，此一方法的缺點在于計算時間冗長，以左右眼影像為分辨率720×576的雙視角立體圖片為例，計算其深度圖大略需要二至三分鐘，當(dāng)要計算出雙視角立體影片中每張畫面的深度圖時，其計算成本將會非常高。

有些計算深度圖的算法則是希望可以達(dá)到比較快的速度，不過其深度圖便不夠精確，在目前已知的技術(shù)當(dāng)中，由Gupta及Cho于3DPVT?2010所發(fā)表的“Real-time?Stereo?Matching?using?Adaptive?Binary?Window”便是目前速度最快且效果上可被接受的方法。此一方法的計算速度可以達(dá)到五秒一張，但是其所得到的深度圖仍然相當(dāng)不精準(zhǔn)。三維影片在制作上往往需要高精準(zhǔn)度的深度圖，然利用此一方法所得到的深度圖過于粗略，以致在后續(xù)合成時常有明顯的錯誤發(fā)生。

有鑒于此，如何提升立體影片的深度圖的計算效率，同時維持深度圖的精確度，實為目前企需努力之目標(biāo)。

?

發(fā)明內(nèi)容

本發(fā)明之一目的在于提供一種產(chǎn)生立體影片的深度圖的方法，其能夠加快該立體影片的深度圖的計算速度。

為達(dá)前述目的，本發(fā)明提供一種產(chǎn)生立體影片的深度圖的方法，該立體影片為由前后兩相鄰的一第一畫面及一第二畫面構(gòu)成的影像串流，該方法包含步驟：利用一預(yù)定的算法計算出相應(yīng)于該第一畫面的一第一深度圖；計算該第一畫面與該第二畫面中像素的平均顏色差異量；從該第一畫面選區(qū)復(fù)數(shù)個特征點，找出該等特征點在該第二畫面之位置，并計算該等特征點在該第一畫面與該第二畫面中的平均位移量；以及當(dāng)該平均顏色差異量小于一第一閾值，且當(dāng)該平均位移量小于一第二閾值，則根據(jù)該第一深度圖以及于該第一畫面所取的特征點在該第二畫面的位置，來得出相應(yīng)于該第二畫面的一第二深度圖，否則利用該預(yù)定的算法來計算出該第二深度圖。

本發(fā)明中，某些相似的畫面中可利用前一張畫面的深度圖來推估后一張畫面的深度圖，其計算量會比利用特定算法重新計算深度圖來得小，因此應(yīng)用本發(fā)明來計算立體影片的深度圖可以減少運算時間，加快立體影片的深度圖計算速度。經(jīng)過實測，大約55%的畫面可以利用光流法來做深度值計算的加速，因此計算整體影片的深度信息的速度將可大幅地增加。此外，利用光流法及前一張畫面的深度圖所推估出來的深度圖無法避免的勢必會產(chǎn)生破洞，此時可以找出后一張畫面中對應(yīng)該破洞的像素，參考其周圍鄰近像素（如周圍3×3范圍內(nèi)的像素）中顏色最相近的像素，取該顏色最相近的像素的深度值作為對應(yīng)該破洞的像素的深度值。

?

附圖說明

圖1顯示本發(fā)明的產(chǎn)生立體影片的深度圖的方法的流程示意圖。

圖2顯示本發(fā)明中決定前后兩畫面中像素的平均顏色差異量的閾值的流程示意圖。

圖3顯示本發(fā)明中決定前后兩畫面中特征點的平均位移量的閾值的流程示意圖。

圖4顯示本發(fā)明中利用光流法及前一張畫面的深度圖推估后一張畫面的深度圖的流程示意圖。

圖5顯示本發(fā)明利用內(nèi)插法得出被包圍的像素的特征向量的說明示意圖。

S12~S18???????步驟??????????????S22~S28???????步驟

S32~S38???????步驟??????????????S42~S46???????步驟

【主要組件符號說明】