[發(fā)明專利]視差矢量生成方法及裝置

有效

• 申請?zhí)枺?/td>: 201310007164.2
• 申請日: 2013-01-09
• 公開（公告）號: CN103916652B
• 公開（公告）日: 2018-01-09
• 發(fā)明（設(shè)計(jì)）人: 虞露;趙寅;張熠辰
• 申請（專利權(quán)）人: 浙江大學(xué)
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N19/597
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責(zé)任公司11240
• 代理人: 吳貴明,張永明

技術(shù)領(lǐng)域

本發(fā)明涉及通信領(lǐng)域，具體而言，涉及一種視差矢量生成方法及裝置。

背景技術(shù)

三維視頻(3D video)包括多路(通常為2路或3路)紋理圖像序列(其中每一幀為表示被拍攝物體色彩或亮度的圖像)和深度圖像序列(其中每一幀為表示被拍攝物體與拍攝像機(jī)之間的距離的圖像)。通常，一路紋理圖像序列對應(yīng)于一路深度圖像序列，稱為多視點(diǎn)視頻加深度(Multi-View Video Plus Depth，簡稱為MVD)格式；有時(shí)，紋理圖像序列可能沒有對應(yīng)的深度圖像序列，例如兩路紋理圖像序列只有其中一路具有對應(yīng)的深度圖像序列，稱為無配對的MVD(unpaired MVD)。三維視頻通過視點(diǎn)合成(view synthesis)技術(shù)產(chǎn)生虛擬視點(diǎn)視頻序列。另外，多路紋理圖像之間的分辨率通常相等，多路深度圖像之間的分辨率也通常相等；一路紋理圖像和深度圖像的分辨率可能相等，或者深度圖像的分辨率小于紋理圖像，例如深度圖像的水平(horizontal)和豎直(vertical)分辨率均為紋理圖像相應(yīng)值的一半，也稱紋理圖像的分辨率(總像素?cái)?shù))為深度圖像分辨率的4倍。

三維視頻編碼中可以借助視點(diǎn)間的相關(guān)性，例如兩個(gè)視點(diǎn)的紋理圖像之間具有一定的相似度(包括像素值、運(yùn)動(dòng)信息的相似度等)，兩個(gè)視點(diǎn)的深度圖像之間也具有一定的相似度。但是，多個(gè)視點(diǎn)之間存在視差，即視點(diǎn)間的對應(yīng)點(diǎn)(correspondence)之間存在位置偏移，兩個(gè)視點(diǎn)間的對應(yīng)點(diǎn)通常由視差矢量指示。請參考圖1，圖1是根據(jù)相關(guān)技術(shù)的視差矢量和視差矢量起始位置之間的關(guān)系示意圖，例如，當(dāng)視點(diǎn)1圖像中的中心坐標(biāo)為P1(150，100)的像素區(qū)域A(像素區(qū)域例如一個(gè)像素點(diǎn)或者一個(gè)矩形像素塊等)對應(yīng)于視點(diǎn)2圖像中的中心坐標(biāo)為的P2(180，95)像素區(qū)域B，則對于A和B，由視點(diǎn)1圖像中P1指向視點(diǎn)2圖像中P2的視差矢量DV1為(30，-5)，30為水平分量，-5為豎直分量，即有P2＝P1+DV1，P1＝P2-DV1，矢量方向可簡述為“由視點(diǎn)2圖像指向視點(diǎn)1圖像”，或“由視點(diǎn)2指向視點(diǎn)1”；由視點(diǎn)2圖像中P2指向視點(diǎn)1圖像中P1的視差矢量DV2為(-30，5)，即有P1＝P2+DV2，P2＝P1-DV2；相應(yīng)的有DV2＝-DV1。不區(qū)分矢量方向籠統(tǒng)地說，DV1和DV2均為視點(diǎn)1和視點(diǎn)2之間的視差矢量，僅指向相反。特別的，當(dāng)兩個(gè)視點(diǎn)圖像呈平行攝像機(jī)排列(1D parallel camera arrangement，即光軸平行、焦距相等、光心處于同一水平直線上、且圖像分辨率相同)時(shí)，兩個(gè)視點(diǎn)圖像間任意像素的視差矢量的豎直分量為0(即豎直視差為0)；此時(shí)，僅需要指示視差矢量的水平分量即可；這種情況下，水平視差，即視差的水平分量，也簡稱為視差，以上P2＝P1+DV1等坐標(biāo)運(yùn)算可以退化為水平方向標(biāo)量運(yùn)算。

視差和深度之間存在一定的幾何關(guān)系。某個(gè)像素區(qū)域A對應(yīng)的在視點(diǎn)1圖像和視點(diǎn)2圖像間的視差可以根據(jù)該像素區(qū)域的深度值和這兩個(gè)視點(diǎn)間的攝像機(jī)參數(shù)轉(zhuǎn)換得到。例如，當(dāng)兩個(gè)視點(diǎn)圖像為通常所說的平行攝像機(jī)排列時(shí)，豎直視差為0，各圖像區(qū)域(例如一個(gè)像素點(diǎn))的水平視差值DV可以通過DV＝(f×L/Z)+du得到，其中f為視點(diǎn)1圖像對應(yīng)的攝像機(jī)的焦距，L為視點(diǎn)1和視點(diǎn)2之間的基線距離，Z為由圖像區(qū)域?qū)?yīng)的深度值D指示的像素點(diǎn)所在物體與對應(yīng)攝像機(jī)的距離，du為視點(diǎn)1和視點(diǎn)2圖像中心點(diǎn)(principle point)之間的水平偏移。此時(shí)，各具有相同深度值的圖像區(qū)域具有相同的水平視差值，即水平視差值與其所在的圖像區(qū)域位置無關(guān)；通常可以先建立由深度值映射到水平視差值的映射表(look-up table)；對各區(qū)域，由其位置和深度對應(yīng)的視差，找到該區(qū)域在另一個(gè)視點(diǎn)中的對應(yīng)位置。需要說明的是，同一物體在兩個(gè)不同視角圖像之間的視差隨著這兩個(gè)視角的基線距離(baseline)增加而增加，因此，至少需要說明視差矢量對應(yīng)的兩個(gè)視點(diǎn)才能明確這個(gè)視差矢量的大小。

當(dāng)兩個(gè)視點(diǎn)的圖像不滿足平行攝像機(jī)排列時(shí)，則可以通過更為復(fù)雜的三維投影(3D warping)方程，由各圖像區(qū)域的位置和深度(以及攝像機(jī)參數(shù))得到各圖像區(qū)域在另一視點(diǎn)中的投影位置，從而得到視差。此時(shí)水平視差、豎直視差與視差所在圖像區(qū)域的位置有關(guān)。上述平行攝像機(jī)排列下的視差計(jì)算為此情況的一個(gè)常用的簡單特例。