[發明專利]一種分區域的3D視頻映射方法

有效

• 申請號: 201410524561.1
• 申請日: 2014-10-08
• 公開（公告）號: CN104270624A
• 公開（公告）日: 2015-01-07
• 發明（設計）人: 王安紅;邢志偉;金鑒;武迎春;李東紅
• 申請（專利權）人: 太原科技大學
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 太原市科瑞達專利代理有限公司 14101
• 代理人: 王思俊

1.一種分區域的3D視頻映射方法，其特征在于具體操作方法為：

第一步：攝取3D視頻兩個相鄰視點的紋理圖和深度圖，攝取的兩個視點分別記為視點V₁和視點V₃，假設用視點V₁和視點V₃來合成中間的虛擬視點V₂：

對于3D映射后產生的空洞，應用分類處理：首先，對于尺寸小于等于兩個像素的空洞，稱為“裂縫”，將利用同一視點中相鄰像素進行插值來填補；而對于尺寸大于兩個像素的空洞，稱為“非遮擋空洞”，則使用另外一個視點的信息來填補，因此需區分開“非遮擋空洞”和“裂縫”，通過計算一個閾值ΔZ_max來區分二者：

ΔZmax=510L·fx·(1znear-1zfar)---(1)]]>

如果深度差值大于ΔZ_max，則會產生“非遮擋空洞”，否則是“裂縫”，其中，z_near和z_far是自然場景與攝像機之間的距離范圍，也可稱為深度范圍，L是兩個視點攝相機之間的距離，即基線長度，f_x是照相機焦距；

第二步：從視點V₁或者視點V₃中任選取一個視點為主視點，檢測主視點深度圖中的邊界：

首先計算主視點深度圖中每兩個相鄰像素之間的深度值之差ΔZ，然后根據ΔZ_max進行邊界檢測，

F(x,y)=1,ΔZL=d(x,y)-d(x-1,y)≥ΔZmax-1,ΔZR=d(x+1,y)-d(x,y)≤-ΔZmax0,otherwise---(2)]]>

d(x，y)代表(x，y)處的深度值，即：如果F(x，y)＝1，則認為相鄰像素(x，y)和(x-1，y)之間有一個左邊界，(x，y)屬于前景，(x-1，y)屬于背景，此時將會在虛擬視點V₂中發生“遮擋”；如果F(x，y)＝-1，認為(x+1，y)和(x，y)之間有一個右邊界，(x，y)屬于前景，(x+1，y)屬于背景，此時會在虛擬視點V₂中引起“非遮擋空洞”；如果F(x，y)等于0，則相鄰像素之間沒有邊界；

第三步：對主視點執行區域分割，并逐區域進行3D映射：

對不同區域采用不同的處理方法以節省計算量，首先考慮背景為平面且與成像平面T平行的情況，稍后再進行一般情況的分區域；假設視點V₁被選為主視點，如果視點V₃被選為主視點，方法類似；3D映射過程按照虛擬視點V₂所需的區域“從左到右”順序進行，可分為六個步驟：

1)求取區域AB在視點V₁中的長度并跳過此區域不做3D映射：

由于區域AB超出了虛擬視點V₂的視覺范圍，所以不需要將其在視點V₁中的對應區域a₁b₁映射到虛擬視點V₂中，設代表區域a₁b₁的長度，同理H_AB代表A、B兩點間距離，Z_A和Z_B分別代表A點、B點的物理深度值，

Ha1b1HAB=fxZB---(3)]]>

由于虛擬視點V₂位于視點V₁和視點V₃的中點處，所以H_AB等于L/2，由于背景是一個平面，Z_A和Z_B具有相同的長度，所以可表示為：

Ha1b1=HAB·fxZB=L·fx2ZB=L·fx2ZA=DA---(4)]]>

其中，D_A代表A點在視點V₁和虛擬視點V₂間的視差，可以通過a₁點的深度值計算得到：

DA=L2·fx·(da1255·(1znear-1zfar)+1zfar)---(5)]]>

2)首先利用公式(8)計算左邊界區域EF在視點V₁中的長度然后由視點V₁中左邊界點f₁的坐標減去來確定“e₁”點的位置，最后將視點V₁中的區域“b₁e₁”映射到虛擬視點V₂的“b₂e₂”區域，因為

HEF=L2·ZF-ZMZM---(6)]]>

He1f1HEF=fxZF---(7)]]>

對比(6)(7)兩式可得，

He1f1=DM-DF---(8)]]>

其中，D_M、D_F的求取方法同上述D_A；

3)求取區域MN在視點V₁中的對應區域“m₁n₁”，將“m₁n₁”映射到虛擬視點V₂中：

現在需要從視點V₁的區域“m₁n₁”繪制虛擬視點V₂的“e₂h₂”區域，由于M對應左邊界，N對應一個右邊界，可以很容易地根據M和N在視點V₁中的坐標位置確定區域“m₁n₁”，然后根據3D映射將此區域映射到虛擬視點V₂中的“e₂h₂”區域；

4)計算區域HI在視點V₃中的長度并將視點V₃中區域“h₃i₃”映射到虛擬視點V₂中：

因為虛擬視點V₂需要的HI區域在視點V₁中被遮擋，因此需要從視點V₃中尋找對應的區域“h₃i₃”，并將其映射到虛擬視點V₂的“h₂i₂”，由三角形相似性得：

HHI=L2·ZI-ZNZN---(9)]]>

因此可得，

Hh3i3=DN-DI---(10)]]>

根據上式計算區域長度并通過將視點V₁中的邊界點“i₁”映射到視點V₃中來尋找對應點“i₃”，利用點“i₃”的坐標減去來確定“h₃”的位置，最后將區域“h₃i₃”映射到虛擬視點V₂的區域“h₂i₂”中，D_N、D_I的求取方法同上述D_A；

5)將視點V₁的區域“i₁j₁”映射到虛擬視點V₂中：

利用主視點V₁的區域“i₁j₁”繪制虛擬視點V₂的“i₂j₂”區域；因為在視點V₁中“i₁j₁”緊鄰“m₁n₁”，而且j₁點是視點V₁成像平面T的終點，因此，可通過將區域“m₁j₁”作為一整個區域映射到虛擬視點V₂中來完成對區域“i₁j₁”的映射，而不再需要確定“i₁j₁”的大小；

6)計算視點V₃中區域“j₃k₃”的長度將區域“j₃k₃”從視點V₃映射到虛擬視點V₂中：

最后，對于虛擬視點V₂需要的區域“j₂k₂”，由于在主視點V₁中不可得，因此需要從視點V₃的相應區域來得到；對此，需要首先確定視點V₃中“j₃”點位置，通過將點“j₁”映射到視點V₃中來得到“j₃”點，其次，由于Z_J＝Z_K，可以通過下式來計算區域長度

Hj3k3=Hj3r3-Hk3r3=L·fxZJ-L·fx2ZK=L·fx2ZJ=DJ---(11)]]>

綜上所述，根據虛擬視點V₂所需區域“從左至右”的順序，通過分區域映射得到了虛擬視點V₂，3D映射過程結束；

一般情況的區域分割：迭代求解法：當背景為非平面時，每個區域的大小將會改變，例如視點V₁中的邊界無效區BNER將會從AB變為AB_n，因此目的變為找到主視點V₁中的區域a₁b_n1的長度并跳過區域a₁b_n1，從b_n1開始映射，對此，提出一種迭代求解b_n1位置的方法：

首先假設A_i是點A經過第i次迭代所得點，在視點V₁的成像平面T中與A點位于同一位置；然后設點B_i和A_i具有相同的物理深度、但與A_i水平方向距離為L/2；

迭代初始條件：i＝0、如公式(4)所示，迭代過程按照以下步驟重復執行：

1)在視點V₁中，使用確定c_i1在深度圖中的位置，c_i1對應場景中的C_i點，此時可得C_i點的深度值及其視差，即視點V₁和虛擬視點V₂間視差；

2)將C_i點的深度值和視差賦給B_i點，通過式(4)計算區域A_iB_i的大小，因此可得：

Hai1bi1=DBi(i=1,2,···,n)---(12)]]>

當遇到以下兩種情況之一時，迭代過程停止：

1)當B_i和B_i-1的深度值之差的絕對值小于ΔZ_max/2時，此時這個深度值之差不會造成映射后的虛擬視點V₂中出現大于一個采樣精度的改變，即認為C_i點收斂于B_n；

2)最大的迭代次數小于5次；

在仿真過程中發現，一般經過一到兩次迭代，C_i點即可收斂于B_n，通過類似的迭代算法可以得到：

Hei1f1=DM-DEi(i=1,2,···,n)---(13)]]>

Hki3r3=HKR·fxZKi=L·fx2ZKi=DKi(i=1,2,···,n)---(14)]]>

HJn3r3=HJR·fxZJn=L·fx2ZJn=2DKJn---(15)]]>

因此，

Hjn3kn3=Hjn3r3-Hkn3r3=2DJn-DKn---(16)]]>

最后，區域HI在非平坦背景中將變化為區域H_nI，因此需要計算視點V₃中對應的區域由于H_nI由區域H_nH和區域HI組成，可以通過式(10)計算；

設在視點V₃中點Q_i是點H第i次迭代所得的點，在成像平面T中與點H在同一位置，因此等于點H_i和點Q_i具有相同的物理深度，由于已知，Q₀的物理深度可由得到，可得：

H0Q0V2V3=ZI-ZH0ZH0=H0Q0L/2---(17)]]>

H0Q0Hh03q03=ZH0fx---(18)]]>

結合以上兩式，得

Hh03h3=Hh03q03=L·fx2(1ZH0-1ZI)=DH0-DI---(19)]]>

所以的初始值設為下一個迭代過程將H_i點的深度值和對應的視差作為變量：

Hhi3h3=Hhi3qi3=DHi-DI(i=1,2,···,n)---(20)]]>

區域的大小可以通過下式計算得到：

Hhn3i3=Hhn3h3+Hh3i3=DHn-DN-2DI---(21)]]>

至此，在3D映射前計算區域大小所必需的未知點，例如B_n、E_n、H_n和K_n可以根據提出的迭代方法計算獲得，然后計算區域的大小并進行分區域映射。