[發(fā)明專利]基于不同相機間距的立體圖像克隆方法

有效

• 申請?zhí)枺?/td>: 201710097015.8
• 申請日: 2017-02-22
• 公開（公告）號: CN106910253B
• 公開（公告）日: 2020-02-18
• 發(fā)明（設(shè)計）人: 侯春萍;劉琦;閻維青;陳華;王致芃
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06T19/20
• 分類號: G06T19/20;G06T3/40;G06T5/50;H04N13/128;H04N13/271
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 劉國威

1.一種基于不同相機間距的立體圖像克隆方法，其特征是，首先進(jìn)行圖像預(yù)處理，之后處理用戶繪制的輪廓以便進(jìn)行后續(xù)的網(wǎng)格變形，之后通過調(diào)整視差來調(diào)整立體圖像克隆區(qū)域的形狀和大小，最后將調(diào)整后的立體圖像克隆區(qū)域融合到目標(biāo)圖像中，其中，調(diào)整視差來迭代調(diào)整立體圖像克隆區(qū)域的形狀和大小即迭代優(yōu)化變形，具體步驟是，

1)視差調(diào)整

調(diào)整方式如下：采用源圖像克隆區(qū)域的視差圖梯度場作為求解下式的引導(dǎo)場G₀，同時迫使調(diào)整后的源圖像克隆區(qū)域邊緣的視差和目標(biāo)立體圖粘貼區(qū)域邊緣的視差相同，通過求解下述加權(quán)泊松等式的最小值獲得調(diào)整后的源圖像克隆區(qū)域的視差圖

其中是為源圖像克隆區(qū)域制定的權(quán)重函數(shù)，用于懲罰平滑的區(qū)域，D_T表示目標(biāo)圖像視差圖，表示源圖像克隆區(qū)域的輪廓，表示調(diào)整后的源圖像克隆區(qū)域的視差圖的梯度場；

2)基于四邊形網(wǎng)格的優(yōu)化變形

2.1場景物體大小與視差的關(guān)系

假定立體相機攝像頭平行設(shè)置，根據(jù)幾何關(guān)系及相似三角形定理，推導(dǎo)出場景物體深度z和相機間距b之間的關(guān)系為：

其中，b表示立體相機間距，f表示相機焦距，z表示場景物體的深度，d＝x_L-x_R表示圖像視差，x_L和x_R表示同一場景物體在左視點圖像和右視點圖像的對應(yīng)橫坐標(biāo)；

根據(jù)幾何關(guān)系及相似三角形定理，推導(dǎo)出場景物體在立體圖像平面上的大小與場景物體深度之間的關(guān)系為

其中，L表示場景物體的大小，x表示場景物體在圖像平面上的大小，由此推導(dǎo)出場景物體在立體圖像平面上的大小x與圖像視差d之間的關(guān)系為：

由上式可知，場景物體L在立體圖像上的大小x與圖像視差d及立體相機間距b有關(guān)，而與立體相機焦距f無關(guān)；

對于同一場景物體L₁，其在源圖像上和目標(biāo)圖像上的大小分別為x₁和x₂，視差分別為d₁和d₂，雙目立體相機間距分別為b₁和b₂，得下述公式：

由上述兩式可得，相機間距不一致時同一場景物體在源圖像和目標(biāo)圖像上的縮放關(guān)系為：

由此，場景物體在立體圖像上的大小不僅與圖像視差有關(guān)，而且與立體相機的相機間距有關(guān)；

2.2優(yōu)化變形

采用透視縮放項、直線約束項、視差一致項、垂直對齊項和位置固定項的權(quán)重組合來指導(dǎo)四邊形網(wǎng)格變形，其中V^l和V^r表示優(yōu)化變形前的左視點圖像網(wǎng)格頂點和右視點圖像網(wǎng)格頂點，和表示優(yōu)化變形后的左視點圖像網(wǎng)格頂點和右視點圖像網(wǎng)格頂點；

(1)透視縮放項定義透視縮放因子為

其中，和分別表示源圖像克隆區(qū)域調(diào)整后的視差和調(diào)整前的視差，b_S和b_T分別表示拍攝源圖像的立體相機間距和拍攝目標(biāo)圖像的立體相機間距，V_i^l表示優(yōu)化變形前的左視點圖像網(wǎng)格的第i個頂點坐標(biāo)；

對于源圖像克隆區(qū)域左視點圖像的任意網(wǎng)格邊其中，V_i^l和分別表示優(yōu)化變形前的左視點圖像網(wǎng)格的第i和第j個頂點坐標(biāo)，其縮放因子定義為

其中，和分別表示優(yōu)化變形前的左視點圖像網(wǎng)格的第i和第j個頂點的透視縮放因子；

透視縮放項定義為

其中，E^l和E^r分別表示源圖像克隆區(qū)域左視點圖像網(wǎng)格邊和右視點圖像網(wǎng)格邊的集合；V_i^l和分別表示優(yōu)化變形前的左視點圖像網(wǎng)格的第i和第j個頂點坐標(biāo)，V_i^r和分別表示優(yōu)化變形前的右視點圖像網(wǎng)格的第i和第j個頂點坐標(biāo)；和分別表示優(yōu)化變形后的左視點圖像網(wǎng)格的第i和第j個頂點坐標(biāo)，和分別表示優(yōu)化變形后的右視點圖像網(wǎng)格的第i和第j個頂點坐標(biāo)；S_ij表示網(wǎng)格邊的縮放因子；

(2)直線約束項

為源圖像左視點圖像的網(wǎng)格邊定義變形后與變形前的長度比為

其中，V_i^l和分別表示優(yōu)化變形前的左視點圖像網(wǎng)格的第i和第j個頂點坐標(biāo)，和分別表示優(yōu)化變形后的左視點圖像網(wǎng)格的第i和第j個頂點坐標(biāo)；

用相同的方法定義源圖像右視點圖像的長度比

直線約束項定義為

其中，E^l和E^r分別表示源圖像克隆區(qū)域左視點圖像網(wǎng)格邊和右視點圖像網(wǎng)格邊的集合，V_i^l和分別表示優(yōu)化變形前的左視點圖像網(wǎng)格的第i和第j個頂點坐標(biāo)，V_i^r和分別表示優(yōu)化變形前的右視點圖像網(wǎng)格的第i和第j個頂點坐標(biāo)；和分別表示優(yōu)化變形后的左視點圖像網(wǎng)格的第i和第j個頂點坐標(biāo)，和分別表示優(yōu)化變形后的右視點圖像網(wǎng)格的第i和第j個頂點坐標(biāo)；

(3)視差一致項

對于每組待計算的水平坐標(biāo)分量其視差應(yīng)與調(diào)整后的視差保持一致，令表示調(diào)整后的視差，視差一致項定義為

其中，表示左視點圖像待計算的水平坐標(biāo)，表示右視點圖像待計算的水平坐標(biāo)；

(4)垂直對齊項

對于每組待計算的垂直坐標(biāo)分量應(yīng)使其調(diào)整后趨近于0，從而消除垂直視差的影響，垂直對齊項定義為

其中，表示左視點圖像待計算的垂直坐標(biāo)，表示右視點圖像待計算的垂直坐標(biāo)；

(5)位置固定項

為防止源圖像克隆區(qū)域的中心位置發(fā)生改變，引入位置固定項固定源圖像克隆區(qū)域左網(wǎng)格的中心位置，令表示初始左網(wǎng)格的中心位置，其中，V^l表示初始的左視點圖像網(wǎng)格頂點坐標(biāo)，V_i^l表示初始的左視點圖像網(wǎng)格的第i個頂點坐標(biāo)，位置固定項定義為

其中，表示優(yōu)化變形后的左視點圖像網(wǎng)格頂點坐標(biāo)，表示優(yōu)化變形后的左視點圖像網(wǎng)格的第i個頂點坐標(biāo)；

優(yōu)化變形的總能量定義為五個能量項的權(quán)重加和，其中五個能量項為透視縮放項、直線約束項、視差一致項、垂直對齊項、位置固定項，權(quán)重加和表示為：

Φ＝ω_sΦ_s+ω_lΦ_l+ω_dΦ_d+ω_vΦ_v+ω_dΦ_d

其中，Φ_s、Φ_l、Φ_d、Φ_v和Φ_d分別表示透視縮放能量、直線約束能量、視差一致能量、垂直對齊能量和位置固定能量，ω_s、ω_l、ω_d、ω_v和ω_d為上述能量對應(yīng)的權(quán)重系數(shù)；通過求解總能量函數(shù)的最小值獲得優(yōu)化變形網(wǎng)格。