[發(fā)明專利]一種立體圖像變焦方法

有效

• 申請?zhí)枺?/td>: 201811037756.8
• 申請日: 2018-09-06
• 公開（公告）號: CN109413404B
• 公開（公告）日: 2019-10-25
• 發(fā)明（設(shè)計）人: 邵楓;費延佳;李福翠
• 申請（專利權(quán)）人: 寧波大學(xué)
• 主分類號: H04N13/106
• 分類號: H04N13/106;H04N13/128
• 代理公司: 寧波奧圣專利代理事務(wù)所(普通合伙) 33226
• 代理人: 周玨

1.一種立體圖像變焦方法，其特征在于包括以下步驟：

步驟一：將待處理的寬度為W且高度為H的立體圖像的左視點圖像、右視點圖像及左視差圖像對應(yīng)記為{L(x,y)}、{R(x,y)}及{d_L(x,y)}；其中，1≤x≤W，1≤y≤H，L(x,y)表示{L(x,y)}中坐標(biāo)位置為(x,y)的像素點的像素值，R(x,y)表示{R(x,y)}中坐標(biāo)位置為(x,y)的像素點的像素值，d_L(x,y)表示{d_L(x,y)}中坐標(biāo)位置為(x,y)的像素點的像素值；

步驟二：將{L(x,y)}分割成M個互不重疊的尺寸大小為22×22的四邊形網(wǎng)格，將{L(x,y)}中的第k個四邊形網(wǎng)格記為U_L,k；然后根據(jù){L(x,y)}中的所有四邊形網(wǎng)格和{d_L(x,y)}，獲取{R(x,y)}中的所有互不重疊的尺寸大小為22×22的四邊形網(wǎng)格，將{R(x,y)}中的第k個四邊形網(wǎng)格記為U_R,k；其中，符號為向下取整運算符號，k為正整數(shù)，1≤k≤M，U_L,k通過其左上、左下、右上和右下4個網(wǎng)格頂點的集合來描述，對應(yīng)表示U_L,k的作為第1個網(wǎng)格頂點的左上網(wǎng)格頂點、作為第2個網(wǎng)格頂點的左下網(wǎng)格頂點、作為第3個網(wǎng)格頂點的右上網(wǎng)格頂點、作為第4個網(wǎng)格頂點的右下網(wǎng)格頂點，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，U_R,k通過其左上、左下、右上和右下4個網(wǎng)格頂點的集合來描述，對應(yīng)表示U_R,k的作為第1個網(wǎng)格頂點的左上網(wǎng)格頂點、作為第2個網(wǎng)格頂點的左下網(wǎng)格頂點、作為第3個網(wǎng)格頂點的右上網(wǎng)格頂點、作為第4個網(wǎng)格頂點的右下網(wǎng)格頂點，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，表示{d_L(x,y)}中坐標(biāo)位置為的像素點的像素值，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，表示{d_L(x,y)}中坐標(biāo)位置為的像素點的像素值，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，表示{d_L(x,y)}中坐標(biāo)位置為的像素點的像素值，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，表示{d_L(x,y)}中坐標(biāo)位置為的像素點的像素值；

采用尺度不變特征轉(zhuǎn)換提取出{L(x,y)}中的所有特征點，將{L(x,y)}中的第q個特征點記為然后根據(jù){L(x,y)}中的每個特征點和{d_L(x,y)}，獲取{R(x,y)}中與{L(x,y)}中的每個特征點匹配的特征點，將{R(x,y)}中與匹配的特征點記為其中，q為正整數(shù)，1≤q≤Q，Q表示{L(x,y)}中的特征點的總個數(shù)，也表示{R(x,y)}中的特征點的總個數(shù)，表示的橫坐標(biāo)位置，表示的縱坐標(biāo)位置，表示的橫坐標(biāo)位置，表示{d_L(x,y)}中坐標(biāo)位置為的像素點的像素值，表示的縱坐標(biāo)位置，

步驟三：根據(jù)用戶指定的聚焦深度偏移量，計算{L(x,y)}中的每個四邊形網(wǎng)格的期望網(wǎng)格，將U_L,k的期望網(wǎng)格記為其中，通過其左上、左下、右上和右下4個網(wǎng)格頂點的集合來描述，對應(yīng)表示的作為第1個網(wǎng)格頂點的左上網(wǎng)格頂點、作為第2個網(wǎng)格頂點的左下網(wǎng)格頂點、作為第3個網(wǎng)格頂點的右上網(wǎng)格頂點、作為第4個網(wǎng)格頂點的右下網(wǎng)格頂點，也對應(yīng)表示各自的期望網(wǎng)格頂點，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，f表示相機(jī)的焦距，e表示待處理的立體圖像的左視點與右視點之間的水平基線距離，Δz表示用戶指定的聚焦深度偏移量；

根據(jù)用戶指定的聚焦深度偏移量，計算{R(x,y)}中的每個四邊形網(wǎng)格的期望網(wǎng)格，將U_R,k的期望網(wǎng)格記為其中，通過其左上、左下、右上和右下4個網(wǎng)格頂點的集合來描述，對應(yīng)表示的作為第1個網(wǎng)格頂點的左上網(wǎng)格頂點、作為第2個網(wǎng)格頂點的左下網(wǎng)格頂點、作為第3個網(wǎng)格頂點的右上網(wǎng)格頂點、作為第4個網(wǎng)格頂點的右下網(wǎng)格頂點，也對應(yīng)表示各自的期望網(wǎng)格頂點，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，表示{d_L(x,y)}中坐標(biāo)位置為的像素點的像素值，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，表示{d_L(x,y)}中坐標(biāo)位置為的像素點的像素值，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，表示{d_L(x,y)}中坐標(biāo)位置為的像素點的像素值，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，表示{d_L(x,y)}中坐標(biāo)位置為的像素點的像素值；

步驟四：{L(x,y)}中的每個四邊形網(wǎng)格對應(yīng)有目標(biāo)四邊形網(wǎng)格，將U_L,k對應(yīng)的目標(biāo)四邊形網(wǎng)格記為同樣，{R(x,y)}中的每個四邊形網(wǎng)格對應(yīng)有目標(biāo)四邊形網(wǎng)格，將U_R,k對應(yīng)的目標(biāo)四邊形網(wǎng)格記為其中，通過其左上、左下、右上和右下4個網(wǎng)格頂點的集合來描述，對應(yīng)表示的作為第1個網(wǎng)格頂點的左上網(wǎng)格頂點、作為第2個網(wǎng)格頂點的左下網(wǎng)格頂點、作為第3個網(wǎng)格頂點的右上網(wǎng)格頂點、作為第4個網(wǎng)格頂點的右下網(wǎng)格頂點，也對應(yīng)表示各自的目標(biāo)網(wǎng)格頂點，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，通過其左上、左下、右上和右下4個網(wǎng)格頂點的集合來描述，對應(yīng)表示的作為第1個網(wǎng)格頂點的左上網(wǎng)格頂點、作為第2個網(wǎng)格頂點的左下網(wǎng)格頂點、作為第3個網(wǎng)格頂點的右上網(wǎng)格頂點、作為第4個網(wǎng)格頂點的右下網(wǎng)格頂點，也對應(yīng)表示各自的目標(biāo)網(wǎng)格頂點，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，以的水平坐標(biāo)位置和垂直坐標(biāo)位置來描述，

步驟五：計算{L(x,y)}和{R(x,y)}中的所有四邊形網(wǎng)格對應(yīng)的目標(biāo)四邊形網(wǎng)格的邊界彎曲能量，記為E_line；

步驟六：用戶通過編輯操作手工選擇對象，然后根據(jù){L(x,y)}和{R(x,y)}中落于用戶選擇的對象內(nèi)的所有四邊形網(wǎng)格的期望網(wǎng)格，計算{L(x,y)}和{R(x,y)}中落于用戶選擇的對象內(nèi)的所有四邊形網(wǎng)格對應(yīng)的目標(biāo)四邊形網(wǎng)格的坐標(biāo)偏移能量，記為E_corr；

步驟七：根據(jù){L(x,y)}和{R(x,y)}中落于用戶選擇的對象內(nèi)的所有特征點，計算{L(x,y)}和{R(x,y)}中落于用戶選擇的對象內(nèi)的所有四邊形網(wǎng)格對應(yīng)的目標(biāo)四邊形網(wǎng)格的立體質(zhì)量能量，記為E_depth；

步驟八：根據(jù){L(x,y)}中落于背景區(qū)域內(nèi)的所有四邊形網(wǎng)格及其對應(yīng)的目標(biāo)四邊形網(wǎng)格、{R(x,y)}中落于背景區(qū)域內(nèi)的所有四邊形網(wǎng)格及其對應(yīng)的目標(biāo)四邊形網(wǎng)格，計算{L(x,y)}和{R(x,y)}中落于背景區(qū)域內(nèi)的所有四邊形網(wǎng)格對應(yīng)的目標(biāo)四邊形網(wǎng)格的背景保持能量，記為E_back；

步驟九：根據(jù)E_line、E_corr、E_depth和E_back，計算{L(x,y)}和{R(x,y)}中的所有四邊形網(wǎng)格對應(yīng)的目標(biāo)四邊形網(wǎng)格的總能量，記為E_total，E_total＝λ₁E_line+λ₂E_corr+λ₃E_depth+λ₄E_back；然后通過最小二乘優(yōu)化求解得到{L(x,y)}中的所有四邊形網(wǎng)格對應(yīng)的最佳目標(biāo)四邊形網(wǎng)格構(gòu)成的集合及{R(x,y)}中的所有四邊形網(wǎng)格對應(yīng)的最佳目標(biāo)四邊形網(wǎng)格構(gòu)成的集合，對應(yīng)記為及接著計算{L(x,y)}中的每個四邊形網(wǎng)格對應(yīng)的最佳目標(biāo)四邊形網(wǎng)格的仿射變換矩陣，將U_L,k對應(yīng)的最佳目標(biāo)四邊形網(wǎng)格的仿射變換矩陣記為并計算{R(x,y)}中的每個四邊形網(wǎng)格對應(yīng)的最佳目標(biāo)四邊形網(wǎng)格的仿射變換矩陣，將U_R,k對應(yīng)的最佳目標(biāo)四邊形網(wǎng)格的仿射變換矩陣記為其中，λ₁、λ₂、λ₃、λ₄均為加權(quán)參數(shù)，min()為取最小值函數(shù)，表示{L(x,y)}中的所有四邊形網(wǎng)格對應(yīng)的目標(biāo)四邊形網(wǎng)格構(gòu)成的集合，表示{R(x,y)}中的所有四邊形網(wǎng)格對應(yīng)的目標(biāo)四邊形網(wǎng)格構(gòu)成的集合，表示U_L,k對應(yīng)的最佳目標(biāo)四邊形網(wǎng)格，表示U_R,k對應(yīng)的最佳目標(biāo)四邊形網(wǎng)格，通過其左上、左下、右上和右下4個網(wǎng)格頂點的集合來描述，對應(yīng)表示的第1個網(wǎng)格頂點、第2個網(wǎng)格頂點、第3個網(wǎng)格頂點、第4個網(wǎng)格頂點，通過其左上、左下、右上和右下4個網(wǎng)格頂點的集合來描述，表示U_R,k對應(yīng)的最佳目標(biāo)四邊形網(wǎng)格，對應(yīng)表示的第1個網(wǎng)格頂點、第2個網(wǎng)格頂點、第3個網(wǎng)格頂點、第4個網(wǎng)格頂點，(A_L,k)^T為A_L,k的轉(zhuǎn)置，((A_L,k)^TA_L,k)^-1為(A_L,k)^TA_L,k的逆，和對應(yīng)表示的水平坐標(biāo)位置和垂直坐標(biāo)位置，和對應(yīng)表示的水平坐標(biāo)位置和垂直坐標(biāo)位置，和對應(yīng)表示的水平坐標(biāo)位置和垂直坐標(biāo)位置，和對應(yīng)表示的水平坐標(biāo)位置和垂直坐標(biāo)位置，(A_R,k)^T為A_R,k的轉(zhuǎn)置，((A_R,k)^TA_R,k)^-1為(A_R,k)^TA_R,k的逆，和對應(yīng)表示的水平坐標(biāo)位置和垂直坐標(biāo)位置，和對應(yīng)表示的水平坐標(biāo)位置和垂直坐標(biāo)位置，和對應(yīng)表示的水平坐標(biāo)位置和垂直坐標(biāo)位置，和對應(yīng)表示的水平坐標(biāo)位置和垂直坐標(biāo)位置；

步驟十：根據(jù){L(x,y)}中的每個四邊形網(wǎng)格對應(yīng)的最佳目標(biāo)四邊形網(wǎng)格的仿射變換矩陣，計算{L(x,y)}中的每個四邊形網(wǎng)格中的每個像素點經(jīng)仿射變換矩形變換后的水平坐標(biāo)位置和垂直坐標(biāo)位置，將U_L,k中水平坐標(biāo)位置為x'_L,k和垂直坐標(biāo)位置為y'_L,k的像素點經(jīng)仿射變換矩陣變換后的水平坐標(biāo)位置和垂直坐標(biāo)位置對應(yīng)記為和然后根據(jù){L(x,y)}中的每個四邊形網(wǎng)格中的每個像素點經(jīng)仿射變換矩形變換后的水平坐標(biāo)位置和垂直坐標(biāo)位置，獲取變焦后的左視點圖像，記為其中，1≤x'_L,k≤W，1≤y'_L,k≤H，1≤x'≤W'，1≤y'≤H，W'表示變焦后的立體圖像的寬度，變焦后的立體圖像的高度為H，表示中坐標(biāo)位置為(x',y')的像素點的像素值；

同樣，根據(jù){R(x,y)}中的每個四邊形網(wǎng)格對應(yīng)的最佳目標(biāo)四邊形網(wǎng)格的仿射變換矩陣，計算{R(x,y)}中的每個四邊形網(wǎng)格中的每個像素點經(jīng)仿射變換矩形變換后的水平坐標(biāo)位置和垂直坐標(biāo)位置，將U_R,k中水平坐標(biāo)位置為x'_R,k和垂直坐標(biāo)位置為y'_R,k的像素點經(jīng)仿射變換矩陣變換后的水平坐標(biāo)位置和垂直坐標(biāo)位置對應(yīng)記為和然后根據(jù){R(x,y)}中的每個四邊形網(wǎng)格中的每個像素點經(jīng)仿射變換矩形變換后的水平坐標(biāo)位置和垂直坐標(biāo)位置，獲取變焦后的右視點圖像，記為其中，1≤x'_R,k≤W，1≤y'_R,k≤H，1≤x'≤W'，1≤y'≤H，表示中坐標(biāo)位置為(x',y')的像素點的像素值。