[發(fā)明專利]一種基于流形優(yōu)化的圖像拼接方法

有效

• 申請?zhí)枺?/td>: 201810087985.4
• 申請日: 2018-01-30
• 公開（公告）號: CN108280805B
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計）人: 張磊;龐榮;黃華
• 申請（專利權(quán)）人: 北京理工大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 北京正陽理工知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11639
• 代理人: 王民盛

1.一種基于流形優(yōu)化的圖像拼接方法，其特征在于：核心思想是將圖像拼接的中的變換矩陣映射到流形空間去，在流形空間中通過一系列的優(yōu)化插值得到最后的圖像變換矩陣，然后再將該矩陣映射到歐氏空間并作用到變換圖像上，最后將參照圖像和變換圖像融合到一起得到最后的廣角圖像；之所以將矩陣的操作放到流形空間是因為從李群的角度來看，變換矩陣在歐氏空間中的加減運算是不合理的，容易產(chǎn)生奇異的結(jié)果，而在流形空間則會避免這樣的情況，所以將變換矩陣的操作放入流形空間；具體實現(xiàn)步驟如下：

步驟一、將待拼接的兩幅圖像的重疊部分進行對齊，具體為：

步驟1.1、求取待拼接的兩幅圖像的對應(yīng)特征點；具體為：

首先使用特征點提取的算法檢測圖像I¹和圖像I²的特征點；然后進行粗匹配；再利用RANSAC算法進一步篩選出準確的匹配特征點；

步驟1.2、利用流形優(yōu)化的方法獲取圖像變換矩陣，具體為：

步驟1.2.1、將圖像I²網(wǎng)格化，即將圖像I²為w×h個網(wǎng)格；

其中，w為寬，h為高，共M＝w×h個網(wǎng)格；

步驟1.2.2、在流形空間中獲取步驟1.2.1中w×h個網(wǎng)格的變換矩陣；

在流形空間中獲取w×h個網(wǎng)格中的每一個網(wǎng)格的變換矩陣，具體通過迭代優(yōu)化能量函數(shù)(1)來得到：

其中，M＝w×h表示所有的網(wǎng)格數(shù)；i表示w×h個網(wǎng)格按行排列后的第i個網(wǎng)格；N_i表示第i個網(wǎng)格內(nèi)的所有匹配特征點數(shù)；是第i個網(wǎng)格前一次迭代后得到的變換矩陣，初始的值設(shè)為直接線性變換得到的全局單應(yīng)矩陣；

H_i(x_i)表示第i個網(wǎng)格每次迭代要更新的值，而x_i就是H_i(x_i)在流形空間中的表示形式，第i個網(wǎng)格在每一次迭代后都會得到x_i，將其轉(zhuǎn)換到歐氏空間后利用更新之后再次迭代；w(H)(p_j)表示變換矩陣H與點p_j坐標的齊次形式相乘得到新的坐標位置；表示利用第i個網(wǎng)格變換矩陣變換該網(wǎng)格內(nèi)的特征點p_j后得到的特征點與實際檢測到的特征點p'_j之間的距離；K表示第i個網(wǎng)格的四個頂點；k表示第i個網(wǎng)格內(nèi)按行排列的第k個頂點；μ_k表示與頂點q_k相連接的網(wǎng)格集合；表示第i個網(wǎng)格變換矩陣和第l個網(wǎng)格變換矩陣變換同一個網(wǎng)格頂點q_k后相差的距離；λ是為了平衡匹配項和平滑項而設(shè)立的參數(shù)；

為了求解能量函數(shù)，令：

其中，yⁱ(x)表示與第i個網(wǎng)格優(yōu)化所涉及的所有能量項組成的向量；N_i表示在第i個網(wǎng)格內(nèi)的特征點對數(shù)；表示在第i個網(wǎng)格中，利用第j對特征點建立的能量項，可以表示為其中表示利用對p_jⁱ做變換，也可以表示為代表操作的疊加：先用H_i(x_i)與p_jⁱ的齊次形式相乘得到新的坐標位置，再用與之前得到的新的坐標位置相乘；F_i表示第i個網(wǎng)格的頂點數(shù)，F(xiàn)_i＝4；v_kⁱ(x)表示與第i個網(wǎng)格中的第k個頂點建立的能量項，可以表示為：

將公式(2)帶入公式(1)推出通過優(yōu)化w×h個網(wǎng)格的y(x)，就可得能量函數(shù)(1)的優(yōu)化結(jié)果，進而就可得到w×h個網(wǎng)格的變換矩陣；由于w×h個網(wǎng)格計算的過程是一樣的，而且是獨立進行的，為了簡化表示就用y(x)來表示當(dāng)前處理網(wǎng)格的yⁱ(x)；

步驟1.2.2，又具體包括如下子步驟：

步驟1.2.2.A、將y(x)按照泰勒公式展開，得到了如下公式(3)：

其中，J(x)為y(x)的雅各比矩陣，如公式(5)；M(0,x)，即M(x₁＝0,x₂＝x)，它的計算過程如公式(4)所示：

再將公式(3)帶入得到(6)：

J(x)＝J(0)+M(0,x)+O(||x||²) (6)

將公式(6)帶入公式(3)得到(7)：

(7)公式的近似表示為(8)：

至此，網(wǎng)格y(x)優(yōu)化的目標是為了找一個x₀使得y(x₀)≈0；將y(x₀)＝0帶入公式(8)后，可得x₀＝-2(J(0)+J(x₀))⁺*y(0)；

其中，(J(0)+J(x₀))⁺表示(J(0)+J(x₀))的偽逆矩陣；從x₀＝-2(J(0)+J(x₀))⁺*y(0)看出，求出J(0)和J(x₀)，可得x₀；

步驟1.2.2.B、求解J(0)；

將公式(2)帶入公式(5)，并令x＝0得

其中：

是上一次迭代第l個網(wǎng)格的變換矩陣；由公式(9)和(10)看出，y_i(x)和v_i(x)都是由三個函數(shù)復(fù)合而成的，所有和的求解可以由三個雅各比矩陣相乘得到，即為了求解和需要求解J_I、J_w、J_G、

步驟1.2.2.B.A、通過公式(11)求解J_I；

其中，表示矩陣的雅各比矩陣；

步驟1.2.2.B.B、通過公式(12)求解J_w:

令特征點p_i＝[u_i v_i l]^T那么J_w就可以表示為(13)：

步驟1.2.2.B.C、通過公式(14)求解J_G:

通過利用流形映射的方式，將(14)表示為(15)；

J_G＝[[A₁]_v [A₂]_v … [A₈]_v] (15)

[A_i]_v是將A_i按行變換為一個向量；其中

步驟1.2.2.B.D、通過公式(16)求解

其中，表示矩陣的雅各比矩陣；

步驟1.2.2.B.E、通過公式(17)求解

令特征點q_k＝[e_k r_k 1]^T那么就可以表示為公式(18)；

由和就可以得到和通過計算和得到J(0)；

步驟1.2.2.C、通過公式(19)求解J(x₀)；

將公式(2)帶入公式(5)，并令x＝x₀得公式(19)：

其中表示為公式(20)：

假設(shè)即那么可表示為公式(21)：

令將(21)表示為公式(22)：

令可以表示為公式(23)：

從公式(22)和(23)看出，y_i(x)和v_i(x)都是由三個函數(shù)復(fù)合而成的，所以和的求解可以由三個雅各比矩陣相乘得到，即

步驟1.2.2.C.A、通過公式(24)求解

其中，表示矩陣的雅各比矩陣；

步驟1.2.2.C.B、通過公式(25)求解

令那么可以表示為式(26)：

步驟1.2.2.C.C、通過公式(27)求解

其中，表示矩陣的雅各比矩陣；

步驟1.2.2.C.D、通過公式(28)求解

令那么可以表示為公式(29)：

由就可以得到和進而就可以得到J(x₀)；

計算出J(x₀)和J(0)后，結(jié)合x₀＝-2(J(0)+J(x₀))⁺*y(0)得到x₀，然后利用黎曼指數(shù)函數(shù)將x₀轉(zhuǎn)換到歐氏空間，即H(x₀)；之后利用H(x₀)更新

步驟1.2.2是一個網(wǎng)格在一次迭代過程中的計算，每一次迭代會將所有的網(wǎng)格變換矩陣更新一遍，然后再次迭代計算，一直到所有網(wǎng)格的x₀的模長都小于閾值后停止迭代，此時每個網(wǎng)格得到的就是w×h個網(wǎng)格得到的變換矩陣；

其中，使用I¹和I²來表示待拼接的兩幅圖像；

步驟二、在流形空間中矯正非重疊部分的扭曲，得到變換后的圖像；

步驟二之前的變換矩陣可以將圖像I¹和I²的重疊部分對齊，但是會讓圖像I²的非重疊部分產(chǎn)生投影扭曲，所以需要矯正這部分扭曲；

步驟三、圖像融合，具體基于步驟二得到變換后的圖像，再利用線性融合的方式將這兩幅圖像融合到一起，得到了一幅包含更大視角的圖像；

至此，從步驟一到步驟三，完成了一種基于流形空間的圖像拼接方法。

2.根據(jù)權(quán)利要求1所述的一種基于流形優(yōu)化的圖像拼接方法，其特征在于：步驟二首先要利用之前的匹配特征點求取圖像I²到I¹的全局相似變換矩陣S，具體的公式如(30)和(31)：

d_i＝H_i*(S)^-1 (30)

H_i表示圖像I²中第i個網(wǎng)格插值前的矩陣，表示圖像I²中第i個網(wǎng)格插值后的變換矩陣，exp(A)表示黎曼指數(shù)函數(shù)，可以將流形空間的矩陣轉(zhuǎn)換到歐氏空間中，log(A)表示黎曼對數(shù)函數(shù)，可以將歐氏空間中的矩陣轉(zhuǎn)換到流形空間中，t_i表示第i個網(wǎng)格插值的權(quán)重；該權(quán)重是通過如下的公式(32)計算：

其中，p_i表示第i個網(wǎng)格的網(wǎng)格中心點，p_min和p_max的計算是通過下面的公式(33)：

O是圖像I²原始狀態(tài)對應(yīng)點的中心點，O′是圖像I²目標狀態(tài)對應(yīng)點的中心點，用表示圖像變換的偏移向量；p_i表示當(dāng)前的網(wǎng)格中心點，p_min和p_max分別表示a_i最小和最大時所對應(yīng)網(wǎng)格中心點在方向上的投影點；在得到p_min和p_max后再按照公式(32)取權(quán)重t_i，并得到新的網(wǎng)格變換矩陣；t_i的計算可以使重疊部分的網(wǎng)格趨于步驟二中計算出的變換，非重疊部分的網(wǎng)格趨于相似變換；最后通過新的變換矩陣變換圖像I²得到新的變換結(jié)果；

但是由于插值操作是針對整幅圖像的，重疊部分也發(fā)生了變換，為了可以使插值后的圖像I²依然可以與圖像I¹對齊，需要對圖像I¹也網(wǎng)格化為w×h個網(wǎng)格，并按照公式(34)求解圖像I¹w×h個網(wǎng)格的變換矩陣：

其中，表示圖像I²第i個網(wǎng)格插值后的矩陣，表示圖像I¹第i個網(wǎng)格矯正后的矩陣，表示圖像I²第i個網(wǎng)格插值前的矩陣；通過公式(34)調(diào)整圖像I¹的各個網(wǎng)格變換之后就可以使圖像I¹和圖像I²的重疊部分重新對齊了，即得到了變換后的圖像I¹和I²。