[發明專利]一種基于改進光流的圖像拼接方法

有效

• 申請號: 201710471825.5
• 申請日: 2017-06-20
• 公開（公告）號: CN107274337B
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 長沙全度影像科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于改進光流的圖像拼接方法，其特征在于，包括：

S1：計算空間相鄰圖像的重合區域；

S2：基于特征描述符匹配和密集匹配相結合的方法計算光流；

S201：構造由總能量函數約束的變分模型；總能量函數約束方式如下：E(W)＝E_color(W)+αE_grad(W)+βE_smooth(W)+γE_match(W，W₁)+δE_desc(W₁)；其中，E_color(W)為灰度值約束項、E_grad(W)為梯度約束、E_smooth(W)為平滑度約束、E_desc(W₁)為描述符匹配約束項、E_match(W，W₁)為光流平方差；

S202：特征描述符匹配約束項E_desc(W₁)求解；

S203：采用連續方法對變分模型中E_color(W)為灰度值約束項、E_grad(W)為梯度約束、E_smooth(W)為平滑度約束、E_match(W，W₁)為光流平方差進行求解；

S3：基于上一步驟求得的光流信息對重合區域進行配準和變換；

具體的，基于S2步驟計算的光流場，對重疊區域進行配準變換，變換公式如下：

I₁(p)＝I₂(x+u(p)，y+v(p))＝I₂(p′)

其中，I₁、I₂分別表示左右圖像，p＝(x，y)表示左圖像的像素點坐標，u(p)表示p點在x方向的光流，v(p)表示p點在y方向的光流；p′表示右圖像的像素點坐標，即p和p′是根據光流而對應的兩像素點；

即用單應性矩陣表示為：

S4：對變換后的圖像進行融合，從而得到拼接后圖像；

對變換后的圖像采用漸進漸出圖像融合方法融合重疊區域，再將非重疊區域和拼接后的重疊區域圖像融合，得到最終的全景圖像；漸進漸出融合公式為：

其中R₁為左圖像非重疊區域，R₂為右圖像非重疊區域，R₃為左右圖像的圖像重疊區域，i表示右圖像重疊區域的橫坐標值，overlapImgWidth指相鄰兩幅圖像重疊區域的圖像寬度；

其中，α、β、γ、δ均為權重系數，W表示基于密集匹配法估計的光流，W1表示基于描述符匹配法估計的光流，I表示最終的拼接圖像；

所述S201中，

I₁,I₂分別是待配準的左圖像和右圖像，X＝(x,y)^T表示是圖像區域上的像素坐標，W＝(u,v)^T表示光流；

首先，加上灰度值約束項E_color(W)普通約束，即對應點應具有相同的灰度值；約束方式如下：

E_color(W)＝∫_ΩΨ(|I₂(X+W(X))-I₁(X)|²)dx

函數ε＝0.001；

梯度約束E_grad(W)約束方式如下：

其中，表示圖像在x方向和y方向的梯度值，ε＝0.001；

平滑度約束E_smooth(W)的約束方式如下：

其中，u(X)表示像素點X＝(x,y)^T在x方向的位移，v(X)表示y方向的位移；ε＝0.001；

特征匹配法的匹配約束項E_desc(W₁)約束方式如下：

E_desc(W₁)＝∫δ(X)|f₂(X+W₁(X))-f₁(X)|²dx

其中，W₁(X)表示基于描述符匹配法估計的X點的光流；δ(X)的取值為：當左圖像上點X位置有特征點時，δ(X)取值為1，否則為0；f₁(X)表示左圖像X點的特征描述符，f₂(X+W₁(X))表示右圖像的X+W₁(X)點的特征描述符；

光流平方差E_match(W,W₁)約束方式如下：

E_match(W,W₁)＝∫δ(X)ρ(X)Ψ(|W(X)-W₁(X)|²)dx

其中，ρ(X)表示匹配權重，ε＝0.001；ρ(X)的定義如下：

d₁和d₂分別表示特征描述符的最佳匹配和第二最佳匹配的歐氏距離；當最佳匹配和第二匹配相差較遠時，ρ(X)匹配權重值大；

所述S202中求解描述符匹配約束項E_desc(W₁)具體包括：

假設δ(X)是左圖像的離散網格，其坐標表示為X_i，δ′(X)是右圖像的離散網格，其坐標表示為X_j；特征描述符匹配項可以改寫成如下：

由于缺少規則約束，每一個網格點相互獨立；因此，在優化W₁時，可以在每一個網格點X_i獨立求解；最優解W₁(X_i)＝X_j-X_i，其整體的時間復雜度為O(mn)，其中m、n分別是左圖像和右圖像的網格點數；

S2021：圖像分割；

對重疊區域左右原圖像進行分割，將重疊區域左右原圖像分割成若干個區域；

S2022：對分割后的圖像區域進行方向梯度直方圖提取；

S2023：區域匹配；

假設左圖像分割區域i和右圖像分割區域j的網格點的坐標分別為X_i、X_j，兩區域的匹配分數為：

d₁和d₂分別表示特征描述符的最佳匹配和第二最佳匹配的歐氏距離，其中d的計算公式為：

N是i和j的組合總數，k表示左圖像任意一個分割區域，l表示右圖像任意一個分割區域，∑_k，l表示對左右圖像所有分割區域計算特征描述符的距離值的和；

通過匹配分數選取最優相匹配的區域塊，從而計算該區域像素點在x方向和y方向的位移，即光流W₁的大小。

2.根據權利要求1所述的方法，其特征在于，所述S1具體包括：

首先，計算相鄰兩幅圖像的重合角度：

overlapAngle＝(FovHAngle*numCams-360)/numCams

其中，overlapAngle為相鄰兩幅圖像的重合角度，FovHAngle是指攝像機的水平視角，numCams表示攝像機的個數，numCams數量的攝像機獲取水平360度場景視頻；

然后，根據重合角度計算空間相鄰兩幅圖像重合區域的圖像寬度：

其中，overlapImgWidth指相鄰兩幅圖像重合區域的圖像寬度，imgWidth表示原圖像的圖像寬度，overlapAngle為相鄰兩幅圖像的重合角度，FovHAngle是指攝像機的水平視角。