[發(fā)明專利]一種基于改進光流的圖像拼接方法

有效

• 申請?zhí)枺?/td>: 201710471825.5
• 申請日: 2017-06-20
• 公開（公告）號: CN107274337B
• 公開（公告）日: 2020-06-26
• 發(fā)明（設計）人: 不公告發(fā)明人
• 申請（專利權）人: 長沙全度影像科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T3/40
• 代理公司: 暫無信息
• 代理人: 暫無信息

一種基于改進光流的圖像拼接方法，屬于圖像信息處理技術領域。該方法包括：S1：計算空間相鄰圖像的重合區(qū)域；S2：基于特征描述符匹配和密集匹配相結合的方法計算光流；S201：構造由總能量函數(shù)約束的變分模型；S202：根據(jù)總能量函數(shù)對特征描述符匹配約束項求解；S203：采用連續(xù)方法對變分模型中灰度值約束項、梯度約束、平滑度約束、光流平方差進行求解；S3：基于光流信息對重合區(qū)域進行配準和變換；S4：對變換后的圖像進行融合，從而得到拼接后圖像；本發(fā)明結合特征描述子匹配和密集光流匹配估計光流信息，從而對圖像進行拼接，該方法對大位移和小位移光流均可精確計算，從而使光流配準精度可以大大提高。

技術領域

本發(fā)明屬于圖像信息處理技術領域，涉及圖像拼接技術，尤其涉及一種基于改進光流的圖像拼接方法。

背景技術

圖像拼接是利用多個攝像機獲取不同角度的圖像并進行拼接形成寬視野圖像的技術。根據(jù)場景不同，可以分為靜止場景的圖像拼接和運動場景的圖像拼接。對于靜止場景，難點在于如何消除靜止視差引起的重影。對于運動場景，不僅包括靜止物體的視差，還有前景移動物體穿越相機時的重影。

為了消除運動目標的拼接重影，如“鬼影”，目前方法大致可分為三類：第一類方法是采用先進的圖像合成技術，如seam cutting(接縫切割)方法，但這類方法在有移動目標經(jīng)過縫合線時，拼接圖像中會出現(xiàn)運動目標斷裂。第二類方法是基于深度信息的配準方法，因為運動區(qū)域和靜止區(qū)域的深度特征區(qū)別較明顯，采用立體匹配方法估計相鄰圖像的深度信息，利用深度信息進行配準，該類方法深度信息的正確估計尤為關鍵，然而，深度估計計算復雜度通常很高。第三類方法是基于運動矢量的配準方法，首先是估計運動矢量(運動大小和運動方向)，然后根據(jù)運動矢量匹配相鄰兩幅圖像。

目前先進的運動矢量估計方法為光流法。對于光流估計，一方面，有能量最小化方法，該方法能產(chǎn)生準確、密集的流場，但是對于大位移的運動目標，光流的計算不準確。針對大位移運動目標，相應有特征描述子匹配法，這類方法計算的光流信息非常稀疏，小位移處的光流計算精度有限，由于缺少規(guī)律性約束，存在許多異常值。Facebook Surround 360采用了能量最小化方法產(chǎn)生密集的光流場，通過實驗發(fā)現(xiàn)，對于小位移的運動目標，利用光流信息進行配準，配準精度高，可以消除拼接重影。但對于大視差大位移的運動目標，拼接重影問題沒能得到解決。

故亟需一種圖像拼接方法，能實現(xiàn)重疊區(qū)域既包括大位移運動目標，又包含小位移運動目標時的圖像拼接。

發(fā)明內(nèi)容

本發(fā)明針對重疊區(qū)域既包括大位移運動目標，又包含小位移運動目標時圖像拼接容易出現(xiàn)重影的技術問題，提供了一種基于改進光流的圖像拼接方法，消除了圖像拼接出現(xiàn)的重影現(xiàn)象。

一種基于改進光流的圖像拼接方法，包括：

S1：計算空間相鄰圖像的重合區(qū)域；

S2：基于特征描述符匹配和密集匹配相結合的方法計算光流；

S201：構造由總能量函數(shù)約束的變分模型；總能量函數(shù)約束方式如下：

E(W)＝E_color(W)+αE_grad(W)+βE_smooth(W)+γE_match(W，W₁)+δE_desc(W₁)；其中，E_color(W)為灰度值約束項、E_grad(W)為梯度約束、E_smooth(W)為平滑度約束、E_desc(W₁)為描述符匹配約束項、E_match(W，W₁)為光流平方差；

S202：特征描述符匹配約束項E_desc(W₁)求解；