[發明專利]一種立體圖像拼接方法

有效

• 申請號: 201910336176.7
• 申請日: 2019-04-24
• 公開（公告）號: CN110111255B
• 公開（公告）日: 2023-02-28
• 發明（設計）人: 雷建軍;范曉婷;侯春萍;徐立瑩;楊博蘭;祝新鑫
• 申請（專利權）人: 天津大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種立體圖像拼接方法，所述方法包括以下步驟：輸入左右立體圖像，通過視差最小化單應性預對齊左右圖像并減小垂直視差；通過多約束變形進一步對齊左右圖像，同時引入初始視差圖保持立體圖像視差一致性；基于視差一致的接縫選擇和融合確定最佳接縫并進行立體圖像拼接。本發明針對立體圖像進行多階段變形的優化對齊，并結合立體圖像的視差信息，實現對立體圖像的準確拼接，同時避免視覺失真并保持立體圖像的視差一致性。

技術領域

本發明涉及圖像處理以及立體視覺技術領域，尤其涉及一種立體圖像拼接方法。

背景技術

近年來，隨著多媒體和顯示技術的發展，立體圖像處理已經成為一個熱門話題。此外，作為虛擬現實技術重要且有效的場景表達，立體圖像成為創建交互式虛擬場景的重要組成部分。目前，為了獲取具有較大場景的立體圖像，主流方法集中于拼接一系列由高分辨率雙目相機拍攝得到的左右圖像。然而，左右圖像中對象位置的不一致，容易引起視覺疲勞并影響立體感知。因此，如何確保立體圖像具有合理的視差范圍和較少視覺失真，增強所獲立體圖像的深度感及清晰度是立體圖像拼接技術中的挑戰性問題。

目前對于2D圖像拼接，多數研究采用基于全局單應性模型的方法變形和拼接圖像。全局單應性模型方法在沒有明顯視差變化的情況下可以較好地處理圖像拼接問題。但是，從非平面或不連續場景拍攝的圖像不能很好地被處理，容易引起形狀失真。因此，基于內容保持變形的方法被提出用于解決該類問題，尤其針對低紋理區域存在較弱匹配關系的圖像對，該方法可以較好地解決透視失真和形狀失真問題。在該類方法中，圖像首先被分成均勻密集網格。然后，通過添加全局相似性先驗或局部相似性變換進行網格變形和優化，以獲得更準確的對齊。最后，通過融合變形圖像的重疊區域獲得平滑無縫的拼接圖像。 Chang等人將重疊區域的映射變換推演到非重疊區域，并將非重疊映射變換變為相似變換進而實現圖像拼接。Lin等人引入局部線性化單應性模型并通過約束將其變為全局相似性，減少非重疊區域中的透視畸變從而實現圖像拼接。但是，這些方法沒有考慮變形圖像的融合優化，容易導致拼接圖像出現偽影現象。

與傳統2D圖像拼接技術相比，立體圖像拼接方法不僅需要避免透視畸變和形狀失真，同時需要保證立體圖像的視差一致性。Tang等人提出了基于內容的3D拼接表示方法，用于解決城市場景的動態長視頻序列的拼接問題。Richardt等人提出了一種以百萬像素分辨率生成高質量立體全景圖的解決方案，并使用基于流的上采樣方法解決拼接偽影問題。Peleg等人提出了兩種捕捉不同視點圖像的光學全景系統，并根據相機拍攝得到的多視點圖像拼接左右全景圖像。

發明人在實現本發明的過程中，發現現有技術中至少存在以下缺點和不足：

現有技術中的方法通常利用2D圖像拼接技術處理立體圖像，沒有充分考慮立體圖像的視差一致性；現有方法通常采用單階段變形的對齊拼接方式，缺少多階段變形的優化對齊拼接過程，進而容易引起形狀失真并造成偽影現象。

發明內容

本發明提供了一種立體圖像拼接方法，本發明針對立體圖像進行多階段變形的優化對齊，并結合立體圖像的視差信息，實現對立體圖像的準確拼接，同時避免視覺失真并保持立體圖像的視差一致性，詳見下文描述：

一種立體圖像拼接方法，所述方法包括以下步驟：

輸入左右立體圖像，通過視差最小化單應性預對齊左右圖像并減小垂直視差；

通過多約束變形進一步對齊左右圖像，同時引入初始視差圖保持立體圖像視差一致性；

基于視差一致的接縫選擇和融合確定最佳接縫并進行立體圖像拼接。

其中，所述通過視差最小化單應性預對齊左右圖像并減小垂直視差具體為：

針對目標左右圖像構建優化的單應性矩陣H_L和H_R定義如下：