[發明專利]雙目立體視頻的幾何校正方法及系統

無效

• 申請號: 201110261224.4
• 申請日: 2011-09-05
• 公開（公告）號: CN102413342A
• 公開（公告）日: 2012-04-11
• 發明（設計）人: 戴瓊海;趙昱;邵航
• 申請（專利權）人: 清華大學
• 主分類號: H04N13/00
• 分類號: H04N13/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

技術領域

本發明涉及圖像視頻處理技術領域，特別涉及一種雙目立體視頻的幾何校正方法及系統。

背景技術

雙目立體圖像對是由兩臺位于同一高度的平行相機針對同一場景拍攝所得到的圖像。三維空間中的一點在兩個像平面上所呈的像稱為對應點，它們滿足極線約束。對于理想的立體圖像對，對應點之間只有水平視差，而沒有垂直視差，將這樣的兩個圖像分別提供給觀看者的左右眼觀看，則大腦將根據水平視差提取出場景的深度信息，從而產生立體感。在實際的拍攝中，由于相機的擺放存在匯聚、旋轉、高度不同等問題，無法得到理想的立體圖像對，此時就需要幾何校正技術來將實際獲得的圖像對變換為理想的圖像對。

圖像或視頻幀的幾何校正方法主要分為兩大類，一種是基于相機標定的方法，另一種是非相機標定的方法。基于相機標定的校正是一種理想情形，在知道相機內外參數的前提下，虛擬出兩個內參相同的虛擬相機，并滿足光心高度相同和像平面平行的條件，根據透視投影變換將原始圖像投射到新的像平面上，從而實現校正的目的。由于相機在移動時，原相機的外參數會發生變化，因此這種方法在應用時具有一定的局限性。

非相機標定的方法則具有更大的適應性。這種方法在輸入的左右視圖中找到一系列特征點進行匹配，并根據對極幾何的原理計算一對投影變換對原圖像進行校正，從而使兩幅圖的對極線滿足水平且平行的掃描線特征。目前已有的算法或者依賴于基本矩陣，或者依賴于匹配點坐標，對變換矩陣的參數進行優化，并盡量減小圖像的畸變。

然而，現有的方法普遍存在以下不足：首先，在校正的過程中僅僅依賴于基本矩陣或匹配點，而忽略了場景本身的信息，導致校正后的立體圖像對有可能滿足掃描線特征，但卻不符合觀看要求。其次，校正后的圖像一般都會產生黑邊，通常通過剪裁與線性放大來消除。其不足之處不僅增加了處理工序，更在線性放大過程中改變了圖像對的視差。

發明內容

本發明的目的旨在至少解決上述技術缺陷之一。

為達到上述目的，本發明提出一種雙目立體視頻的幾何校正方法，包括以下步驟：A：獲取立體視頻幀對的場景方向信息；B：根據所述場景方向信息對所述立體視頻幀對進行極線校正，獲得第一校正視頻幀對；以及C：對所述第一校正視頻幀對進行非線性變換，獲得最終的校正視頻幀對。

根據本發明實施例的雙目立體視頻的幾何校正方法，通過引入場景方向信息進行極線校正，使得校正后的圖像更符合場景特征和觀看要求，并且通過非線性變換校正彌補了極線校正后單純利用剪裁與線性縮放消除黑邊的不足，具有更強的實用性。

在本發明的一個實施例中，所述步驟A進一步包括：通過人機交互的方法標注所述立體視頻幀對的場景方向信息。

在本發明的一個實施例中，所述步驟B進一步包括：B1：提取所述立體視頻幀對的左右視頻幀的特征點并進行匹配，獲得匹配點；B2：根據所述匹配點計算基本矩陣和對極點；以及B3：根據所述對極點和所述場景方向信息計算極線變換矩陣，并根據所述極線變換矩陣對所述立體視頻幀對進行極線校正。

根據本發明的一個實施例，所述步驟B3進一步包括：B31：根據所述立體視頻幀對的圖像信息獲取平移變換矩陣；B32：根據所述對極點獲得拉伸變換矩陣；B33：根據所述場景方向信息獲取旋轉變換矩陣；B34：根據所述旋轉變換矩陣、所述拉伸變換矩陣、所述平移變換矩陣和所述立體視頻幀對的像素點信息，獲取仿射變換矩陣；以及B35：根據所述平移變換矩陣，所述拉伸變換矩陣、所述旋轉變換矩陣和所述仿射變換矩陣，獲取所述立體視頻幀對的極線變換矩陣。

在本發明的一個實施例中，所述步驟C進一步包括：根據所述極線變換矩陣確定所述非線性變換的約束條件；確定所述非線性變換的邊界條件；確定所述非線性變換的權重條件；根據所述約束條件和所述權重條件建立能量函數式，并根據所述能量函數式和所述邊界條件獲取非線性變換矩陣；以及根據所述非線性變換矩陣對所述第一校正視頻幀對進行非線性變換。

根據本發明的一個實施例，所述約束條件為：