[發(fā)明專利]基于相機姿態(tài)的虛擬視點生成方法及裝置

在審

• 申請?zhí)枺?/td>: 202111467673.4
• 申請日: 2021-12-03
• 公開（公告）號: CN114399553A
• 公開（公告）日: 2022-04-26
• 發(fā)明（設計）人: 桑新柱;葉曉倩;王華春;陳鐸;王鵬;劉博陽;齊帥;萬華明;李寧馳;王葵如;顏玢玢
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/62;G06N3/08;G06N3/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 毛宏寶

本申請?zhí)峁┮环N基于相機姿態(tài)的虛擬視點生成方法及裝置。所述方法包括：根據相鄰的兩幅視點圖像之間的匹配點對以及相鄰的所述視點圖像對應的相機陣列中兩個相機的內部參數和外部參數，構建與所述匹配點對對應的三維點；根據與被選定的相機姿態(tài)對應的各目標相機的目標相機姿態(tài)以及內部參數，對各所述三維點進行重投影，確定與所述相機姿態(tài)對應的虛擬視點圖像。本申請實施例提供的基于相機姿態(tài)的虛擬視點生成方法可以提高虛擬視點的生成效率。

技術領域

本申請涉及圖像處理技術領域，具體涉及一種基于相機姿態(tài)的虛擬視點生成方法及裝置。

背景技術

真實世界是三維的，但目前主流顯示設備依然是二維的。三維顯示，特別是裸眼三維顯示，收到越來越多的關注。裸眼三維顯示需要密集視點圖像，而采用相機陣列進行密集視點采集存在許多困難，如相機陣列間的同步調整，相機標定和姿態(tài)求解，以及數據存儲和傳輸等。因此，在實際應用中，通常使用少量真實雙目相機采集稀疏視點，并通過虛擬視點生成方法生成虛擬視點。

相關技術中，可采用DIBR(Depth Image Based Rendering，基于深度圖像的虛擬視點渲染)來生成虛擬視點。然而，通過DIBR生成虛擬視點時，由于DIBR的虛擬視點生成方法需要校正左右圖像，使得兩圖像極線位于同一水平線上，且只能生成位于同一極線上的虛擬視點，而不能生成任意位置的虛擬視點圖像，從而導致虛擬視點的生成效率低。

發(fā)明內容

本申請實施例提供一種基于相機姿態(tài)的虛擬視點生成方法及裝置，提高虛擬視點的生成效率。

第一方面，本申請實施例提供一基于相機姿態(tài)的虛擬視點生成方法，包括：

根據相鄰的兩幅視點圖像之間的匹配點對以及相鄰的所述視點圖像對應的相機陣列中兩個相機的內部參數和外部參數，構建與所述匹配點對對應的三維點；

根據與被選定的相機姿態(tài)對應的各目標相機的目標相機姿態(tài)以及內部參數，對各所述三維點進行重投影，確定與所述相機姿態(tài)對應的虛擬視點圖像。

在一個實施例中，在根據相鄰的視點圖像之間的匹配點對以及相鄰的所述視點圖像對應的兩個相機的內部參數和外部參數，構建與所述匹配點對對應的三維點之前，還包括：

從相鄰的兩幅視點圖像的第一視點圖像中，提取第一匹配點；

根據訓練好的光流估計模型，從相鄰的兩幅視點圖像的第二視點圖像中，提取與所述第一匹配點相匹配的第二匹配點；

根據所述第一匹配點和所述第二匹配點，形成匹配點對。

在一個實施例中，所述根據相鄰的兩幅視點圖像之間的匹配點對以及相鄰的所述視點圖像對應的兩個相機的內部參數和外部參數，構建與所述匹配點對對應的三維點，包括：

根據相鄰的兩幅視點圖像之間的匹配點對以及相鄰的所述視點圖像對應的兩個相機的內部參數和外部參數，確定兩個所述相機對應的兩條光線方向；

根據直接線性變化對兩條所述光線方向進行處理，構建與所述匹配點對對應的三維點。

在一實施例中，所述根據與被選定的相機姿態(tài)對應的各目標相機的目標相機姿態(tài)以及內部參數，對各所述三維點進行重投影，確定與所述相機姿態(tài)對應的虛擬視點圖像，包括：

當被選定的相機姿態(tài)為水平位置時，根據所述相機陣列中各所述目標相機的三維坐標，對各所述目標相機進行相機位置校平，獲取各所述目標相機的校平坐標；

根據各所述目標相機的校平坐標，以及由各所述目標相機的旋轉角進行平均處理后得到的各所述目標相機的校平旋轉角，確定各所述目標相機的目標相機姿態(tài)；

根據各所述目標相機的目標相機姿態(tài)以及內部參數，對各所述三維點進行重投影，確定與所述相機姿態(tài)對應的虛擬視點圖像。