[發明專利]基于相機姿態的虛擬視點生成方法及裝置

在審

• 申請號: 202111467673.4
• 申請日: 2021-12-03
• 公開（公告）號: CN114399553A
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 桑新柱;葉曉倩;王華春;陳鐸;王鵬;劉博陽;齊帥;萬華明;李寧馳;王葵如;顏玢玢
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/62;G06N3/08;G06N3/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 毛宏寶

1.一種基于相機姿態的虛擬視點生成方法，其特征在于，包括：

根據相鄰的兩幅視點圖像之間的匹配點對以及相鄰的所述視點圖像對應的相機陣列中兩個相機的內部參數和外部參數，構建與所述匹配點對對應的三維點；

根據與被選定的相機姿態對應的各目標相機的目標相機姿態以及內部參數，對各所述三維點進行重投影，確定與所述相機姿態對應的虛擬視點圖像。

2.根據權利要求1所述的基于相機姿態的虛擬視點生成方法，其特征在于，在根據相鄰的視點圖像之間的匹配點對以及相鄰的所述視點圖像對應的兩個相機的內部參數和外部參數，構建與所述匹配點對對應的三維點之前，還包括：

從相鄰的兩幅視點圖像的第一視點圖像中，提取第一匹配點；

根據訓練好的光流估計模型，從相鄰的兩幅視點圖像的第二視點圖像中，提取與所述第一匹配點相匹配的第二匹配點；

根據所述第一匹配點和所述第二匹配點，形成匹配點對。

3.根據權利要求1所述的基于相機姿態的虛擬視點生成方法，其特征在于，所述根據相鄰的兩幅視點圖像之間的匹配點對以及相鄰的所述視點圖像對應的兩個相機的內部參數和外部參數，構建與所述匹配點對對應的三維點，包括：

根據相鄰的兩幅視點圖像之間的匹配點對以及相鄰的所述視點圖像對應的兩個相機的內部參數和外部參數，確定兩個所述相機對應的兩條光線方向；

根據直接線性變化對兩條所述光線方向進行處理，構建與所述匹配點對對應的三維點。

4.根據權利要求1所述的基于相機姿態的虛擬視點生成方法，其特征在于，所述根據與被選定的相機姿態對應的各目標相機的目標相機姿態以及內部參數，對各所述三維點進行重投影，確定與所述相機姿態對應的虛擬視點圖像，包括：

當被選定的相機姿態為水平位置時，根據所述相機陣列中各所述目標相機的三維坐標，對各所述目標相機進行相機位置校平，獲取各所述目標相機的校平坐標；

根據各所述目標相機的校平坐標，以及由各所述目標相機的旋轉角進行平均處理后得到的各所述目標相機的校平旋轉角，確定各所述目標相機的目標相機姿態；

根據各所述目標相機的目標相機姿態以及內部參數，對各所述三維點進行重投影，確定與所述相機姿態對應的虛擬視點圖像。

5.根據權利要求1或4所述的基于相機姿態的虛擬視點生成方法，其特征在于，對各所述三維點進行重投影，確定與所述相機姿態對應的虛擬視點圖像，包括：

對各所述三維點以相鄰的兩幅所述視點圖像作為參考圖像進行重投影，確定與所述相機姿態對應的兩幅相鄰的初始虛擬視點圖像；

將相鄰的所述初始虛擬視點圖像中的左圖進行空洞填充，生成虛擬視點圖像。

6.根據權利要求5所述的基于相機姿態的虛擬視點生成方法，其特征在于，所述將相鄰的所述初始虛擬視點圖像中的左圖進行空洞填充，包括：

獲取相鄰的所述初始虛擬視點圖像的左圖中空洞面積大于預設面積的第一空洞位置；

從所述右圖中獲取與所述第一空洞位置對應的像素填充至所述第一空洞位置。

7.根據權利要求6所述的基于相機姿態的虛擬視點生成方法，其特征在于，還包括：

獲取所述左圖中空洞面積小于或等于所述預設面積的第二空洞位置；

對所述第二空洞位置通過閉操作進行空洞填充。

8.一種基于相機姿態的虛擬視點生成裝置，其特征在于，包括：

三維點構建模塊，用于根據相鄰的兩幅視點圖像之間的匹配點對以及相鄰的所述視點圖像對應的相機陣列中兩個相機的內部參數和外部參數，構建與所述匹配點對對應的三維點；

虛擬視點生成模塊，用于根據與被選定的相機姿態對應的各目標相機的目標相機姿態以及內部參數，對各所述三維點進行重投影，確定與所述相機姿態對應的虛擬視點圖像。

9.一種電子設備，包括處理器和存儲有計算機程序的存儲器，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7任一項所述的基于相機姿態的虛擬視點生成方法的步驟。

10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7任一項所述的基于相機姿態的虛擬視點生成方法的步驟。