[發明專利]一種特定軌跡下新視點合成視頻生成的方法及系統

在審

• 申請號: 202210439095.1
• 申請日: 2022-04-25
• 公開（公告）號: CN114782602A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 吉長江
• 申請（專利權）人: 北京影數科技有限公司
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T17/00;G06T7/73;G06T7/80;G06T7/38
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 杜立軍

1.一種特定軌跡下新視點合成視頻生成的方法，其特征在于，所述方法包括：

根據采集的物體正視和側視圖像獲取物體的三維包圍盒的中心點坐標，并獲取剛體變換矩陣，根據所述剛體變換矩陣能通過剛體變換將所述三維包圍盒的中心點移至世界坐標系的原點，且三維物體包圍盒的正前面平行于世界坐標系的XOY平面、底面平行于世界坐標系的XOZ平面；

對物體通過三維重建得到的三維稀疏點云模型根據所述剛體變換矩陣進行配準和變換處理；

根據處理后的三維稀疏點云模型以及訓練集圖片對預先構建的神經渲染模型進行訓練；

將與用戶預設觀察視點對應的設定相機外參矩陣輸入至訓練的神經渲染模型，輸出該觀察視點下的物體圖像；

獲取特定軌跡下不同觀察視點的多張物體圖像，并合成為視頻。

2.根據權利要求1所述的一種特定軌跡下新視點合成視頻生成的方法，其特征在于，根據采集的物體正視和側視圖像獲取物體的三維包圍盒的中心點坐標，具體包括：

采集物體正視和側視圖像分別作為第一和第二參考幀，在所述第一和第二參考幀上標記出物體的二維包圍框，根據所述二維包圍框獲取物體的關鍵角點；

對所述關鍵角點進行坐標轉換得到對應的在世界坐標系下的3D坐標，根據關鍵角點的3D坐標即可得到物體的三維包圍盒；

根據關鍵角點的3D坐標計算得到物體的三維包圍盒的中心點坐標。

3.根據權利要求2所述的一種特定軌跡下新視點合成視頻生成的方法，其特征在于，對所述關鍵角點進行坐標轉換得到世界坐標系下的3D坐標，具體包括：

通過三維重建SFM算法得到相機內參矩陣K、對應于第一和第二參考幀的相機外參矩陣M1、M2；

根據小孔相機模型以及得到的相機內參矩陣K、相機外參矩陣M1、M2計算得到關鍵角點在世界坐標系下的3D坐標。

4.根據權利要求1所述的一種特定軌跡下新視點合成視頻生成的方法，其特征在于，獲取剛體變換矩陣，具體包括：

計算旋轉矩陣R和平移矩陣T，根據所述旋轉矩陣R和平移矩陣T得到剛體變換矩陣M。

5.根據權利要求1所述的一種特定軌跡下新視點合成視頻生成的方法，其特征在于，對物體通過三維重建得到的三維稀疏點云模型根據所述剛體變換矩陣進行配準和變換處理，具體包括：

將剛體變換矩陣M乘以三維稀疏點云模型中每一個3D點的坐標得到標準化的三維稀疏點云模型。

6.一種特定軌跡下新視點合成視頻生成的系統，其特征在于，所述系統包括：

配準模塊，用于根據采集的物體正視和側視圖像獲取物體的三維包圍盒的中心點坐標，并獲取剛體變換矩陣，根據所述剛體變換矩陣能通過剛體變換將所述三維包圍盒的中心點移至世界坐標系的原點，且三維物體包圍盒的正前面平行于世界坐標系的XOY平面、底面平行于世界坐標系的XOZ平面；

對物體通過三維重建得到的三維稀疏點云模型根據所述剛體變換矩陣進行配準和變換處理；

神經渲染模型訓練模塊，用于根據處理后的三維稀疏點云模型以及訓練集圖片對預先構建的神經渲染模型進行訓練；

視頻生成模塊，用于將與用戶預設觀察視點對應的設定相機外參矩陣輸入至訓練的神經渲染模型，輸出該觀察視點下的物體圖像；

獲取特定軌跡下不同觀察視點的多張物體圖像，并合成為視頻。

7.根據權利要求6所述的一種特定軌跡下新視點合成視頻生成的系統，其特征在于，所述配準模塊具體用于：

采集物體正視和側視圖像分別作為第一和第二參考幀，在所述第一和第二參考幀上標記出物體的二維包圍框，根據所述二維包圍框獲取物體的關鍵角點；

對所述關鍵角點進行坐標轉換得到對應的在世界坐標系下的3D坐標，根據關鍵角點的3D坐標即可得到物體的三維包圍盒；

根據關鍵角點的3D坐標計算得到物體的三維包圍盒的中心點坐標。

8.一種計算機存儲介質，其特征在于，所述計算機存儲介質中包含一個或多個程序指令，所述一個或多個程序指令用于被一種特定軌跡下新視點合成視頻生成的系統執行如權利要求1-5任一項所述的方法。