[發明專利]基于3D重建技術的視頻編輯方法和裝置以及設備

有效

• 申請號: 202010725481.8
• 申請日: 2020-07-24
• 公開（公告）號: CN111862275B
• 公開（公告）日: 2023-06-06
• 發明（設計）人: 吳善思源;龔秋棠;吳方燦;林奇
• 申請（專利權）人: 廈門真景科技有限公司
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T13/40;G06T17/00;G06T19/20;G06V20/40;G06N3/0455
• 代理公司: 廈門原創專利事務所(普通合伙) 35101
• 代理人: 徐東峰

1.一種基于3D重建技術的視頻編輯方法，其特征在于，所述方法包括：

獲取待編輯視頻；

檢測所述待編輯視頻每一幀中可識別的對象；

利用神經網絡重建與每一所述對象對應的第一3D模型；

選擇所述待編輯視頻中的所述對象的當前幀，對所選擇的所述對象進行編輯，并將所編輯的內容修改所述第一3D模型，生成第二3D模型；

基于所述第二3D模型對所述對象所在的每一幀圖像進行實時姿態估計，并根據所述姿態估計驅動所述第二3D模型生成替換圖像，將所述替換圖像渲染至所述待編輯視頻的同一所述對象的所有幀上，其包括：

根據所述對象所在的每一幀圖像的坐標，裁出所述對象，并輸入至所述第二3D模型中；

輸出所述對象所在的每一幀圖像的坐標和所述對象的三維姿態參數；

根據所述坐標和所述三維姿態參數驅動所述第二3D模型旋轉平移至對應的所在的每一幀圖像中出現所述對象的位置，將所編輯的內容投影至同一所述對象的所有幀上，替換所有幀中的像素點，實現渲染。

2.根據權利要求1所述的一種基于3D重建技術的視頻編輯方法，其特征在于，所述檢測所述待編輯視頻每一幀中可識別的對象，包括：

利用通用物體檢測技術檢測所述待編輯視頻每一幀中可識別的對象。

3.根據權利要求1所述的一種基于3D重建技術的視頻編輯方法，其特征在于，所述利用神經網絡重建與每一所述對象對應的第一3D模型，包括：

通過自編碼器根據每一所述對象的體素組成重建所述對象對應的所述第一3D模型。

4.一種基于3D重建技術的視頻編輯裝置，其特征在于，所述裝置包括：

獲取單元，用于獲取待編輯視頻；

檢測單元，用于檢測所述待編輯視頻每一幀中可識別的對象；

重建單元，用于利用神經網絡重建與每一所述對象對應的第一3D模型；

編輯單元，用于選擇所述待編輯視頻中的所述對象的當前幀，對所選擇的所述對象進行編輯，并將所編輯的內容修改所述第一3D模型，生成第二3D模型；

渲染單元，用于基于所述第二3D模型對所述對象所在的每一幀圖像進行實時姿態估計，并根據所述姿態估計驅動所述第二3D模型生成替換圖像，將所述替換圖像渲染至所述待編輯視頻的同一所述對象的所有幀上；

所述渲染單元還包括：

輸入單元，用于根據所述對象所在的每一幀圖像的坐標，裁出所述對象，并輸入至所述第二3D模型中；

輸出單元，用于輸出所述對象所在的每一幀圖像的坐標和所述對象的三維姿態參數；

驅動單元，用于根據所述坐標和所述三維姿態參數驅動所述第二3D模型旋轉平移至對應的所在的每一幀圖像中出現所述對象的位置，將所編輯的內容投影至同一所述對象的所有幀上，替換所有幀中的像素點，實現渲染。

5.根據權利要求4所述的一種基于3D重建技術的視頻編輯裝置，其特征在于，所述檢測單元還包括：

利用通用物體檢測技術檢測所述待編輯視頻每一幀中可識別的對象。

6.根據權利要求4所述的一種基于3D重建技術的視頻編輯裝置，其特征在于，所述編輯單元還包括：

通過自編碼器根據每一所述對象的體素組成重建所述對象對應的所述第一3D模型。

7.一種基于3D重建技術的視頻編輯設備，其特征在于，包括處理器、存儲器以及存儲在所述存儲器內的計算機程序，所述計算機程序能夠被所述處理器執行以實現如權利要求1至3任意一項所述的基于3D重建技術的視頻編輯方法。

8.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質包括存儲的計算機程序，其中，在所述計算機程序運行時控制所述計算機可讀存儲介質所在設備執行如權利要求1至3任意一項所述的基于3D重建技術的視頻編輯方法。