[發明專利]視頻生成方法、裝置、電子設備以及存儲介質

在審

• 申請號: 202210431625.8
• 申請日: 2022-04-22
• 公開（公告）號: CN114827492A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 王佳梨;趙代平;蘇麗偉
• 申請（專利權）人: 北京大甜綿白糖科技有限公司
• 主分類號: H04N5/262
• 分類號: H04N5/262;H04N5/265;H04N21/81;G06T13/40;H04L67/02
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 袁忠林

本公開提供了一種視頻生成方法、裝置、電子設備以及存儲介質，其中，該方法包括：獲取待處理視頻，其中，所述待處理視頻中包含真實對象執行目標動作的視頻畫面；利用所述待處理視頻中所述真實對象的目標肢體信息，確定目標虛擬對象的動作驅動數據，其中，所述目標肢體信息為所述真實對象執行所述目標動作過程中的肢體信息；所述動作驅動數據為驅動所述目標虛擬對象執行所述目標動作的數據；基于所述動作驅動數據生成目標動畫視頻，其中，所述目標動畫視頻中包含所述目標虛擬對象執行所述目標動作的視頻畫面。

技術領域

本公開涉及視頻處理的技術領域，具體而言，涉及一種視頻生成方法、裝置、電子設備以及存儲介質。

背景技術

目前，制作3D類動畫的動畫制作軟件大部分為安裝在個人計算機(personalcomputer，簡稱PC)端的軟件。動畫設計師在基于該動作制作軟件制作虛擬人物的動畫時，需要在動畫制作軟件中選定任意視頻幀，并手動為該視頻幀中的虛擬人物增加對應的動作。針對其他視頻幀，均選擇相同的方法為該視頻幀中的虛擬人物增加不同的動作，以實現動畫視頻的制作。然而，現有通過動畫設計師手動為虛擬模型標注動作來制作動畫的方式操作繁瑣，且動畫制作效率低。當需要標注的動作較為復雜時，為動畫設計師增加了動畫設計難度，從而進一步降低了動畫制作效率。

發明內容

本公開實施例至少提供一種視頻生成方法、裝置、電子設備以及存儲介質。

第一方面，本公開實施例提供了一種視頻生成方法，包括：獲取待處理視頻，其中，所述待處理視頻中包含真實對象執行目標動作的視頻畫面；利用所述待處理視頻中所述真實對象的目標肢體信息，確定目標虛擬對象的動作驅動數據，其中，所述目標肢體信息為所述真實對象執行所述目標動作過程中的肢體信息；所述動作驅動數據為驅動所述目標虛擬對象執行所述目標動作的數據；基于所述動作驅動數據生成目標動畫視頻，其中，所述目標動畫視頻中包含所述目標虛擬對象執行所述目標動作的視頻畫面。

上述實施方式中，通過利用真實對象的目標肢體信息確定目標虛擬對象的動作驅動數據，可以實現自動生成驅動目標虛擬對象執行目標動作的數據；從而可以實現基于該動作驅動數據自動生成目標虛擬對象執行目標動畫的視頻畫面，進而簡化了動畫視頻的制作過程，提高了動畫視頻的制作效率。針對較為復雜的動作，依然可以得到對應的動畫視頻，從而降低了動畫視頻的設計難度。

一種可選的實施方式中，所述方法還包括：獲取視頻生成模式，其中，所述視頻生成模式用于指示所述目標虛擬對象中執行所述目標動作的模型部位；根據以下方式確定所述待處理視頻中所述真實對象的目標肢體信息：基于所述視頻生成模式確定所述真實對象中與所述模型部位相匹配的肢體部位；確定所述待處理視頻的指定視頻幀中所述真實對象的肢體部位的肢體關鍵點信息，所述目標肢體信息包括所述肢體關鍵點信息。

一種可選的實施方式中，所述利用所述待處理視頻中所述真實對象的目標肢體信息，確定目標虛擬對象的動作驅動數據，包括：基于所述目標肢體信息生成所述目標虛擬對象執行所述目標動作的過程中該目標虛擬對象的各對象關鍵點的運動軌跡；所述動作驅動數據包括所述各對象關鍵點的運動軌跡。

一種可選的實施方式中，所述目標肢體信息為所述真實對象的肢體關鍵點信息；所述基于所述目標肢體信息生成所述目標虛擬對象執行所述目標動作的過程中該目標虛擬對象的各對象關鍵點的運動軌跡，包括：將所述肢體關鍵點信息輸入至目標深度學習網絡中進行處理，得到所述各對象關鍵點的運動軌跡。

一種可選的實施方式中，所述目標肢體信息包含多個肢體子信息，所述目標動作包含多個子動作，每個肢體子信息和每個子動作均對應待處理視頻中的一個指定視頻幀；所述基于所述目標肢體信息生成所述目標虛擬對象執行所述目標動作的過程中該目標虛擬對象的各對象關鍵點的運動軌跡，包括：基于每個所述肢體子信息生成所述目標虛擬對象執行每個所述子動作時各對象關鍵點的位置信息；按照所述待處理視頻中各指定視頻幀的采集順序對所述位置信息進行排序，并基于排序結果確定所述運動軌跡。