[發明專利]視頻處理方法、相關裝置及存儲介質

有效

• 申請號: 202211667935.6
• 申請日: 2022-12-23
• 公開（公告）號: CN116074577B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 請求不公布姓名
• 申請（專利權）人: 北京生數科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;G06N20/00
• 代理公司: 北京箴思知識產權代理有限公司 11913
• 代理人: 蔣志棟

本申請實施例涉及計算機視覺領域，提供一種視頻處理方法、相關裝置及存儲介質，該方法包括：獲取候選圖像序列，所述候選圖像序列通過預設對抗生成模型中的生成器基于目標語音片段以及目標對象的面部圖像得到；基于所述候選圖像序列獲取目標損失，所述目標損失至少包括真實度判別損失，所述真實度判別損失至少基于所述候選圖像序列的時序連接特征得到；若所述目標損失未收斂，則基于所述目標損失更新所述生成器；基于更新的生成器，獲取更新的候選圖像序列，直至目標損失收斂，并將目標損失收斂時的候選圖像序列作為目標圖像序列。本申請實施例中在生成圖像序列時，至少基于真實度判別損失約束生成器，在視頻層面對圖像的連續生成提供了指導。

技術領域

本申請實施例涉及計算機視覺領域，更具體地涉及一種視頻處理方法、相關裝置及存儲介質。

背景技術

通過語音驅動人臉視頻生成的方案，可廣泛應用于虛擬助手、智能客服、新聞播報、遠程會議、電子游戲等多個領域，滿足上述領域對智能虛擬形象的功能需求和性能需求，并基于人工智能大幅度降低相關行業的人工勞動。

現有技術中往往采用生成式對抗網絡(Generative?Adversarial?Networks,GAN)基于輸入的語音和目標人物圖像，生成目標人物的換口型視頻。然而，由于GAN通常僅對單張圖像的質量負責，并不關心多張圖像之間的聯系，因此現有技術生成的換口型視頻存在明顯瑕疵，例如連續幀圖像之間的人物動作銜接不自然，出現圖像抖動的現象。

在目標人物的換口型視頻的生成方案中，通常是僅生成目標人物的頭部圖像，并將該頭部圖像粘貼回原視頻中。由于現有技術在生成單張頭部圖像時，并未考慮人物頭部前后動作的連貫性和一致性，這就導致隨著人物動作變化，生成圖像的瑕疵(尤其是圖像邊緣靠近貼合部位的地方)會在連續播放時被放大。另外，不同圖像之間明暗、光線的差異，在單張觀察時并不明顯，一旦連續播放，這些屬性的差異也會被肉眼直觀的捕捉到。

發明內容

本申請實施例提供一種視頻處理方法、相關裝置及存儲介質,可以生成前后幀圖像連貫性和一致性較高的換口型視頻。

第一方面，本申請實施例提供一種視頻處理方法，該方法包括：

獲取候選圖像序列，所述候選圖像序列通過預設對抗生成模型中的生成器基于目標語音片段以及目標對象的面部圖像得到；

基于所述候選圖像序列獲取目標損失，所述目標損失至少包括真實度判別損失，所述真實度判別損失至少基于所述候選圖像序列的時序連接特征得到；

若所述目標損失未收斂，則基于所述目標損失更新所述生成器；

基于更新的生成器，獲取更新的候選圖像序列，直至目標損失收斂，并將目標損失收斂時的候選圖像序列作為目標圖像序列。

第二方面，本申請實施例提供一種視頻處理裝置，具有實現對應于上述第一方面提供的視頻處理方法的功能。所述功能可以通過硬件實現，也可以通過硬件執行相應的軟件實現。硬件或軟件包括一個或多個與上述功能相對應的模塊，所述模塊可以是軟件和/或硬件。

在一個實施方式中，所述視頻處理裝置包括：

輸入輸出模塊，被配置為獲取目標語音片段以及目標對象的面部圖像；

處理模塊，被配置為獲取候選圖像序列，所述候選圖像序列基于所述目標語音片段以及所述面部圖像得到；

所述處理模塊，還被配置為基于所述候選圖像序列獲取目標損失，所述目標損失至少包括真實度判別損失，所述真實度判別損失至少基于所述候選圖像序列的時序連接特征得到；

所述處理模塊，還被配置為若所述目標損失未收斂，則基于所述目標損失更新所述候選圖像序列；以及基于更新的候選圖像序列，獲取更新的目標損失，直至目標損失收斂，并將目標損失收斂時的候選圖像序列作為目標圖像序列。