[發明專利]網絡訓練及視頻幀處理的方法、裝置、設備及存儲介質

在審

• 申請號: 202111055985.4
• 申請日: 2021-09-09
• 公開（公告）號: CN114120389A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 衛華威;韓欣彤
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/28;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;H04N21/234;H04N21/44
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 王瑞云

本申請公開了一種網絡訓練及視頻幀處理的方法、裝置、設備及存儲介質，該視頻幀處理的方法包括：對包含目標臉部的視頻幀進行臉部分割，獲得多個局部臉部圖像，其中，各局部臉部圖像包含至少一種臉部部位；分別將所述局部臉部圖像輸入至預先訓練的、與其臉部部位對應的局部表情識別網絡中，并獲得該局部表情識別網絡輸出的若干表情系數；根據各局部表情識別網絡輸出的若干表情系數，生成與所述目標臉部的表情一致的虛擬圖像。實現賦能虛擬直播、數字人等場景，大大降低了虛擬直播的成本與門檻，提高直播業務的互動性和趣味性，極大地擴展了直播應用前景與市場潛力。

技術領域

本申請實施例涉及直播技術領域，尤其涉及一種網絡訓練及視頻幀處理的方法、裝置、設備及存儲介質。

背景技術

隨著二次元虛擬直播在游戲、唱歌等各個領域的迅速發展，虛擬形象的受眾群體逐漸龐大。

虛擬直播背后的技術是表情捕捉，在相關技術中，表情捕捉技術依賴厚重的頭盔面捕設備，而且價格昂貴，如果要讓虛擬直播大眾化，使用該設備成本較高。

發明內容

本申請提供一種網絡訓練及視頻幀處理的方法、裝置、設備及存儲介質，以解決現有技術中進行虛擬直播時表情捕捉技術中因依賴厚重的頭盔面捕設備，導致設備成本較高和虛擬直播推廣受限的問題。

第一方面，本申請實施例提供了一種表情識別網絡訓練的方法，所述方法包括：

對訓練樣本集中的各臉部圖像進行臉部分割，獲得多個樣本局部圖像；

按照不同的臉部部位，對所述多個樣本局部圖像進行分組，得到多個臉部部位樣本集合；

對各臉部部位樣本集合中的各樣本局部圖像進行特征提取；

根據各臉部部位樣本集合提取出的特征集合，采用預設神經網絡算法和指定損失函數進行聯合學習，得到各臉部部位對應的局部表情識別網絡，其中，各局部表情識別網絡用于輸出與其對應的臉部部位對應的設定維度的表情系數。

第二方面，本申請實施例還提供了一種視頻幀處理的方法，所述方法包括：

對包含目標臉部的視頻幀進行臉部分割，獲得多個局部臉部圖像，其中，各局部臉部圖像包含至少一種臉部部位；

分別將所述局部臉部圖像輸入至預先訓練的、與其臉部部位對應的局部表情識別網絡中，并獲得該局部表情識別網絡輸出的若干表情系數；

根據各局部表情識別網絡輸出的若干表情系數，生成與所述目標臉部的表情一致的虛擬圖像。

第三方面，本申請實施例還提供了一種表情識別網絡訓練的裝置，所述裝置包括：

樣本圖像臉部分割模塊，用于對訓練樣本集中的各臉部圖像進行臉部分割，獲得多個樣本局部圖像；

圖像分組模塊，用于按照不同的臉部部位，對所述多個樣本局部圖像進行分組，得到多個臉部部位樣本集合；

特征提取模塊，用于對各臉部部位樣本集合中的各樣本局部圖像進行特征提取；

表情識別網絡訓練模塊，用于根據各臉部部位樣本集合提取出的特征集合，采用預設神經網絡算法和指定損失函數進行聯合學習，得到各臉部部位對應的局部表情識別網絡，其中，各局部表情識別網絡用于輸出與其對應的臉部部位對應的設定維度的表情系數。

第四方面，本申請實施例還提供了一種視頻幀處理的裝置，所述裝置包括：

視頻幀臉部分割模塊，用于對包含目標臉部的視頻幀進行臉部分割，獲得多個局部臉部圖像，其中，各局部臉部圖像包含至少一種臉部部位；

表情系數獲取模塊，用于分別將所述局部臉部圖像輸入至預先訓練的、與其臉部部位對應的局部表情識別網絡中，并獲得該局部表情識別網絡輸出的若干表情系數；