[發明專利]一種虛擬角色捏臉方法、系統、存儲介質及處理終端

在審

• 申請號: 202211405754.6
• 申請日: 2022-11-10
• 公開（公告）號: CN116052241A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 吉祥
• 申請（專利權）人: 深圳市即構科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06V10/764;G06V10/82;G06N3/0464;G06N3/047;G06N3/048;G06N3/08;G06T15/00;G06T19/20;A63F13/60
• 代理公司: 深圳中創智財知識產權代理有限公司 44553
• 代理人: 李春林

1.一種新型的虛擬角色捏臉方法，其特征在于，所述方法包括：

獲取待生成所述虛擬角色的人臉圖片；

對人臉圖片進行預處理，通過人臉檢測、人臉對齊獲得模型輸入圖；

將模型輸入圖輸入性別分類模型中進行性別識別；

通過性別識別結果選擇對應的捏臉推理模塊，進而得到虛擬形象編碼；

根據虛擬形象編碼生成定制化的虛擬形象。

2.根據權利要求1所述的一種新型的虛擬角色捏臉方法，其特征在于，所述捏臉推理模塊分為男女兩種類型，其網絡模型主要包括提取圖像特征的骨干網絡和輸出相應虛擬形象編碼的輸出頭。

3.根據權利要求2所述的一種新型的虛擬角色捏臉方法，其特征在于，所述骨干網絡使用串聯的輕量化網絡模塊，依次包括CBA?3*3模塊、第一Ghost?Bottlenecks模塊、MobileVit?Block、第二Ghost?Bottlenecks模塊和第三Ghost?Bottlenecks模塊。

4.根據權利要求3所述的一種新型的虛擬角色捏臉方法，其特征在于，所述CBA模塊為卷積網絡模塊，包括串行連接的conv層、BN層和激活層Act；每個Ghost?Bottlenecks模塊依次包括深度可分離卷積DSC、Ghost?module、Depthwise?Convolution、BN層、Act層、SEBlock、BN層，Ghost?Bottlenecks模塊的輸入與經過Ghost?Bottlenecks模塊操作后的輸出相加后得到該Ghost?Bottlenecks模塊的最終輸出。

5.根據權利要求3所述的一種新型的虛擬角色捏臉方法，其特征在于，所述MobileVitBlock依次包括DSC層、reshapeTranspose、Transformer層、reshapeTranspose、conv1*1層，經1*1卷積后的輸出與MobileVit?Block的原始輸入經concat拼接后經過CBA層，即得到該MobileVit?Block的輸出。

6.根據權利要求5所述的一種新型的虛擬角色捏臉方法，其特征在于，所述Transformer層由以下部分構成：第一LN層、多頭注意力層、第二LN層、第一FC層、第一Act層、第一Dropout層、第二FC層、第二Dropout層，其中，多頭注意力層后的輸出與經第一LN層前的輸入進行殘差相加后再輸入第二LN層，第二Dropout層后的輸出與經第二LN層前的輸入進行殘差相加后再得到最終輸出。

7.根據權利要求2所述的一種新型的虛擬角色捏臉方法，其特征在于，所述輸出頭采用特征共享結構，輸出多個任務中損失函數L_total為:

優化時，將ω_i設置為：

其中，ω_i是第i個任務的權重，L_i是第i個任務的損失函數，N為任務個數，T為一個常數，T越大，每個任務的損失權重越均勻，r_n(t-1)為連續兩個t-1、t-2時刻損失，即L_n相除的結果，通過調整每個任務的權重ω_i實現每個任務學習速率相近。

8.一種新型的虛擬角色捏臉的處理系統，其特征在于，包括：處理器以及與所述處理器連接的存儲器，用于為所述處理器提供處理以下處理步驟的指令：

獲取待生成所述虛擬角色的人臉圖片；

對人臉圖片進行預處理，通過人臉檢測、人臉對齊獲得模型輸入圖；

將模型輸入圖輸入性別分類模型中進行性別識別；

通過性別識別結果選擇對應的捏臉推理模塊，進而得到虛擬形象編碼；

根據虛擬形象編碼生成定制化的虛擬形象。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質包括存儲的計算機程序，其中，在所述程序運行時控制所述計算機可讀存儲介質所在設備執行所述權利要求1至7中任意一項所述的一種新型的虛擬角色捏臉方法。

10.一種處理終端，其特征在于，包括：存儲介質和處理器，所述處理器用于運行所述存儲介質中存儲的計算機程序，其中，所述程序運行時執行所述權利要求1至7中任意一項所述的一種新型的虛擬角色捏臉方法。