[發明專利]一種虛擬角色捏臉方法、系統、存儲介質及處理終端

在審

• 申請號: 202211405754.6
• 申請日: 2022-11-10
• 公開（公告）號: CN116052241A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 吉祥
• 申請（專利權）人: 深圳市即構科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06V10/764;G06V10/82;G06N3/0464;G06N3/047;G06N3/048;G06N3/08;G06T15/00;G06T19/20;A63F13/60
• 代理公司: 深圳中創智財知識產權代理有限公司 44553
• 代理人: 李春林

本發明涉及虛擬角色生成領域，具體涉及一種虛擬角色捏臉方法、系統、存儲介質及處理終端，所述方法包括：獲取待生成所述虛擬角色的人臉圖片；對人臉圖片進行預處理，通過人臉檢測、人臉對齊獲得模型輸入圖；將模型輸入圖輸入性別分類模型中進行性別識別；通過性別識別結果選擇對應的捏臉推理模塊，進而得到虛擬形象編碼；根據虛擬形象編碼生成定制化的虛擬形象。在捏臉推理模塊中的骨干網絡使用串聯的輕量化網絡模塊作為特征提取網絡，加速網絡的收斂和提升網絡的性能，輸出頭采用特征共享結構，使具有相關性的子任務之間相互起促進作用，提高了輸出精度。

技術領域

本發明涉及虛擬角色生成領域，具體涉及一種虛擬角色捏臉方法、系統、存儲介質及處理終端。

背景技術

目前大多數現有的創建和定制游戲角色的方法都要求玩家手動調整角色的面部特征，以便重新創建自己的面部或捏成其他人的面部，一個玩家通常需要幾個小時耐心去手動調整數百個參數(例如臉型、眼睛)來創建一個類似于指定肖像的角色，花費時間長，捏臉效率低；一些開發人員也嘗試開發一些新方法，通過分析真實人物的面部圖像，自動定制角色的面部，但這些方法實際效果通常不佳，要么過程復雜，要么生成的虛擬角色圖像與輸入圖像之間的相似度較差，難以在形態和神態上與該輸入圖像保持一致，不利于提升用戶體驗的問題。

發明內容

針對上述現有技術的不足，本發明的目的在于提供一種虛擬角色捏臉方法、系統、存儲介質及處理終端。

在本發明的一個實施例中，提供一種新型的虛擬角色捏臉方法，該方法包括：

獲取待生成所述虛擬角色的人臉圖片；對人臉圖片進行預處理，通過人臉檢測、人臉對齊獲得模型輸入圖；將模型輸入圖輸入性別分類模型中進行性別識別；通過性別識別結果選擇對應的捏臉推理模塊，進而得到虛擬形象編碼；根據虛擬形象編碼生成定制化的虛擬形象。

在本發明的另一個實施例中，所述捏臉推理模塊分為男女兩種類型，其網絡模型主要包括提取圖像特征的骨干網絡和輸出相應虛擬形象編碼的輸出頭。

在本發明的又一個實施例中，所述骨干網絡使用串聯的輕量化網絡模塊，依次包括CBA3*3模塊、第一Ghost?Bottlenecks模塊、MobileVit?Block、第二Ghost?Bottlenecks模塊和第三Ghost?Bottlenecks模塊。

在本發明的又一個實施例中，所述CBA模塊為卷積網絡模塊，包括串行連接的conv層、BN層和激活層Act；每個Ghost?Bottlenecks模塊依次包括深度可分離卷積DSC、Ghostmodule、Depthwise?Convolution、BN層、Act層、SE?Block、BN層，Ghost?Bottlenecks模塊的輸入與經過Ghost?Bottlenecks模塊操作后的輸出相加后得到該Ghost?Bottlenecks模塊的最終輸出。

在本發明的又一個實施例中，所述MobileVit?Block依次包括DSC層、reshapeTranspose、Transformer層、reshapeTranspose、conv1*1層，經1*1卷積后的輸出與MobileVit?Block的原始輸入經concat拼接后經過CBA層，即得到該MobileVit?Block的輸出。

在本發明的又一個實施例中，所述Transformer層由以下部分構成：第一LN層、多頭注意力層、第二LN層、第一FC層、第一Act層、第一Dropout層、第二FC層、第二Dropout層，其中，多頭注意力層后的輸出與經第一LN層前的輸入進行殘差相加后再輸入第二LN層，第二Dropout層后的輸出與經第二LN層前的輸入進行殘差相加后再得到最終輸出。

在本發明的又一個實施例中，所述輸出頭采用特征共享結構，輸出多個任務中損失函數L_total為: