[發明專利]一種虛擬對象唇形驅動系統

在審

• 申請號: 202211046102.8
• 申請日: 2022-08-30
• 公開（公告）號: CN115409920A
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 賈東星;江志培;黃豪;謝偉;陳偉
• 申請（專利權）人: 重慶愛車天下科技有限公司
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06V10/774;G06V10/82;G06V40/16
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及電通信技術領域，具體涉及一種虛擬對象唇形驅動系統，包括音頻獲取子系統、文本獲取子系統、預處理子系統、生成子系統和驅動子系統，所述音頻獲取子系統獲取音頻數據；所述文本獲取子系統獲取文本數據；所述預處理子系統對所述音頻數據或所述文本數據進行預處理，得到片段序列；所述生成子系統將音頻或文本對應的所述片段序列輸入訓練好的唇部動作系數模型進行訓練，得到人臉表情系數；所述驅動子系統基于所述人臉表情系數驅動目標虛擬對象做出對應的動作，無需人工進行調整，解決了需要人工根據音頻對虛擬對象唇部動作進行調整，人工成本高的問題。

技術領域

本發明涉及電通信技術領域，尤其涉及一種虛擬對象唇形驅動系統。

背景技術

當前行業內的虛擬對象大多通過動畫師的人工調整或者復雜的面部動作捕捉設備來實現虛擬對象的嘴部動作與音頻的對應關系。

然而，通過人工繪制或者動作捕捉設備人為調整虛擬對象的嘴部動作使其與音頻相對應，需要較多的人工精細調整，人工成本較高。

發明內容

本發明的目的在于提供一種虛擬對象唇形驅動系統，旨在解決需要人工根據音頻對虛擬對象唇部動作進行調整，人工成本高的問題。

為實現上述目的，本發明提供了一種虛擬對象唇形驅動系統，包括音頻獲取子系統、文本獲取子系統、預處理子系統、生成子系統和驅動子系統，所述音頻獲取子系統、所述預處理子系統、所述生成子系統和所述驅動子系統依次連接，所述文本獲取子系統與所述預處理子系統連接；所述音頻獲取子系統，用于獲取音頻數據；所述文本獲取子系統，用于獲取文本數據；所述預處理子系統，用于對所述音頻數據或所述文本數據進行預處理，得到片段序列；所述生成子系統，用于將所述片段序列輸入訓練好的唇部動作系數模型進行訓練，得到人臉表情系數；所述驅動子系統，基于所述人臉表情系數驅動目標虛擬對象做出對應的動作。

其中，所述音頻獲取子系統包括音頻獲取模塊和音頻過濾模塊，所述音頻獲取模塊和所述音頻過濾模塊連接；所述音頻獲取模塊，用于獲取目標音頻；所述音頻過濾模塊，用于過濾所述目標音頻，得到音頻數據。

其中，所述文本獲取子系統包括文本獲取模塊和文本過濾模塊，所述文本獲取模塊和所述文本過濾模塊連接；所述文本獲取模塊，用于獲取目標文本；所述文本過濾模塊，用于過濾所述目標文本，得到文本數據。

其中，所述預處理子系統包括轉換模塊和截斷模塊，所述轉換模塊和所述截斷模塊依次連接；所述轉換模塊，用于將所述音頻數據轉換為文本，得到轉換文本數據；所述截斷模塊，用于將所述轉換文本數據或所述文本數據截斷為片段序列。

其中，所述生成子系統包括構建模塊、獲取模塊、訓練模塊和輸入模塊，所述構建模塊、所述獲取模塊、所述訓練模塊和所述輸入模塊依次連接；所述構建模塊，用于構建神經網絡；所述獲取模塊，用于獲取并劃分公開數據集，得到訓練集和驗證集；所述訓練模塊，用于使用所述訓練集和所述驗證集對所述神經網絡進行訓練和驗證，得到唇部動作系數模型；所述輸入模塊，用于將所述片段序列輸入所述唇部動作系數模型中進行訓練，得到人臉表情系數。

其中，所述獲取模塊包括獲取單元、過濾單元和劃分單元，所述獲取單元、所述過濾單元和所述劃分單元依次連接；所述獲取單元，用于獲取公開數據集；所述過濾單元，用于對所述公開數據集進行過濾，得到過濾數據集；所述劃分單元，用于對所述過濾數據集進行劃分，得到訓練集和驗證集。

其中，所述訓練模塊包括訓練單元和驗證單元，所述訓練單元與所述驗證單元連接；所述訓練單元，用于使用所述訓練集對所述神經網絡進行訓練，得到預訓練模型；所述驗證單元，用于使用所述驗證集對所述預訓練模型進行驗證，驗證通過，得到唇部動作系數模型。