[發明專利]基于語音控制的虛擬角色面部表情實時驅動系統和方法

在審

• 申請號: 202010797609.1
• 申請日: 2020-08-10
• 公開（公告）號: CN111986297A
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 周安斌;湯禎科;宋健健;尚緒峰
• 申請（專利權）人: 山東金東數字創意股份有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T7/20;G10L15/22
• 代理公司: 武漢聚信匯智知識產權代理有限公司 42258
• 代理人: 劉丹

1.基于語音控制的虛擬角色面部表情實時驅動系統，其特征在于，包括：圖像采集模塊、運動分析模塊、虛擬角色驅動模塊、語音融合模塊和交互模塊；

圖像采集模塊，用于采集模特的視頻數據，將采集到的視頻數據發送到所述運動分析模塊；

其中，圖像采集模塊包括采集器和預處理單元，所述采集器用于采集模特的視頻數據，將采集得到的視頻數據發送到所述預處理單元，所述預處理單元用于對視頻數據處理為預設的標準格式，將處理完成的視頻數據發送到所述運動分析模塊；

運動分析模塊，用于接收所述圖像采集模塊發送的視頻數據，對視頻數據進行分析得到視頻數據中關鍵點數據，將關鍵點數據發送到所述虛擬角色驅動模塊；

其中，所述運動分析模塊包括關鍵點檢測單元和關鍵點標記單元，所述關鍵點檢測單元用于檢測視頻數據，得到視頻數據中的關鍵點，將關鍵點發送到所述關鍵點標記單元，所述關鍵點標記單元用于對關鍵點進行標記，得到關鍵點數據，將關鍵點數據發送到所述虛擬角色驅動模塊；

虛擬角色驅動模塊，用于接收所述運動分析模塊發送的關鍵點數據，對關鍵點數據進行處理得到動作同步數據，將動作同步數據發送到所述語音融合模塊；

其中，所述虛擬角色驅動模塊包括虛擬角色數據庫、映射單元、動作錄制單元和數據輸出單元，所述虛擬角色數據庫用于存儲虛擬角色數據，所述映射單元用于將關鍵點數據與虛擬角色數據進行映射，得到映射數據，將映射數據發送到動作錄制單元，所述動作錄制單元用于接收所述映射單元發送的映射數據，并根據映射數據錄制動作同步數據，將動作同步數據發送到所述數據輸出單元，所述數據輸出單元用于將動作同步數據發送到語音融合模塊；

語音融合模塊，用于接收所述虛擬角色驅動模塊發送的動作同步數據，將用戶的語音標簽與動作同步數據融合得到同步虛擬表情數據，將同步虛擬表情數據進行存儲；

其中，所述語音融合模塊包括數據輸入單元、語音標簽輸入單元、語音標簽融合單元和動作存儲單元，所述數據輸入單元用于接收所述虛擬角色驅動模塊發送的動作同步數據，所述語音標簽輸入單元用于用戶輸入語音標簽，所述語音標簽融合單元用于將動作同步數據與語音標簽進行映射得到同步虛擬表情數據，所述動作存儲單元用于存儲同步虛擬表情數據；

交互模塊，用于采集用戶的語音信息并進行分析的得到語音數據，還用于訪問所述語音融合模塊中保存的同步虛擬表情數據，調取對應的同步虛擬表情數據并輸出；

其中，所述交互模塊包括語音采集單元、語音分析單元、對比單元、調取單元、輸出單元和顯示單元，所述語音采集單元用于采集用戶發出的聲音，得到聲音數據，將聲音數據發送到所述語音分析單元，所述語音分析單元對聲音數據進行分析處理得到聲音數據的特征，發送到所述對比單元，所述對比單元用于訪問所述語音融合模塊中保存的同步虛擬表情數據與所述語音分析單元進行分析處理得到聲音數據的特征進行比對，得到比對結果，將比對結果發送到調取單元，調取單元訪問所述語音融合模塊中保存的同步虛擬表情數據，輸出單元將同步虛擬表情數據輸出到所述顯示單元，所述顯示單元用于顯示同步虛擬表情數據。

2.如權利要求1所述的基于語音控制的虛擬角色面部表情實時驅動系統，其特征在于，所述語音標簽輸入的語音標簽包括語音標簽的聲音波形特征。

3.如權利要求1所述的基于語音控制的虛擬角色面部表情實時驅動系統，其特征在于，預設的標準格式為MP4格式，分辨率為1920*1080，碼率為1200kbps。

4.如權利要求1所述的基于語音控制的虛擬角色面部表情實時驅動系統，其特征在于，語音分析單元對聲音數據進行分析處理得到聲音數據的特征為聲音數據的聲音波形特征。

5.基于語音控制的虛擬角色面部表情實時驅動方法，應用于如權利要求1-4任一項所述的基于語音控制的虛擬角色面部表情實時驅動系統，其特征在于，包括以下步驟：

S1，圖像信息采集及分析，采集器采集模特的視頻數據，將采集得到的視頻數據發送到預處理單元，預處理單元對視頻數據處理為預設的標準格式，將處理完成的視頻數據發送到關鍵點檢測單元，關鍵點檢測單元檢測視頻數據，得到視頻數據中的關鍵點，將關鍵點發送到關鍵點標記單元，關鍵點標記單元對關鍵點進行標記，得到關鍵點數據，將關鍵點數據發送到映射單元；

S2，虛擬角色映射，虛擬角色數據庫存儲虛擬角色數據，映射單元將關鍵點數據與虛擬角色數據進行映射，得到映射數據，將映射數據發送到動作錄制單元，動作錄制單元接收映射單元發送的映射數據，并根據映射數據錄制動作同步數據，將動作同步數據發送到數據輸出單元，數據輸出單元將動作同步數據發送到數據輸入單元；

S3，語音融合，數據輸入單元接收數據輸出單元發送的同步數據，用戶通過語音標簽輸入單元輸入語音標簽，語音標簽融合單元將同步數據與語音標簽進行映射得到同步虛擬表情數據，動作存儲單元存儲同步虛擬表情數據；

S4，交互，語音采集單元采集用戶發出的聲音，得到聲音數據，將聲音數據發送到語音分析單元，語音分析單元對聲音數據進行分析處理得到聲音數據的特征，發送到對比單元，對比單元訪問動作存儲單元中保存的同步虛擬表情數據與語音分析單元進行分析處理得到聲音數據的特征進行比對，得到比對結果，將比對結果發送到調取單元，調取單元訪問動作存儲單元中保存的同步虛擬表情數據，輸出單元將同步虛擬表情數據輸出到顯示單元，顯示單元顯示同步虛擬表情數據。