[發明專利]基于語音控制的虛擬角色面部表情實時驅動系統和方法

在審

• 申請號: 202010797609.1
• 申請日: 2020-08-10
• 公開（公告）號: CN111986297A
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 周安斌;湯禎科;宋健健;尚緒峰
• 申請（專利權）人: 山東金東數字創意股份有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T7/20;G10L15/22
• 代理公司: 武漢聚信匯智知識產權代理有限公司 42258
• 代理人: 劉丹

基于語音控制的虛擬角色面部表情實時驅動系統和方法，涉及圖像處理技術領域，包括：圖像采集模塊、運動分析模塊、虛擬角色驅動模塊、語音融合模塊和交互模塊，圖像采集模塊采集模特的圖像信息，得到視頻數據，運動分析模塊對視頻數據進行分析得到關鍵點數據，虛擬角色驅動模塊將關鍵點數據與虛擬角色數據進行映射和錄制得到動作同步數據，通過語音融合模塊輸入語音標簽并與同步數據融合得到同步虛擬表情數據，交互模塊通過采集用戶發出的聲音并與同步虛擬表情數據進行分析比對將對應的同步虛擬表情數據輸出，解決了目前的虛擬技術進行互動時虛擬人物的表情表現得不自然，不能通過語音來與虛擬人物來進行交互，用戶體驗感不好的問題。

技術領域

本發明涉及圖像處理技術領域，具體涉及基于語音控制的虛擬角色面部表情實時驅動系統和方法。

背景技術

隨著互聯網技術和多媒體技術的發展，人們對于電子產品的依賴性也越來越強，目前出現了很多例如豢養虛擬寵物或與虛擬人物互動的應用，通過與虛擬寵物或與虛擬人物進行互動能得到一些語音或動作方面的反饋，但是由于目前的虛擬技術大多是通過三維建模后進行后期處理得到的，在進行互動時虛擬人物的表情表現得不自然，用戶進行互動時體驗感不好，同時，目前的交互方式多為通過預設的人機交互界面來進行交互，不能通過語音來與虛擬人物來進行交互，減少了互動時體驗的樂趣。

發明內容

本發明實施例提供了基于語音控制的虛擬角色面部表情實時驅動系統和方法，通過設置圖像采集模塊采集模特的圖像信息，得到視頻數據，同時運動分析模塊對采集的視頻數據進行分析提取視頻數據中的關鍵點并對關鍵點進行標記，得到關鍵點數據，虛擬角色驅動模塊將關鍵點數據與虛擬角色數據進行映射并進行動作錄制，得到動作同步數據，用戶通過語音融合模塊輸入語音標簽并與同步數據融合得到同步虛擬表情數據并進行存儲，交互模塊通過采集用戶發出的聲音并與同步虛擬表情數據進行分析比對將對應的同步虛擬表情數據輸出，解決了目前的虛擬技術大多是通過三維建模后進行后期處理得到的，在進行互動時虛擬人物的表情表現得不自然，用戶進行互動時體驗感不好，同時，目前的交互方式多為通過預設的人機交互界面來進行交互，不能通過語音來與虛擬人物來進行交互，減少了互動體驗樂趣的問題。

基于語音控制的虛擬角色面部表情實時驅動系統，包括：圖像采集模塊、運動分析模塊、虛擬角色驅動模塊、語音融合模塊和交互模塊；

圖像采集模塊，用于采集模特的視頻數據，將采集到的視頻數據發送到所述運動分析模塊；

其中，圖像采集模塊包括采集器和預處理單元，所述采集器用于采集模特的視頻數據，將采集得到的視頻數據發送到所述預處理單元，所述預處理單元用于對視頻數據處理為預設的標準格式，將處理完成的視頻數據發送到所述運動分析模塊；

運動分析模塊，用于接收所述圖像采集模塊發送的視頻數據，對視頻數據進行分析得到視頻數據中關鍵點數據，將關鍵點數據發送到所述虛擬角色驅動模塊；

其中，所述運動分析模塊包括關鍵點檢測單元和關鍵點標記單元，所述關鍵點檢測單元用于檢測視頻數據，得到視頻數據中的關鍵點，將關鍵點發送到所述關鍵點標記單元，所述關鍵點標記單元用于對關鍵點進行標記，得到關鍵點數據，將關鍵點數據發送到所述虛擬角色驅動模塊；

虛擬角色驅動模塊，用于接收所述運動分析模塊發送的關鍵點數據，對關鍵點數據進行處理得到動作同步數據，將動作同步數據發送到所述語音融合模塊；

其中，所述虛擬角色驅動模塊包括虛擬角色數據庫、映射單元、動作錄制單元和數據輸出單元，所述虛擬角色數據庫用于存儲虛擬角色數據，所述映射單元用于將關鍵點數據與虛擬角色數據進行映射，得到映射數據，將映射數據發送到動作錄制單元，所述動作錄制單元用于接收所述映射單元發送的映射數據，并根據映射數據錄制動作同步數據，將動作同步數據發送到所述數據輸出單元，所述數據輸出單元用于將動作同步數據發送到語音融合模塊；