[發明專利]一種實時音頻驅動的虛擬人物口型同步控制方法

有效

• 申請號: 201911314031.3
• 申請日: 2019-12-19
• 公開（公告）號: CN111081270B
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 朱風云;陳博
• 申請（專利權）人: 大連即時智能科技有限公司
• 主分類號: G10L21/10
• 分類號: G10L21/10;G10L21/18;G10L25/57;G10L15/02;H04N21/43
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種實時音頻驅動的虛擬人物口型同步控制方法。該方法包括如下步驟：從實時語音流中識別出視素概率的步驟；對所述視素概率進行濾波的步驟；將所述視素概率的采樣率轉換為和虛擬人物渲染幀率相同的采樣率的步驟；將所述視素概率轉換為標準口型配置并進行口型渲染的步驟。該方法可以避免要求在傳遞音頻流時同步傳遞音素序列或口型序列信息，可以顯著降低系統復雜性、耦合度和實現難度，適用于各種在顯示設備上渲染虛擬人物的應用場景。

技術領域

本發明屬于虛擬人物姿態控制領域，具體涉及一種實時音頻驅動的虛擬人物口型同步控制方法。

背景技術

虛擬人物建模與渲染技術在動畫、游戲和電影等行業得到廣泛應用。使虛擬人物講話時能夠具有自然流暢并與聲音同步的口型動作是提升用戶體驗的關鍵。在實時系統中，需要同步播放以流的形式實時獲取的音頻，和同步渲染的虛擬人物形象，這個過程中需要保證音頻和人物口型之間的同步。

其應用場景包括：

1、實時音頻為語音合成器所產生的語音；

1.1、可以以同步流的形式獲取語音對應的音素序列；

1.2、無法以同步流的形式獲取語音對應的音素序列；

2、實時音頻為某個人所發出的語音。

在場景1.1中可以同步獲得語音對應的音素序列。因此可以將音素序列轉換為口型動作序列用于驅動虛擬人物口型變化。但是同步獲取語音對應的音素序列在應用中需要額外的通信協議支持，用來保證語音和音素序列之間的時間同步，使得系統復雜性提升，耦合性增加，實現難度較大。

在場景1.2和場景2中，無法同步獲得語音對應的音素序列。因此需要一種能夠基于實時音頻數據驅動虛擬人物口型的控制方法。

因此，為了解決上述無法同步獲得語音對應的音素序列的情況，亟需一種能夠從音頻中識別出口型序列，并利用該口型序列同步驅動虛擬人物口型變化的方法。

發明內容

本發明提供了一種實時音頻驅動的虛擬人物口型同步控制方法，目的是要解決：在實時音頻流傳輸的場景下，需要在設備端展示一個虛擬人物，該人物所說的語音從實時音頻流獲取，人物的口型需要和語音內容同步。

一種實時音頻驅動的虛擬人物口型同步控制方法，包括如下步驟：

從實時語音流中識別出視素概率的步驟；其中，視素概率是基于預設的音素到視素的映射關系，將屬于同一類視素的音素概率合并后得到的；

對所述視素概率進行濾波的步驟；

將所述視素概率的采樣率轉換為和虛擬人物渲染幀率相同的采樣率的步驟；

將所述視素概率轉換為標準口型配置并進行口型渲染的步驟。

如上所述的一種實時音頻驅動的虛擬人物口型同步控制方法，其中：所述視素概率利用視素識別方法得到；或利用音素識別從實時語音流中識別出音素概率，再將所述音素概率轉換為視素概率。

如上所述的一種實時音頻驅動的虛擬人物口型同步控制方法，其中：采用有限或無限沖擊響應濾波器，分別對各視素概率進行平滑濾波。

如上所述的一種實時音頻驅動的虛擬人物口型同步控制方法，其中：將所述視素概率轉換為標準口型配置時；首先，為每一種視素定義標準口型配置，所述標準口型配置為關鍵幀或描述口型的參數；其次，通過映射函數將視素概率轉換為標準口型配置的混合比例；其中，在關鍵幀場景下，所述混合比例是不同關鍵幀之間的插值比例；在關鍵點參數、骨骼參數或blenshape參數的場景下，所述混合比例是各描述口型的參數的混合比例。

如上所述的一種實時音頻驅動的虛擬人物口型同步控制方法，其中：在音視頻播放時，為保持同步，在播放音頻流時通過補償延遲使音頻流和視頻流的內容同步。