[發明專利]虛擬主播的直播方法、裝置及系統

有效

• 申請號: 202310361605.2
• 申請日: 2023-04-07
• 公開（公告）號: CN116095357B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 王英;張青輝
• 申請（專利權）人: 世優（北京）科技有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/2343;H04N21/81;G06V40/16;G10L15/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種虛擬主播的直播方法，其特征在于，包括：

實時捕捉現實主播的面部動作數據和語音數據，對所述面部動作數據進行分析，得到所述現實主播的口型數據；

對所述語音數據進行分析，得到與所述語音數據對應的文字內容以及語音特征，對所述文字內容進行處理，將處理后的所述文字內容轉換為音素序列；

基于所述音素序列和所述語音特征，對所述口型數據進行調整；

基于調整后的所述口型數據來生成用于直播的直播視頻流，并將所述直播視頻流推流至終端設備;

其中，基于所述音素序列和所述語音特征，對所述口型數據進行調整，包括：將所述音素序列中的每個音素與所述語音特征進行配對，得到所述每個音素對應的語音特征；基于所述每個音素對應的語音特征，計算所述每個音素對應的口型參數，其中，所述口型參數包括以下至少之一：嘴唇的形狀、嘴唇的張合程度、舌頭的位置、喉嚨的位置、和嘴唇的運動速度；基于所述口型參數，對所述口型數據進行調整；

其中，所述口型數據是采用以下公式計算得到的：

；

其中，F(t)表示在時間t時刻生成的基于語音的口型數據，N表示參與計算的音素個數；A_i表示第i個音素的幅值；t_i表示第i個音素的起始時間；σ表示第i個音素的標準差；D(t-t_i)表示第i個音素的時長；K_i(t-t_i)表示第i個音素的口型調整系數，用于模擬不同的口型調整方式；C_i表示發音者個體差異系數；P_i(t)表示第i個音素的諧波峰頻率；G_i表示第i個音素的喉嚨和口腔形態學特征系數，用于模擬不同的口腔和喉嚨的形態的調整方式。

2.根據權利要求1所述的方法，其特征在于，對所述語音數據進行分析，得到與所述語音數據對應的文字內容以及語音特征，包括：

對所述語音數據進行預處理，通過數字信號處理技術來分析預處理后的所述語音數據，以從預處理后的所述語音數據中提取出所述語音特征，其中，所述語音特征包括所述語音數據的頻譜信息、頻率信息和語速信息；

通過語音識別技術來分析預處理后的所述語音數據，以從預處理后的所述語音數據中提取出對應的所述文字內容。

3.根據權利要求2所述的方法，其特征在于，對所述語音數據進行預處理，通過數字信號處理技術來分析預處理后的所述語音數據，包括：

對所述語音數據進行去噪處理，并對去噪處理后的所述語音數據進行分幀，得到多幀語音數據片；

通過所述數字信號處理技術，對每幀語音數據片進行頻域分析，得到所述每幀語音數據片的頻譜信息和頻率信息，并對所述每幀語音數據片進行時域分析，得到所述每幀語音數據片的語速信息。

4.根據權利要求3所述的方法，其特征在于，在對所述口型數據進行調整之前，所述方法還包括：

針對所述每幀語音數據片，將所述每幀語音數據片的音素序列和所述每幀語音數據片的語音特征對應，計算所述每幀語音數據片的音素序列和所述每幀語音數據片的語音特征之間的距離，得到幀對齊誤差；

基于所述幀對齊誤差，使用動態規劃算法將所述每幀語音數據片的語音特征對齊到所述每幀語音數據片的音素序列中。

5.根據權利要求1所述的方法，其特征在于，基于所述每個音素對應的語音特征，計算所述每個音素對應的口型參數，包括：

基于所述每個音素對應的語音特征中的頻率信息，計算音高，并基于所述音高來確定所述嘴唇的張合程度，其中，所述音高越大，嘴唇張開的程度越大；

基于所述每個音素對應的語音特征中的頻譜信息，計算出所述頻譜信息中的兩個或多個峰值頻率之間的能量分布，以確定所述舌頭的位置；

基于所述每個音素對應的語音特征中的頻譜信息，計算出所述頻譜信息中的共振峰的位置，并根據所述共振峰的位置計算出所述喉嚨的位置；

基于所述每個音素對應的語音特征中的語速信息，計算出所述嘴唇的運動速度；

基于所述每個音素的發音特點，確定所述嘴唇的形狀。