[發明專利]交互對象驅動和音素處理方法、裝置、設備以及存儲介質

有效

• 申請號: 202110604874.8
• 申請日: 2021-05-31
• 公開（公告）號: CN113314104B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 吳文巖;吳潛溢;高娜;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/22;G10L13/02;G10L13/08;G10L13/10;G10L21/10;G10L25/24
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 董曉盈

1.一種交互對象的驅動方法，其特征在于，所述方法包括：

獲取交互對象的聲音驅動數據的聲學特征；

利用聲音特征提取網絡對所述聲學特征進行特征提取，得到所述聲音驅動數據中各個語音幀的音素后驗概率；所述聲音特征提取網絡是根據包含多語種的音素表訓練得到的；

將所述各個語音幀的音素后驗概率輸入至時序網絡，輸出關聯特征信息；

將所述關聯特征信息輸入至第三全連接網絡，得到關聯特征序列；

對所述關聯特征序列進行激活處理，得到所述各個語音幀的音素后驗概率匹配的所述交互對象的姿態參數值；

根據所述姿態參數值控制所述交互對象的姿態。

2.根據權利要求1所述的方法，其特征在于，所述獲取交互對象的聲音驅動數據的聲學特征，包括：

獲取所述交互對象的聲音驅動數據對應的語音幀序列；

根據所述語音幀序列中各個語音幀的聲學特征向量，得到所述聲音驅動數據的聲學特征。

3.根據權利要求1所述的方法，其特征在于，所述聲音特征提取網絡包括第一全連接網絡、編碼子網絡、第二全連接網絡，所述利用聲音特征提取網絡對所述聲學特征進行特征提取，得到所述聲音驅動數據中各個語音幀的音素后驗概率，包括：

將所述聲音特征輸入至所述第一全連接網絡，得到所述第一全連接網絡輸出的第一聲學特征序列；

利用所述編碼子網絡，對所述第一聲學特征序列進行特征編碼處理；

將編碼結果輸入至所述第二全連接網絡，得到所述聲音驅動數據中各個語音幀的音素后驗概率。

4.根據權利要求1至3任一所述的方法，其特征在于，所述交互對象的姿態參數包括面部姿態參數，所述根據所述姿態參數值控制所述交互對象的姿態，包括：

根據與所述各個語音幀的音素后驗概率匹配的面部姿態參數，驅動所述交互對象實現與所述聲音驅動數據中的各個語音幀匹配的面部姿態。

5.一種交互對象的驅動裝置，其特征在于，所述裝置包括：

第一獲取單元，用于獲取交互對象的聲音驅動數據的聲學特征；

第二獲取單元，用于利用聲音特征提取網絡對所述聲學特征進行特征提取，得到所述聲音驅動數據中各個語音幀的音素后驗概率；所述聲音特征提取網絡是根據包含多語種的音素表訓練得到的；

第三獲取單元，用于將所述各個語音幀的音素后驗概率輸入至時序網絡，輸出關聯特征信息；將所述關聯特征信息輸入至第三全連接網絡，得到關聯特征序列；對所述關聯特征序列進行激活處理，得到所述各個語音幀的音素后驗概率匹配的所述交互對象的姿態參數值；

控制單元，用于根據所述姿態參數值控制所述交互對象的姿態。

6.一種電子設備，其特征在于，所述設備包括存儲器、處理器，所述存儲器用于存儲可在處理器上運行的計算機指令，所述處理器用于在執行所述計算機指令時實現權利要求1至4任一項所述的方法。

7.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現權利要求1至4任一所述的方法。