[發(fā)明專利]一種實時變聲的方法、裝置及電子設備

在審

• 申請?zhí)枺?/td>: 202110463732.4
• 申請日: 2021-04-26
• 公開（公告）號: CN113362807A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設計）人: 戈文碩;劉愷;陳偉
• 申請（專利權）人: 北京搜狗智能科技有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/22;G10L19/16;G10L21/013
• 代理公司: 北京華沛德權律師事務所 11302
• 代理人: 房德權

1.一種實時變聲的方法，其特征在于，所述方法包括：

獲取源說話人的原語音數(shù)據(jù)；

通過語音識別模型提取所述原語音數(shù)據(jù)的原始音頻識別特征，其中，所述語音識別模型的參數(shù)量小于第一設定參數(shù)量；

將所述原始音頻識別特征輸入到目標變聲模型中，輸出目標說話人的聲學特征，其中，所述目標變聲模型的參數(shù)量小于第二設定參數(shù)量；

將所述目標說話人的聲學特征以所述目標語音進行輸出。

2.如權利要求1所述的方法，其特征在于，所述目標變聲模型的訓練步驟，包括：

獲取訓練樣本集，所述訓練樣本集包括至少一個說話人的語音數(shù)據(jù)；

針對所述訓練樣本集中的每個訓練樣本，將訓練樣本的語音數(shù)據(jù)輸入到所述語音識別模型中進行特征提取，提取到訓練樣本的音頻識別特征，以及提取訓練樣本的聲學特征；

根據(jù)每個訓練樣本的音頻識別特征和聲學特征進行模型訓練，得到所述目標變聲模型。

3.如權利要求2所述的方法，其特征在于，所述根據(jù)每個訓練樣本的音頻識別特征和聲學特征進行模型訓練，得到所述目標變聲模型，包括：

針對每個訓練樣本，將訓練樣本的音頻識別特征作為模型的輸入數(shù)據(jù)，將訓練樣本的聲學特征作為模型的輸出數(shù)據(jù)進行模型訓練，得到已訓練的變聲模型，并將所述已訓練的變聲模型作為所述目標變聲模型。

4.如權利要求3所述的方法，其特征在于，在得到已訓練的變聲模型之后，所述方法還包括：

獲取所述目標說話人的語音數(shù)據(jù)；

將所述目標說話人的語音數(shù)據(jù)輸入到所述語音識別模型中進行特征提取，提取到所述目標說話人的音頻識別特征，以及所述目標說話人的聲學特征；

利用所述目標說話人的音頻識別特征和聲學特征對所述已訓練的變聲模型進行自適應訓練，得到自適應變聲模型，并將所述自適應變聲模型作為所述目標變聲模型。

5.如權利要求1所述的方法，其特征在于，所述將所述目標說話人的聲學特征以所述目標語音進行輸出，包括：

將所述目標說話人的聲學特征輸入到聲碼器中以所述目標語音進行輸出。

6.一種實時變聲的裝置，其特征在于，包括：

語音數(shù)據(jù)采集單元，用于獲取源說話人的原語音數(shù)據(jù)；

特征提取單元，用于通過語音識別模型提取所述原語音數(shù)據(jù)的原始音頻識別特征，其中，所述語音識別模型的參數(shù)量小于第一設定參數(shù)量；

模型預測單元，用于將所述原始音頻識別特征輸入到目標變聲模型中，輸出目標說話人的聲學特征，其中，所述目標變聲模型的參數(shù)量小于第二設定參數(shù)量；

語音輸出單元，用于將所述目標說話人的聲學特征以所述目標語音進行輸出。

7.如權利要求6所述的裝置，其特征在于，還包括：

模型訓練單元，用于獲取訓練樣本集，所述訓練樣本集包括至少一個說話人的語音數(shù)據(jù)；針對所述訓練樣本集中的每個訓練樣本，將訓練樣本的語音數(shù)據(jù)輸入到所述語音識別模型中進行特征提取，提取到訓練樣本的音頻識別特征，以及提取訓練樣本的聲學特征；根據(jù)每個訓練樣本的音頻識別特征和聲學特征進行模型訓練，得到所述目標變聲模型。

8.如權利要求7所述的裝置，其特征在于，所述模型訓練單元，用于針對每個訓練樣本，將訓練樣本的音頻識別特征作為模型的輸入數(shù)據(jù)，將訓練樣本的聲學特征作為模型的輸出數(shù)據(jù)進行模型訓練，得到已訓練的變聲模型，并將所述已訓練的變聲模型作為所述目標變聲模型。

9.如權利要求8所述的裝置，其特征在于，所述模型訓練單元，用于在得到已訓練的變聲模型之后，獲取所述目標說話人的語音數(shù)據(jù)；將所述目標說話人的語音數(shù)據(jù)輸入到所述語音識別模型中進行特征提取，提取到所述目標說話人的音頻識別特征，以及所述目標說話人的聲學特征；利用所述目標說話人的音頻識別特征和聲學特征對所述已訓練的變聲模型進行自適應訓練，得到自適應變聲模型，并將所述自適應變聲模型作為所述目標變聲模型。