[發明專利]一種語音轉換方法、裝置、電子設備和存儲介質

有效

• 申請號: 202110693848.7
• 申請日: 2021-06-22
• 公開（公告）號: CN113421571B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 賀來朋;孫見青;梁家恩
• 申請（專利權）人: 云知聲智能科技股份有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26;G10L13/08;G10L13/04;G10L13/02
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種語音轉換方法，應用于將源發音人的語音轉換為目標發音人的語音，其特征在于，包括：

獲取源發音人的語音，根據所述源發音人的語音確定源發音人的文本；

將所述源發音人的文本輸入至目標發音人的語音合成模型和時長強制對齊模型中合成目標發音人的語音；

其中，所述目標發音人的語音合成模型包括：前端模塊、譜特征預測模塊、神經網絡聲碼器；所述譜特征預測模塊中包括時長模型以及聲學特征模塊；

所述將所述源發音人的語音和源發音人的文本輸入至目標發音人的語音合成模型和時長強制對齊模型中合成目標發音人的語音，包括：

將所述源發音人的文本輸入至所述前端模塊中輸出上下文相關信息；

從所述源發音人的語音中提取所述源發音人的聲學特征；

將所述上下文相關信息輸入至所述時長模型中得到每個音素的預測時長；

將所述源發音人的聲學特征、所述上下文相關信息輸入至所述時長強制對齊模型中得到每個音素的強制對齊時長；

使用所述每個音素的強制對齊時長調整所述每個音素的預測時長得到調整后的時長；

將所述上下文相關信息、所述調整后的時長輸入至所述聲學特征模塊中輸出每一幀的聲學特征；

將所述每一幀的聲學特征輸入至所述神經網絡聲碼器中得到目標發音人的語音。

2.根據權利要求1所述的一種語音轉換方法，其特征在于，訓練時長強制對齊模型的步驟包括：

獲取多個語音和多個文本對；

根據所述多個文本確定第一上下文相關信息；

提取所述多個語音中的梅爾倒譜特征，非周期譜特征和對數基頻特征；

所述梅爾倒譜特征，所述非周期譜特征和所述對數基頻特征及所述梅爾倒譜特征，所述非周期譜特征和所述對數基頻特征的差分特征構成第一聲學特征；

根據所述第一上下文相關信息和所述第一聲學特征訓練隱馬爾可夫模型得到所述時長強制對齊模型。

3.根據權利要求1所述的一種語音轉換方法，其特征在于，所述上下文相關信息至少包括：拼音信息、分詞、詞性、韻律停頓和句中位置。

4.根據權利要求1所述的一種語音轉換方法，其特征在于，所述根據所述源發音人的語音確定源發音人的文本，包括：

獲取多個語音和多個文本對；

訓練所述多個語音和多個文本對得到語音識別模型；

將所述源發音人的語音輸入至所述語音識別模型中輸出所述源發音人的文本。

5.根據權利要求1所述的一種語音轉換方法，其特征在于，所述使用所述每個音素的強制對齊時長調整所述每個音素的預測時長得到調整后的時長，包括：

采用韻律短語停頓方法停頓至少一次；

統計韻律短語內，每個音素的強制對齊時長和每個音素的預測時長的比例，將所述比例作為時長調整系數；

將所述韻律短語中每個音素的預測時長都乘以所述時長調整系數，得到的時長為調整后的時長。

6.根據權利要求1所述的一種語音轉換方法，其特征在于，所述目標發音人的語音合成模型的訓練步驟如下：

獲取目標發音人的多個語音和文本對；

訓練所述目標發音人的多個語音和文本對得到所述目標發音人的語音合成模型。