[發明專利]一種低質數據的自動化合成方法、裝置及電子設備

有效

• 申請號: 202110683248.2
• 申請日: 2021-06-18
• 公開（公告）號: CN113571036B
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 馬達標;李晴覃
• 申請（專利權）人: 上海淇玥信息技術有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/04;G10L15/06;G10L15/20;G10L15/22;G10L21/0208
• 代理公司: 上海點威知識產權代理有限公司 31326
• 代理人: 杜焱

1.一種低質數據的自動化合成方法，其特征在于，包括：

獲取低質音頻數據，所述低質音頻數據包括有背景噪音、無音頻標準文本、混有無關音色的音頻數據；

對所述低質音頻數據進行噪音分離，得到發音數據和噪音數據；

基于所述噪音數據去除所述發音數據的背景噪音，得到去除背景噪音的發音數據；

對所述發音數據進行語音識別，得到所述發音數據的文本信息；輸入所述文本信息至預先訓練的聲學模型，得到合成的音頻數據；

所述聲學模型的訓練方法包括：構建聲學模型，并獲取多個樣本低質音頻數據；對所述樣本低質音頻數據分別進行噪音分離，得到相應的樣本發音數據和樣本噪音數據；基于所述樣本噪音數據去除所述樣本發音數據的背景噪音，得到去除背景噪音的樣本發音數據；對所述樣本發音數據分別進行語音識別，得到所述樣本發音數據的樣本文本信息；

獲取高質音頻數據和高質音頻數據的高質文本信息，將所述樣本文本信息與所述高質文本信息輸入所述聲學模型，分別得到相對應的樣本聲學特征和高質聲學特征；將所述樣本聲學特征與相對應的樣本發音數據進行對比，將所述高質聲學特征與相對應的高質音頻數據進行對比；當所述樣本聲學特征與相對應的樣本發音數據相似的數量符合第一預設條件，且所述高質聲學特征與相對應的高質音頻數據相似的數量符合第二預設條件，所述聲學模型收斂，得到訓練完成的聲學模型；其中，所述高質音頻數據包括用于知識遷移到樣本發音數據及樣本信息的音頻數據，其對應的高質文本信息準確。

2.如權利要求1所述的方法，其特征在于，所述聲學模型的訓練方法，還包括：

獲取各個所述樣本發音數據的聲紋特征矢量；

根據所述聲紋特征矢量對所述樣本發音數據進行聚類；

選取聚類結果中數量最多的一類的所述樣本發音數據和相對應的樣本文本信息，對所述聲學模型進行訓練。

3.如權利要求2所述的方法，其特征在于，所述選取聚類結果中數量最多的一類的所述樣本發音數據和相對應的樣本文本信息，對所述聲學模型進行訓練，包括：

獲取聚類結果中數量最多的一類的所述樣本發音數據作為第一數據；

獲取所述第一數據的信噪比，和所述第一數據對應的文本數據的置信度量；

根據所述信噪比和所述置信度量對所述第一數據進行篩選，得到第二數據；

通過所述第二數據和所述第二數據對應的文本信息，對所述聲學模型進行訓練。

4.如權利要求3所述的方法，其特征在于，所述根據所述信噪比和所述置信度量對所述第一數據進行篩選，得到第二數據，包括：

基于所述置信度量對所述第一數據進行升序/降序排名，得到與所述置信度量的升序/降序排名結果成正比的第一分數；

基于所述信噪比對所述第一數據進行升序/降序排名，得到與所述信噪比的升序/降序排名結果成正比的第二分數；

結合所述第一分數和所述第二分數對所述第一數據進行升序排名；

選取排名靠前的N個第一數據，作為第二數據。

5.如權利要求1所述的方法，其特征在于，所述將所述樣本文本信息與所述高質文本信息輸入所述聲學模型，分別得到相對應的樣本聲學特征和高質聲學特征，包括：

通過所述高質文本信息對所述樣本文本信息進行修正、補充，得到修正、補充的樣本文本數據，其中，修正、補充后的所述樣本文本信息與所述高質文本信息具有相同的分布。