[發明專利]聲學模型訓練方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010599146.8
• 申請日: 2020-06-28
• 公開（公告）號: CN111785256A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 李敏;丁科;萬廣魯
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/16;G10L15/26
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 任亞娟

1.一種聲學模型訓練方法，其特征在于，所述方法包括：

獲取訓練語音數據，并提取所述訓練語音數據的聲學特征向量，其中，所述訓練語音數據具有對應的標注文本數據，所述標注文本數據具有對應的發音音素；

將所述聲學特征向量中的第一聲學特征向量輸入發音狀態模型中，得到所述第一聲學特征向量對應的發音狀態；

根據發音狀態與發音音素的對應關系，將所述第一聲學特征向量對應的發音狀態轉換為所述第一聲學特征向量對應的發音音素，其中，每個所述發音音素包括多個發音狀態；

基于所述聲學特征向量中的第二聲學特征向量和所述第一聲學特征向量對應的發音音素，對預設神經網絡模型進行訓練，并將訓練后的預設神經網絡模型作為聲學模型，其中，所述第二聲學特征向量是所述聲學特征向量中除所述第一聲學特征向量之外的聲學特征向量；

其中，在訓練所述預設神經網絡模型的過程中，對所述第二聲學特征向量進行下采樣處理。

2.根據權利要求1所述的方法，其特征在于，所述基于所述聲學特征向量中的第二聲學特征向量和所述第一聲學特征向量對應的發音音素，對預設神經網絡模型進行訓練，包括：

按照預先設定的目標下采樣率對所述第二聲學特征向量進行下采樣，得到目標聲學特征向量；

對于每一目標聲學特征向量，將該目標聲學特征向量與該目標聲學特征向量上下文相關的預設數量個第二聲學特征向量輸入預設神經網絡模型，對所述預設神經網絡模型進行訓練，直至使得從所述預設神經網絡模型輸出的發音音素概率分布為目標發音音素概率分布時，得到訓練后的預設神經網絡模型；

其中，目標發音音素概率分布是基于該目標聲學特征向量對應的發音音素，以及根據所述目標下采樣率所確定與該目標聲學特征向量相鄰的第二聲學特征向量對應的發音音素確定的；

一個目標聲學特征向量對應的發音音素與該目標聲學特征向量所對應的第一聲學特征向量對應的發音音素相同。

3.根據權利要求1所述的方法，其特征在于，所述獲取訓練語音數據，并提取所述訓練語音數據的聲學特征向量，包括：

獲取待處理語音數據；

刪除所述待處理語音數據中的靜音數據，得到訓練語音數據；

通過移動窗函數將所述訓練語音數據切分成幀長為預設幀長、且幀移為預設幀移的多個語音幀；

提取每一所述語音幀的聲學特征向量，所述聲學特征向量包括第一聲學特征向量和第二聲學特征向量。

4.根據權利要求1所述的方法，其特征在于，所述將所述聲學特征向量中的第一聲學特征向量輸入發音狀態模型中，得到所述第一聲學特征向量對應的發音狀態，包括：

將所述聲學特征向量中的第一聲學特征向量輸入發音狀態模型，進行單音素訓練，得到每個第一聲學特征向量對應的目標發音狀態；

根據不同音素的相關性，對所得到的目標發音狀態進行三音素訓練，以使得具有相關性的目標發音狀態進行聚類，得到所述第一聲學特征向量對應的發音狀態。

5.一種聲學模型訓練裝置，其特征在于，所述裝置包括：

聲學特征向量獲取模塊，用于獲取訓練語音數據，并提取所述訓練語音數據的聲學特征向量，其中，所述訓練語音數據具有對應的標注文本數據，所述標注文本數據具有對應的發音音素；

發音狀態對齊序列確定模塊，用于將所述聲學特征向量中的第一聲學特征向量輸入發音狀態模型中，得到所述第一聲學特征向量對應的發音狀態；

發音音素對齊序列確定模塊，用于根據發音狀態與發音音素的對應關系，將所述第一聲學特征向量對應的發音狀態轉換為所述第一聲學特征向量對應的發音音素，其中，每個所述發音音素包括多個發音狀態；

聲學模型確定模塊，用于基于所述聲學特征向量中的第二聲學特征向量和所述第一聲學特征向量對應的發音音素，對預設神經網絡模型進行訓練，并將訓練后的預設神經網絡模型作為聲學模型，其中，所述第二聲學特征向量是所述聲學特征向量中除所述第一聲學特征向量之外的聲學特征向量；

其中，在訓練所述預設神經網絡模型的過程中，對所述第二聲學特征向量進行下采樣處理。