[發明專利]語音數據的評測方法和裝置、存儲介質和電子裝置

有效

• 申請號: 202010862098.7
• 申請日: 2020-08-25
• 公開（公告）號: CN112017694B
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 徐燦;余浩;魯文斌
• 申請（專利權）人: 天津洪恩完美未來教育科技有限公司
• 主分類號: G10L25/60
• 分類號: G10L25/60;G10L25/30;G06N3/08
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 劉曉燕

1.一種語音數據的評測方法，其特征在于，包括：

獲取與目標對象的評測語音數據對應的評測語音特征，其中，所述評測語音特征包括所述評測語音數據中的每個評測語音幀的語音特征；

使用抑制了所述目標對象的對象特征后的所述評測語音特征進行發音單元識別，得到目標識別結果，其中，所述目標識別結果用于指示每個所述評測語音幀為各個參考發音單元的概率，所述對象特征用于區分不同的發音對象；

根據所述目標識別結果和評測發音信息進行發音評測，得到所述目標對象的目標評測結果，其中，所述評測發音信息用于指示與所述評測語音數據對應的評測資源包含的目標發音單元；

其中，使用抑制了所述目標對象的對象特征后的所述評測語音特征進行發音單元識別，得到所述目標識別結果包括：將所述評測語音特征輸入到目標聲學模型，得到所述目標聲學模型輸出的所述目標識別結果，其中，所述目標聲學模型用于抑制所述評測語音特征中的所述對象特征，并使用抑制了所述對象特征后的所述評測語音特征識別每個所述評測語音幀為所述各個參考發音單元的概率。

2.根據權利要求1所述的方法，其特征在于，將所述評測語音特征輸入到所述目標聲學模型，得到所述目標聲學模型輸出的所述目標識別結果包括：

將所述評測語音特征輸入到所述目標聲學模型的第一目標神經網絡，得到所述第一目標神經網絡輸出的目標輸出特征，其中，所述目標輸出特征為抑制所述評測語音特征中的所述對象特征后得到的特征；

將所述目標輸出特征輸入到所述目標聲學模型的第二目標神經網絡，得到所述第二目標神經網絡輸出的所述目標識別結果，其中，所述目標聲學模型是使用標注了與初始聲學模型對應的訓練發音信息和與初始對象識別網絡對應的訓練對象的訓練語音數據對初始網絡模型進行訓練得到的，所述初始網絡模型包括所述初始聲學模型和所述初始對象識別網絡，所述初始聲學模型包括第一初始神經網絡和輸入與所述第一初始神經網絡的輸出相連的第二初始神經網絡，所述初始對象識別網絡的輸入與所述第一初始神經網絡的輸出的逆轉相連，所述訓練發音信息用于表示所述訓練語音數據中的每個訓練語音幀對應的訓練發音單元。

3.根據權利要求2所述的方法，其特征在于，在將所述評測語音特征輸入到所述目標聲學模型之前，所述方法還包括：

獲取所述初始網絡模型的訓練樣本，其中，所述初始對象識別網絡的輸入通過梯度逆轉層與所述第一初始神經網絡的輸出相連，所述訓練樣本為標注了與所述訓練發音信息和所述訓練對象的所述訓練語音數據；

使用所述訓練樣本對所述初始網絡模型進行模型訓練，得到目標網絡模型，并從所述目標網絡模型包含的所述目標聲學模型和目標對象識別網絡中提取出所述目標聲學模型。

4.根據權利要求3所述的方法，其特征在于，使用所述訓練樣本對所述初始網絡模型進行模型訓練，得到所述目標網絡模型包括：

以與所述訓練語音數據對應的訓練語音特征作為所述第一初始神經網絡的輸入，獲取所述初始聲學模型的第一輸出結果，其中，所述訓練語音特征包括每個所述訓練語音幀的語音特征，所述第一輸出結果用于指示每個所述訓練語音幀對應的發音單元；

以所述第一初始神經網絡的輸出經由所述梯度逆轉層作為所述初始對象識別網絡的輸入，獲取所述初始對象識別網絡的第二輸出結果，其中，所述第二輸出結果用于指示所述訓練語音數據對應的發音對象；

按照所述訓練發音單元和所述訓練對象調整所述初始網絡模型的模型參數，得到所述目標網絡模型，其中，所述目標聲學模型輸出的、與每個所述訓練語音幀對應的發音單元為所述訓練發音單元的概率大于或者等于第一概率，所述目標對象識別網絡輸出的第一目標對象為所述訓練對象的概率大于或者等于第二概率。

5.根據權利要求4所述的方法，其特征在于，以所述第一初始神經網絡的輸出經由所述梯度逆轉層作為所述初始對象識別網絡的輸入，獲取所述初始對象識別網絡的所述第二輸出結果包括：

以所述第一初始神經網絡的輸出經由目標池化層和所述梯度逆轉層作為所述初始對象識別網絡的輸入，獲取所述初始對象識別網絡的所述第二輸出結果。