[發明專利]訓練和/或使用語言選擇模型以自動確定用于口頭話語的話音辨識的語言

在審

• 申請號: 201980026087.0
• 申請日: 2019-11-27
• 公開（公告）號: CN112673421A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 萬里;于洋;普拉尚特·斯里達爾;伊格納西奧·洛佩斯·莫雷諾;王泉
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/16;G10L15/183;G10L15/14;G10L25/24;G06N3/00
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種由一個或多個處理器實現的方法，所述方法包括：

生成多個訓練示例，其中，生成所述訓練示例中的每一個訓練示例基于捕獲相對應人類話語的相對應音頻數據以及指示所述相對應人類話語的相對應口頭語言的相對應標記，所述相對應口頭語言是要辨識的N種不同語言中的一種語言，其中，N是大于10的整數，并且其中，訓練示例中的每一個訓練示例包括：

相對應的訓練示例輸入，所述相對應的訓練示例輸入包括：所述相對應音頻數據的相對應特征；和

相對應的訓練示例輸出，所述相對應的訓練示例輸出包括：針對要辨識的所述N種不同語言的中的每一種語言的相對應標記概率量度，其中，所述相對應標記概率量度基于相對應標記包括對應于所述相對應口頭語言的相對應正概率量度標記，以及針對所述相對應標記概率量度的所有其它相對應標記概率量度的相對應負概率量度標記；以及

基于所述訓練示例訓練語言選擇模型，訓練所述語言選擇模型包括：

使用所述語言選擇模型處理所述訓練示例的所述相對應的訓練示例輸入的所述相對應特征，以生成所述N種不同語言中的每一種語言的相對應預測概率，

基于所生成的相對應預測概率和相對應標記概率量度來生成相對應元組損失，以及

使用所生成的相對應元組損失更新所述語言選擇模型的權重。

2.根據權利要求1所述的方法，其中，基于所生成的預測概率和所述相對應標記概率量度來生成所述相對應元組損失包括：

生成針對所述訓練示例中的給定訓練示例的所述元組損失中的給定元組損失，其中，生成所述給定元組損失包括：

基于所述給定訓練示例的相對應標記概率量度與所述給定訓練示例的相對應預測概率的比較，來確定各自針對小于N的相對應元組大小的一個或多個個體元組損失，其中，所述一個或多個個體元組損失至少包括針對相對應元組大小為2的成對損失；并且

基于所述一個或多個個體元組損失生成所述給定元組損失。

3.根據權利要求2所述的方法，其中，生成所述給定元組包括僅使用所述成對損失作為所述給定元組損失。

4.根據權利要求2所述的方法，其中，所述一個或多個個體元組損失進一步至少包括針對相對應元組大小為3的三個一組的損失，以及針對相對應元組大小為4的四個一組的損失。

5.根據權利要求4所述的方法，其中，生成所述給定元組損失基于至少所述成對損失、所述三個一組的損失以及所述四個一組的損失的加權組合。

6.根據權利要求5所述的方法，其中，所述成對損失在所述加權組合中的權重基于所測量的概率，所測量的概率指示僅指明用于話音處理的兩種候選語言的用戶的百分比。

7.根據權利要求1所述的方法，其中，使用所生成的相對應元組損失更新所述語言選擇模型的所述權重包括：

跨所述語言選擇模型反向傳播所述元組損失。

8.根據權利要求1所述的方法，進一步包括繼訓練所述語言選擇模型之后：

經由計算設備的至少一個麥克風接收捕獲來自用戶的當前口頭話語的當前音頻數據；

提取所述當前音頻數據的一個或多個特征；

使用所述語言選擇模型處理所述當前音頻數據的所述一個或多個特征，以生成所述N種不同語言中的每一種語言的當前預測概率；

基于所述當前預測概率選擇所述N種不用語言中的當前口頭語言；以及

基于所選擇的當前口頭語言執行所述音頻數據的話音至文本處理。

9.根據權利要求8所述的方法，其中，基于所選擇的當前口頭語言執行所述當前音頻數據的話音至文本處理包括：

從多個候選話音辨識模型中選擇與所選擇的當前口頭語言相對應的特定話音辨識模型；以及

使用所選擇的話音辨識模型處理所述當前音頻數據的所述特征以確定與所述當前口頭話語相對應的一個或多個單詞。