[發明專利]用于設備上語音識別模型的訓練的文本片段的設備上語音合成

在審

• 申請號: 201980091350.4
• 申請日: 2019-10-02
• 公開（公告）號: CN113412514A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 弗朗索瓦絲·博費;約翰·沙爾克威克;沈啟財
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L13/02;G10L13/08;G10L15/16;G10L15/30
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;周亞榮

1.一種由客戶端設備的一個或多個處理器執行的方法，所述方法包括：

識別在所述客戶端設備處本地存儲的文本片段；

生成合成的語音音頻數據，所述合成的語音音頻數據包括所識別的文本片段的合成的語音，其中，生成所述合成的語音音頻數據包括使用在所述客戶端設備處本地存儲的語音合成模型來處理所述文本片段；

使用在所述客戶端設備處本地存儲的端到端語音識別模型來處理所述合成的音頻數據，以生成預測的文本片段；

基于將所述預測的文本片段與所述文本片段進行比較來生成梯度；以及

基于所生成的梯度來更新所述端到端語音識別模型的一個或多個權重。

2.根據權利要求1所述的方法，進一步包括：

通過網絡向遠程系統發送所生成的梯度，而不發送以下中的任何一個：所述文本片段、所述合成的語音音頻數據和所述預測的文本片段；

其中，所述遠程系統利用所生成的梯度和來自另外的客戶端設備的另外的梯度來更新全局端到端語音識別模型的全局權重。

3.根據權利要求2所述的方法，其中，所述全局端到端語音識別模型的所更新的全局權重被存儲在所述遠程系統的存儲器中。

4.根據權利要求2或3所述的方法，進一步包括：

在所述客戶端設備處并且從所述遠程系統接收所述全局端到端語音識別模型，其中，接收所述全局端到端語音識別模型是在所述遠程系統基于所述梯度和所述另外的梯度來更新所述全局端到端語音識別模型的所述全局權重之后；以及

響應于接收所述全局語音識別模型，在所述客戶端設備的本地存儲裝置中用所述全局語音識別模型替換所述端到端語音識別模型。

5.根據權利要求2或3所述的方法，進一步包括：

在所述客戶端設備處并且從所述遠程系統接收所更新的全局權重，其中，接收所更新的全局權重是在所述遠程系統基于所述梯度和所述另外的梯度來更新所述全局端到端語音識別模型的所述全局權重之后；以及

響應于接收所更新的全局權重，在所述客戶端設備的本地存儲裝置中用所更新的全局權重替換所述端到端語音識別模型的權重。

6.根據任何前述權利要求所述的方法，其中，從聯系人列表、媒體播放列表、鏈接的接智能設備的別名列表或從在所述客戶端設備處接收的鍵入的輸入識別所述文本片段。

7.根據任何前述權利要求所述的方法，其中，基于被新添加為聯系人的別名或鏈接的智能設備的別名的所述文本片段來識別所述文本片段。

8.根據任何前述權利要求所述的方法，進一步包括：

基于來自所述客戶端設備的一個或多個傳感器的傳感器數據來確定所述客戶端設備的當前狀態滿足一個或多個條件；

其中，響應于確定所述客戶端設備的所述當前狀態滿足所述一個或多個條件而執行生成所述合成的語音音頻數據和/或處理所述合成的語音音頻數據以生成所述預測的文本片段和/或生成所述梯度和/或更新所述一個或多個權重。

9.根據權利要求8所述的方法，其中，所述一個或多個條件包括以下中的至少一個：所述客戶端設備正在充電、所述客戶端設備至少具有閾值充電狀態或所述客戶端設備沒有正在被用戶攜帶。

10.根據權利要求9所述的方法，其中，所述一個或多個條件包括以下中的兩個或更多個：所述客戶端設備正在充電、所述客戶端設備至少具有閾值充電狀態或所述客戶端設備沒有正在被用戶攜帶。

11.根據權利要求1所述的方法，其中，識別所述文本片段包括：

基于以下來識別所述文本片段：

確定經由一個或多個麥克風檢測的先前人類話語包括所述文本片段；以及

確定使用所述端到端語音識別模型執行的所述先前人類話語的先前語音識別無法正確識別所述文本片段。