[發明專利]使用跨語言音素映射的語音生成

在審

• 申請號: 201880095079.7
• 申請日: 2018-10-11
• 公開（公告）號: CN112334974A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 阿米·帕特爾;西馬克·塔扎里
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L13/047;G10L13/06
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;任慶威

1.一種用于從自然語言文本數據流生成計算機生成的語音的方法，所述方法由一個或多個處理器實施并且包括：

接收自然語言文本數據流，所述自然語言文本數據流將被轉換成計算機生成的語音以經由計算裝置的一個或多個揚聲器渲染給用戶，其中，所述自然語言文本數據流包括采用分配給所述用戶的主要語言的主要部分，以及不是采用分配給所述用戶的所述主要語言的次要語言部分；

確定所述自然語言文本數據流的所述次要語言部分是否采用未作為所述用戶的熟悉語言分配的次要語言；

處理所述自然語言文本數據流的所述主要部分，以確定分配給所述主要語言并且對應于所述主要部分的第一組音素；

處理所述自然語言文本數據流的次要部分，以確定對應于所述次要部分的通用音素集中的第二組音素，其中，所述通用音素集至少包括對應于所述主要語言和所述次要語言的音素；

響應于確定所述次要語言部分采用未作為所述用戶的熟悉語言分配的所述次要語言：

將對應于所述次要部分并且不是用于所述主要語言的一個或多個第二音素映射到采用所述主要語言的一個或多個相關音素，其中，將所述一個或多個第二音素映射到所述一個或多個相關音素基于所述通用音素集中的音素與主要語言音素之間的定義映射；

通過用采用所述主要語言的所述相關音素代替所述第二組音素中的所述一個或多個第二音素，來生成修改的第二組音素；

處理所述第一組音素和所述修改的第二組音素，以生成模仿說所述第一組音素和所述修改的第二組音素的人類說話者的音頻數據；以及

使所述音頻數據經由所述計算裝置的所述一個或多個揚聲器被渲染。

2.根據權利要求1所述的方法，還包括：

響應于確定所述次要語言部分不是采用未作為所述用戶的熟悉語言分配的所述次要語言，而是采用作為所述用戶的熟悉語言分配的另外的次要語言：

處理所述第一組音素和所述第二組音素，而不將所述第二組音素映射到采用所述主要語言的音素；以及

使替代音頻數據經由所述計算裝置的所述一個或多個揚聲器被渲染。

3.根據權利要求2所述的方法，其中，基于由所述計算裝置提供的數據或基于與分配給所述用戶的賬戶相關聯地存儲的數據，所述另外的次要語言被分配為所述用戶的熟悉語言。

4.根據權利要求2所述的方法，其中，處理所述第一組音素和所述第二組音素以生成所述替代音頻數據包括：使用至少部分地基于來自人類說話者的音頻數據訓練的受訓神經網絡模型處理所述第一組音素和所述第二組音素，所述人類說話者會流利地用所述主要語言并且會流利地用所述另外的次要語言。

5.根據任一項前述權利要求所述的方法，其中，遠程計算系統提供所述自然語言文本數據流，并且通過所述自然語言文本數據流提供所述次要語言部分不是采用所述主要語言的指示。

6.根據任一項前述權利要求所述的方法，還包括：

確定所述自然語言文本數據流的所述次要語言部分不是采用所述主要語言，其中，確定所述次要語言部分不是采用所述主要語言包括：

確定所述自然語言文本數據流中的一個或多個次要單詞不在所述主要語言的主要語言詞典中。

7.根據權利要求6所述的方法，其中，處理所述自然語言文本數據流的所述次要部分以確定對應于所述次要部分的所述通用音素集中的所述第二組音素包括：

確定不在所述主要語言的所述主要語言詞典中的所述一個或多個第二單詞在替代詞典中；以及

在所述替代詞典中檢索所述次要語言部分的所述第二組音素。

8.根據權利要求6所述的方法，其中，處理所述自然語言文本數據流的所述次要部分以確定對應于所述次要部分的所述通用音素集中的所述第二組音素包括：

使用字素到音素模型自動地確定所述第二組音素。