[發明專利]用單詞重音預測發音的系統和方法

有效

• 申請號: 201680085566.6
• 申請日: 2016-12-09
• 公開（公告）號: CN109196582B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: M.V.蔡;K.K.拉奧;D.J.J.范埃施
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G10L13/10
• 分類號: G10L13/10;G10L25/30;G10L15/187
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 邵亞麗

一種用于生成單詞的發音的方法、系統和裝置，其包括在計算機存儲介質上編碼的計算機程序。方法之一包括：由一個或多個計算機確定指示單詞拼寫的拼寫數據；將拼寫數據作為輸入提供給訓練的遞歸神經網絡，訓練的遞歸神經網絡被訓練以至少基于指示單詞的拼寫的數據指示單詞的發音的特征；接收指示由訓練的遞歸神經網絡響應于提供拼寫數據作為輸入而生成的單詞的發音的重音模式的輸出；使用訓練的遞歸神經網絡的輸出來生成指示單詞的發音的重音模式的發音數據；以及由一個或多個計算機將發音數據提供給文本到語音系統或自動語音識別系統。

技術領域

本說明書涉及一種用于生成單詞的發音的方法、系統和裝置，其包括在計算機存儲介質上編碼的計算機程序。

背景技術

自動語音識別(Automatic?speech?recognition，ASR)系統、文本到語音(text-to-speech，TTS)系統、或兩者可以分別使用單詞發音數據來確定在音頻信號中編碼的單詞的話語或者生成編碼單詞的合成話語的音頻信號。一些ASR和TTS系統可以使用手動策劃的發音字典。字典中的條目可以包括音位(phoneme)序列，例如，“foo”→/f?u/(以X-SAMPA(Extended?Speech?Assessment?Methods?Phonetic?Alphabet，拓展音標字母評估法)表示法)。

發明內容

發音生成系統可以使用遞歸神經網絡(recurrent?neural?network，RNN)模型來預測單詞的發音的音節劃分和重音模式，并將音節劃分和重音模式提供給另一系統，例如，ASR系統、TTS系統、或兩者。發音生成系統可以向遞歸神經網絡提供單詞拼寫、音位序列或兩者作為輸入。在一些示例中，發音生成系統可以使用長短期記憶(long?short-termmemory，LSTM)遞歸神經網絡模型來預測給定特定單詞的發音、拼寫、或兩者的特定單詞的重音模式。

發音生成系統可以使用有限狀態轉換器(finite?state?transducer，FST)技術來約束遞歸神經網絡的輸出。例如，發音生成系統可以具有針對特定語言的單詞的發音的規則，并且使用有限狀態轉換器技術將規則應用于從遞歸神經網絡的輸出。

發音生成系統可以將由遞歸神經網絡生成的輸出(例如，指示重音模式和音節劃分的輸出)提供給TTS系統、ASR系統、或兩者。在一些示例中，發音生成系統可以響應于從TTS系統或ASR系統接收的數據動態地生成發音或重音信息。例如，當TTS系統確定在字典中沒有可用于特定單詞的發音時，TTS系統可以從發音生成系統請求發音數據。作為響應，TTS系統接收特定單詞的發音數據，并使用發音數據生成具有特定單詞的話語的音頻信號。

通常，本說明書中描述的主題的一個創新方面可以體現在包括以下動作的方法中：由一個或多個計算機確定指示單詞的拼寫的拼寫數據；由一個或多個計算機將拼寫數據作為輸入提供給訓練的遞歸神經網絡，該訓練的遞歸神經網絡被訓練以至少基于指示單詞的拼寫的數據指示單詞發音的特征；由一個或多個計算機接收指示由訓練的遞歸神經網絡響應于提供拼寫數據作為輸入而生成的單詞的發音的重音模式的輸出；由一個或多個計算機使用訓練的遞歸神經網絡的輸出來生成指示單詞的發音的重音模式的發音數據；以及由一個或多個計算機將發音數據提供給文本到語音系統或者自動語音識別系統。該方面的其他實施例包括記錄在一個或多個計算機存儲設備上的對應計算機系統、裝置和計算機程序，每個計算機系統、裝置和計算機程序被配置為執行該方法的動作。一個或多個計算機的系統可以被配置為借助在系統上安裝軟件、固件、硬件或它們的組合來執行特定操作或動作，該系統在操作中使得系統執行動作。一個或多個計算機程序可以被配置為借助包括指令來執行特定操作或動作，當由數據處理裝置執行該指令時，使得裝置執行動作。