[發明專利]利用外部數據源重新識別語音

有效

• 申請號: 201611243688.1
• 申請日: 2016-12-29
• 公開（公告）號: CN107045871B
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 特雷弗·D·施特勒曼;約翰·沙爾克維克;格列布·斯科別利岑
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G10L15/187
• 分類號: G10L15/187;G10L15/19;G10L15/26
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;周亞榮

提供了利用外部數據源重新識別語音?；谕獠繑祿锤倪M語音識別的方法，包括在計算機存儲介質上編碼的計算機程序。在一個方面，方法包括：使用自動語音識別獲得講話的初始候選轉錄，并且基于該自動語音識別器在生成該初始候選轉錄時未使用的語言模型識別與出現在該初始候選轉錄中的一個或多個詞語發音相似的一個或多個詞語。附加的動作包括基于所識別的一個或多個詞語生成一個或多個附加候選轉錄，并且從該候選轉錄中選擇一個轉錄。所描述的特征可以使得來自外部數據源的數據能夠在生成更為準確的轉錄時被使用而無需修改現有的自動語音識別器，或者可以避免自動語音識別器的重新編譯。

技術領域

本說明書涉及到自動語音識別。

背景技術

語音識別是指使用自動語音識別器(ASR)將所講出的詞轉錄為文本。在傳統的ASR系統中，所接收的音頻被轉換為計算機可讀的聲音，其隨后可以與關聯于給定語言的詞詞典進行比較。

發明內容

總體上，該說明書中所描述主題的一個創新方面能夠以使用外部數據源改善語音識別的方法來體現。例如，一種自動語音識別器可以接收對講話進行編碼的音頻數據并且使用第一語言模型提供該講話的初始候選轉錄。該系統隨后可以對該初始候選轉錄應用不同的第二語言模型以生成可替換候選轉錄，其(i)發音類似于初始候選轉錄，并且(ii)可能以給定語言所顯現。該系統隨后可以基于(i)該音頻數據和候選轉錄之間的發音相似性以及(ii)該候選轉錄以給定語言出現的可能性而從候選轉錄中選擇一個轉錄。

實施方式可以包括以下一個或多個特征。例如，在一些實施方式中，一種方法包括使用自動語音識別器獲得講話的初始候選轉錄，基于該自動語音識別器在生成該初始候選轉錄時未使用的語言模型識別與出現在該初始候選轉錄中的一個或多個詞語發音相似的一個或多個詞語，基于所識別的一個或多個詞語生成一個或多個附加的候選轉錄，并且從該候選轉錄中選擇一個轉錄。

其它多種版本包括相對應的被配置為執行在計算機存儲設備上所編碼的方法的動作的系統、計算機程序，以及被配置為使得計算裝置執行該方法的動作的計算機程序。

一個或多個實施方式可以包括以下可選特征。例如，在一些實施方式中，該自動語音識別器在生成該初始候選轉錄時未使用的語言模型包括未處于該自動語音識別器在生成該初始候選轉錄時所使用的語言模型中的一個或多個詞語。在一些方面，該自動語音識別器在生成該初始候選轉錄時未使用的語言模型以及該自動語音識別器在生成該初始候選轉錄時所使用的語言模型都包括一個或多個詞語的序列，但是將該序列指示為具有不同的出現可能性。

在某些方面，該自動語音識別器在生成該初始候選轉錄時未使用的語言模型指示詞或詞序列出現的可能性。在一些實施方式中，動作包括針對每種候選轉錄確定反映該候選轉錄預期被說出的頻繁程度的可能性分值，并且針對每個候選轉錄確定反映該候選轉錄與講話之間的發音相似度的聲音匹配分值，其中從候選轉錄中選擇該轉錄是基于該聲音匹配分值和可能性分值。在一些方面，確定反映該候選轉錄與講話之間的發音相似度的聲音匹配分值包括：從自動語音識別器獲得子詞聲音匹配分值，識別與候選轉錄相對應的子詞聲音匹配分值的子集，并且基于與候選轉錄相對應的子詞聲音匹配分值的子集而生成該聲音匹配分值。

在某些方面，確定反映該候選轉錄預期被說出的頻繁程度的可能性分值包括基于該自動語音識別器在生成該初始候選轉錄時未使用的語言模型確定該可能性分值。在一些實施方式中，基于所識別的一個或多個詞語生成一個或多個附加候選轉錄包括利用出現在初始候選轉錄中的一個或多個詞語替代所識別的與出現在該初始候選轉錄中的一個或多個詞語發音相似的一個或多個詞語。