[發明專利]基于合成數據訓練的會話代理管線

在審

• 申請號: 201980078503.1
• 申請日: 2019-09-24
• 公開（公告）號: CN113168828A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: I·阿雷爾;J·B·盧克斯;A·齊亞伊;M·萊夫科維茨
• 申請（專利權）人: 艾普倫特有限責任公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/02;G10L15/18;G10L15/193;G06N20/00
• 代理公司: 隆天知識產權代理有限公司 72003
• 代理人: 石海霞;金鵬

在一個實施例中，生成合成訓練數據項，每個合成訓練數據項包括：a)合成語句的文本表示，以及b)合成語句的一個或多個轉碼，該一個或多個轉碼包括一個或多個動作和與一個或多個動作相關聯的一個或多個實體。對于每個合成訓練數據項，合成語句的文本表示被轉換成表示合成語句的音素序列。然后，第一機器學習模型被訓練為轉碼器，該轉碼器根據音素序列確定包括動作和關聯的實體的轉碼，其中，使用第一訓練數據集來執行該訓練，第一訓練數據集包括多個合成訓練數據項，該多個合成訓練數據項包括：a)表示合成語句的音素序列，以及b)合成語句的轉碼。轉碼器可以在會話代理中使用。

技術領域

本公開涉及人工智能和機器學習領域，尤其涉及使用合成數據來訓練用于約束域的會話代理管線。

背景技術

會話代理是對用戶以普通自然語言作出的語句進行解釋并作出響應的軟件程序。會話代理的示例包括和傳統的會話代理接收音頻波形，執行特征提取以將音頻波形轉換為聲學特征的序列，并且將聲學特征序列輸入到自動語音識別(ASR)系統中，該自動語音識別(ASR)系統包括聲學模型(AM)和語言模型(LM)。AM確定從這些聲學特征映射到各種假設的音素序列的可能性，而LM確定詞語序列的先驗可能性。解碼器使用這兩個模型與發音詞典一起來選擇給定輸入的最大可能的詞語序列(例如，充當語音轉錄引擎)。由ASR輸出的文本的序列作為自然語言理解(NLU)系統的輸入，該NLU系統基于由ASR輸出的文本來確定講話者的意圖。隨后，講話者的所確定的意圖被輸入到對話管理系統中，該對話管理系統確定要執行以滿足所確定的意圖的一個或多個動作。

傳統的會話代理被設計為在開放式域中工作，在該開放式域中，會話代理接收關于廣泛主題的輸入，基于輸入確定廣泛的用戶意圖，并基于確定的用戶意圖產生大量的結果。然而，傳統的會話代理的ASR系統通常易于出錯，導致之后通過NLU系統傳播的詞語級錯誤，這可能最終使會話代理錯誤地確定講話者意圖或無法確定講話者意圖。例如，聲學失真可以使其難以正確地轉錄講話者話語。因此，當存在噪聲(例如，在具有背景聲學噪聲的真實世界狀況中)或訓練數據和真實世界數據(例如，測試和/或現場應用中使用的數據)之間存在可能劣化ASR的性能的任何其他聲學不匹配時，會話代理的準確性劣化。這樣的不匹配可以例如由噪聲、混響、講話者性別、年齡、口音等的變化引起。另外，人們在許多情況下講話時自然使用不標準的語法，并且出現諸如頻繁停頓、重新開始、不完整話語、糾正、“嗯”、“以及”等的表現錯誤，這使NLU確定正確的講話者意圖非常具有挑戰性。這些現象通常引起會話代理不正確地確定講話者意圖或無法確定講話者意圖。

附圖說明

根據以下給出的詳細描述以及各個本公開實施例的附圖，將更充分地理解本公開，然而，它們不應該用于將本公開局限于特定實施例，而僅用于解釋和理解。

圖1是示出根據本公開實施例的會話代理管線的框圖。

圖2A是示出根據本公開實施例的聲學模型訓練管線的框圖。

圖2B是示出根據本公開實施例的轉碼器訓練管線的框圖。

圖3是示出根據本公開實施例的將機器學習模型訓練為轉碼器的方法的流程圖。

圖4是示出根據本公開實施例的生成合成語音數據的方法的流程圖。

圖5是示出根據本公開實施例的訓練聲學模型的方法的流程圖。

圖6是示出根據本公開實施例的使用會話代理根據音頻輸入確定講話者意圖的方法的流程圖。

圖7是示出根據本公開實施例的示例性計算機系統的框圖。

具體實施方式