[發明專利]基于合成數據訓練的會話代理管線

在審

• 申請號: 201980078503.1
• 申請日: 2019-09-24
• 公開（公告）號: CN113168828A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: I·阿雷爾;J·B·盧克斯;A·齊亞伊;M·萊夫科維茨
• 申請（專利權）人: 艾普倫特有限責任公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/02;G10L15/18;G10L15/193;G06N20/00
• 代理公司: 隆天知識產權代理有限公司 72003
• 代理人: 石海霞;金鵬

1.一種方法，包括：

生成多個合成訓練數據項，其中，所述多個合成訓練數據項的合成訓練數據項包括：a)合成語句的文本表示，以及b)所述合成語句的一個或多個轉碼，所述一個或多個轉碼包括包含于所述合成語句中的一個或多個實體和一個或多個動作，其中所述一個或多個實體與所述一個或多個動作相關聯；

對于所述多個合成訓練數據項的每個合成訓練數據項，將所述合成訓練數據項的合成語句的文本表示轉換成表示所述合成語句的音素序列；以及

將第一機器學習模型訓練為轉碼器，所述轉碼器根據所述音素序列確定包括動作和關聯的實體的轉碼，其中，使用第一訓練數據集來執行所述訓練，所述第一訓練數據集包括包含有如下項的多個合成訓練數據項：a)表示合成語句的音素序列，以及b)所述合成語句的轉碼。

2.根據權利要求1所述的方法，還包括：

接收包括多個數據項的第二訓練數據集，其中，所述多個數據項的每個數據項包括從話語的音頻數據得出的聲學特征和所述話語的文本表示；

對于所述多個數據項的每個數據項，將所述話語的文本表示轉換成表示所述話語的音素序列；以及

將第二機器學習模型訓練為聲學模型，所述聲學模型根據從話語的音頻數據得出的聲學特征來生成音素序列，其中，使用修改后的第二訓練數據集執行所述訓練，所述修改后的第二訓練數據集包括多個修改后的數據項，所述多個修改后的數據項包括：a)話語的音頻數據的聲學特征，以及b)表示所述話語的音素序列。

3.根據權利要求2所述的方法，還包括：

在被訓練為聲學模型的所述第二機器學習模型處接收新話語的新聲學特征；

使用所述第二機器學習模型處理所述新話語的聲學特征，以產生表示所述新話語的新的音素序列；

使用被訓練為轉碼器的所述第一機器學習模型來處理所述新的音素序列，以確定一個或多個新轉碼，所述一個或多個新轉碼包括一個或多個新動作和一個或多個新的關聯的實體；

由業務邏輯處理包括所述一個或多個新動作和所述一個或多個新的關聯的實體的所述一個或多個新轉碼，以確定要執行的一個或多個操作以滿足所述一個或多個動作；以及

執行所述一個或多個操作。

4.根據權利要求3所述的方法，其中，由所述第二機器學習模型產生的所述新的音素序列包括后驗概率圖，所述后驗概率圖包括向量序列，其中，所述向量序列中的每個向量是包括多個值的稀疏向量，其中，所述多個值中的每個值表示特定音素的概率。

5.根據權利要求2所述的方法，還包括：

對于所述多個數據項的一個或多個數據項，通過將背景混響、背景噪聲或背景音樂中的至少一個添加到所述音頻數據來使所述音頻數據失真，其中，所述修改后的第二訓練數據集包括具有未失真的音頻數據的第一組數據項和具有失真的音頻數據的第二組數據項。

6.根據權利要求1所述的方法，還包括：

對于所述多個訓練數據項的一個或多個訓練數據項，執行以下中的至少一個：a)在將所述一個或多個訓練數據項的合成語句的文本表示轉換成所述音素序列之前，使所述文本表示失真，或者b)在將所述文本表示轉換成所述音素序列之后，使所述音素序列失真。

7.根據權利要求6所述的方法，其中，使所述音素序列失真包括執行以下中的至少一個：a)替換所述音素序列中的一個或多個音素，b)移除所述音素序列中的一個或多個音素，或者c)將一個或多個音素插入到所述音素序列中。

8.根據權利要求1所述的方法，其中，生成合成訓練數據項包括：

生成表示約束域內的意圖的意圖對象；

使用一個或多個重寫規則以上下文無關語法擴展類別；

在執行所述擴展的同時標識約束類別；以及

確定如何根據所述意圖對象擴展所述約束類別，其中，所述約束類別被擴展到特定實體。

9.根據權利要求8所述的方法，還包括：

通過從所述意圖對象刪除所述特定實體來修改所述意圖對象。