[發明專利]訓練和/或使用編碼器模型確定自然語言輸入的響應動作

在審

• 申請號: 201880073730.0
• 申請日: 2018-12-14
• 公開（公告）號: CN111344779A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 布萊恩·斯特羅普;宋云軒;袁王慶
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G10L15/18
• 分類號: G10L15/18;G10L15/22;G06F40/253;G06F16/332
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種由一個或多個處理器實現的方法，包括：

識別均包括輸入和響應的多個正訓練實例，其中對于所述正訓練實例中的每一個正訓練實例：

所述輸入基于對應電子通信的內容，并且

所述回復基于響應于所述對應電子通信的對應響應電子通信；

基于所述正訓練實例，訓練編碼器模型，其中，基于所述正訓練實例的給定實例，訓練所述編碼器模型包括：

基于使用所述編碼器模型處理所述輸入來生成輸入編碼；

基于使用所述編碼器模型處理所述響應來生成響應編碼；

基于使用推理模型處理所述響應編碼來生成最終響應編碼；

基于所述輸入編碼和所述最終響應編碼的比較來確定值；以及

基于所述值與由所述給定實例指示的給定值的比較，更新所述推理模型和所述編碼器模型兩者；并且

在訓練所述編碼器模型后：

獨立于所述推理模型，使用經訓練的編碼器模型來確定兩個文本段的相似性值，其中，所述相似性值指示所述兩個文本段的語義相似性。

2.根據權利要求1所述的方法，進一步包括：

基于多個不同的附加訓練實例來訓練所述編碼器模型，其中所述多個不同的附加訓練實例用于與所述多個正訓練實例的任務不同的任務。

3.根據權利要求2所述的方法，其中，基于所述不同的附加訓練實例中的給定不同實例來訓練所述編碼器模型包括：

基于使用所述編碼器模型處理所述給定不同實例的第一輸入來生成第一編碼；

基于使用所述編碼器模型處理所述給定不同實例的第二輸入來生成第二編碼；

基于使用附加模型對所述第一編碼和所述第二編碼的處理來生成預測，其中所述附加模型在基于所述正訓練實例訓練所述編碼器模型時未被使用；以及

基于所述預測與所述給定不同實例的標記輸出的比較，更新所述附加模型和所述編碼器模型兩者。

4.根據權利要求3所述的方法，其中，所述標記輸出指示自然語言推斷任務的多個潛在類別中的特定類別。

5.根據權利要求3或權利要求4所述的方法，其中基于所述多個不同的附加訓練實例來訓練所述編碼器模型與基于所述正訓練實例來訓練所述編碼器模型同時發生。

6.根據權利要求5所述的方法，其中基于所述多個不同的附加訓練實例來訓練所述編碼器模型是通過一個或多個第一工作者線程，并且其中基于所述正訓練實例來訓練所述編碼器模型是通過一個或多個第二工作者線程。

7.根據任一項前述權利要求所述的方法，其中，使用經訓練的編碼器模型來確定所述兩個文本段的相似性值包括：

接收針對自動助理的查詢；

基于使用經訓練的編碼器模型處理所述查詢來生成查詢編碼；

將所述查詢編碼與多個預定查詢編碼進行比較，每個預定查詢編碼與一個或多個對應動作相關聯地存儲；

基于所述比較，確定與所述查詢編碼最相似的給定預定查詢編碼；以及

響應于所述查詢并且基于與所述查詢編碼最相似的給定預定查詢編碼，使所述自動助理執行與所述給定預定查詢編碼相關聯地存儲的一個或多個對應動作。

8.根據權利要求7所述的方法，進一步包括：

確定所述查詢編碼與所述給定預定查詢編碼之間的距離滿足接近度閾值；

其中，使所述自動助理執行一個或多個對應動作進一步響應于確定所述距離滿足所述接近度閾值。

9.根據權利要求7或權利要求8所述的方法，其中，將所述查詢編碼與所述多個預定查詢編碼進行比較包括：

生成多個標量值，每個標量值基于所述查詢編碼和所述給定預定查詢編碼中的對應給定預定查詢編碼的對應點積；以及

其中，基于所述比較確定與所述查詢編碼最相似的給定預定查詢編碼包括：基于以該查詢編碼和該給定預定查詢編碼的點積為基礎的標量值是所生成的多個標量值中的最小的來選擇該給定預定查詢編碼。