[發明專利]訓練和/或使用編碼器模型確定自然語言輸入的響應動作

在審

• 申請號: 201880073730.0
• 申請日: 2018-12-14
• 公開（公告）號: CN111344779A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 布萊恩·斯特羅普;宋云軒;袁王慶
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G10L15/18
• 分類號: G10L15/18;G10L15/22;G06F40/253;G06F16/332
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

系統、方法和計算機可讀介質涉及：訓練編碼器模型，該編碼器模型可用于(直接和/或間接)確定自然語言文本字符串與一個或多個附加自然語言文本字符串中的每一個的語義相似性；和/或使用經訓練的編碼器模型來確定要響應自然語言查詢執行的一個或多個響應動作。編碼器模型是機器學習模型，例如神經網絡模型。在訓練編碼器模型的一些實現方式中，編碼器模型被訓練為基于與可以使用編碼器模型的“語義文本相似性”任務不同的一個或多個任務而訓練的較大的網絡架構的一部分。

背景技術

用戶利用自由形式自然語言輸入與各種應用程序對接。例如，用戶可以使用此處稱為“自動助理”(也稱為“聊天機器人”，“交互式個人助理”，“智能個人助理”，“個人語音助理”，“會話代理”等)的交互式軟件應用來參與人機對話。例如，人類(當他們與自動助理交互時可以稱為“用戶”)可以使用自由形式自然語言輸入來提供命令、查詢和/或請求(在本文中統稱為“查詢”)，自由形式自然語言輸入可以是被轉換成文本然后進行處理的有聲話語和/或通過鍵入的自由形式自然語言輸入。

許多自動助理和其他應用被配置為響應于各種查詢而執行一個或多個響應動作。例如，響應于自然語言查詢“how are you(你好嗎)”，自動助理可以配置為以圖形和/或聲音輸出“great,thanks for asking(很好，謝謝詢問)”來響應查詢。作為另一個示例，響應于對“what’s the weather for tomorrow(明天天氣如何)”的查詢，可以將自動助理配置為(例如，通過API)與天氣代理(例如，第三方代理)對接以確定“本地的”明天的天氣預報，并且利用傳達這樣的天氣預報的圖形和/或聲音輸出來響應該查詢。作為又一個示例，響應于對“play music videos on my TV(在我的電視上播放音樂視頻)”的用戶查詢，可以將自動助理配置為使音樂視頻在用戶的網絡電視上流傳輸。

然而，響應于尋求執行自動助理可執行的動作的各種查詢，許多自動助理可能無法執行該動作。例如，自動助理可以被配置為響應于“play music videos on my TV”的查詢而使音樂視頻在用戶的網絡電視上流傳輸，但是可能無法響應于例如“make somevideos of the music variety appear on the tube(使音樂曲目的一些視頻出現在管子上)”的各種其他查詢而執行這種動作，盡管其他查詢都尋求執行相同的動作。因此，自動助理將不會執行查詢所期望的動作，而是可以提供一般誤差響應(例如，“I don’t know howto do that(我不知道該怎么做”)或完全不響應。這可能導致用戶不得不在另一個嘗試中提供另一個查詢，以使自動助理執行該動作。這浪費了各種資源，例如處理查詢(例如，語音到文本處理)和/或傳輸查詢(例如，當自動助理的組件位于遠離提供查詢的客戶端的設備上時)所需的資源。

發明內容

本說明書的實現方式針對與以下有關的系統，方法和計算機可讀介質：訓練編碼器模型，該編碼器模型可用于(直接和/或間接)確定自然語言文本字符串與一個或多個附加自然語言文本字符串中的每一個的語義相似性；和/或使用經訓練的編碼器模型來確定要響應自然語言查詢執行的一個或多個響應動作。編碼器模型是機器學習模型，例如神經網絡模型。