[發明專利]語言理解系統和方法的生成

有效

• 申請號: 201580072257.0
• 申請日: 2015-12-28
• 公開（公告）號: CN107210035B
• 公開（公告）日: 2020-10-23
• 發明（設計）人: J·D·威廉姆斯;N·B·尼勞拉;P·達斯吉;A·拉克什米拉坦;G·G·茲維格;A·科洛博維;C·加西亞朱拉多薩亞瑞茲;D·M·奇克林
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G10L15/18
• 分類號: G10L15/18;G10L15/22
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

提供了可以被快速且有效地構建、測試并改進的特定于域的語言理解模型。提供了使得開發方能夠快速且在無需專門的機器學習知識的情況下構建用戶意圖檢測模型、語言實體提取模型和語言實體解析模型的方法、系統和設備。這些模型可以經由單模型系統所構建并實施，該單模型系統使得模型能夠被隔離地或者在端到端流水線系統中被構建，該流水線系統使得模型能夠以同時的方式被構建和改進。

背景技術

隨著現代計算系統的出現，各種各樣的個人計算系統和設備已經啟用了對話系統和應用，其允許用戶向他/她的計算設備講出問題，以搜索將由計算設備響應于該問題而提供的信息。例如，在典型的設置中，用戶向她的手持移動電話或平板計算設備講出諸如“where is the closest pizza restaurant？(最近的披薩餐廳在哪兒)”的問題，并且該用戶預期她的設備(如果配備有適當應用)會用“I have found three pizza restaurantsnearby(我已經找到附近三家披薩餐廳)”這樣的短語對該問題作出響應。根據一些系統，應用可以響應于用戶請求向用戶提供地址和其它信息。在一些情況下，所接收的問題在用戶的計算設備上被本地處理，例如，在用戶的日歷信息被詢問以面向日歷的問題的情況下，在本地天氣應用被詢問以面向天氣的信息的情況下，在本地聯系人數據庫被詢問以用于面向聯系人的信息的情況下，等等。如果無法在本地獲得響應于請求的信息，則一些系統使用所接收的請求進行基于互聯網的信息搜索，并且響應于用戶請求的基于互聯網的搜索結果被返回給用戶。

在開發和實施這種系統時所遇到的重大困難之一涉及語言理解。也就是說，這種系統的開發和實施中的一個問題是理解用戶所講出的自然語言，而使得給定口頭話語的組成部分可以被用于執行計算機支持的功能。對于被提供給用戶以允許用戶通過語音交互來利用這些應用或功能的新應用或功能的開發方而言，該困難尤其成為問題。

例如，如果出租車服務提供方希望提供一種允許用戶向其手持計算設備(例如，移動電話)講出用于請求出租車的請求，則該應用的提供方面臨著實施語言理解模型的艱巨任務，該語言理解模型將理解用戶可以向該應用講出針對出租車服務的請求的許多不同方式，該應用將理解上述方式以提供所請求的服務。例如，這種支持計算機的出租車服務可能會收到諸如“I need a taxi，(我需要出租車，)”、“Can you get me a car？(你能給我安排一輛車么？)”、“Is this a taxi service？(這是出租車服務么？)”、“I need a cab todowntown，(我需要出租車去市區)”等之類的口頭請求。這樣的口頭短語的問題在于，它們可能以多種結構、格式以及具有隨使用該服務的人數而有所不同的單詞和短語講出。也就是說，該服務可以接收到以幾乎無限的方式不同于其它類似口頭話語的口頭話語形式的請求。

例如，在這些提供的示例話語中，使用了數個不同術語來描述用戶將被其運載的物理設備，包括taxi、car、cab等。另外，短語中的一些是作為問題提出的，而話語的一些則是作為陳述給出。話語的一些可以被理解為請求出租車服務，而話語的一些則可以被理解為指向購買車輛的搜索。響應于這種語言理解的困難，語言理解系統的開發方和實施者通常參與到向語言理解系統的組件教授響應于基于話音的請求提供服務的應用可能預見到的術語和短語的許多不同變型的工作之中，這項工作非常緩慢、艱苦并且是勞動密集的。例如，數據工程師收集包含目標用戶意圖的實例的話語數據。用戶體驗設計師創建解釋新的目標意圖的標記指令。眾包工程師創建眾包任務，其中多個工作者向多個示例用戶在眾包任務中所接收到的數據(各種話語)應用該標記指令。機器學習專家使用該數據來構建可以確定將向其計算設備講出請求的用戶的意圖的意圖檢測模型，以及提取實體(例如，口頭話語中可能構成該話語的主語的術語，諸如“出租車”)的實體提取模型。