[發明專利]用于不同標記集合的轉移學習技術的系統和方法

有效

• 申請號: 201680039897.6
• 申請日: 2016-07-05
• 公開（公告）號: CN107735804B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 金永邦;R·薩里卡亞
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G10L15/18
• 分類號: G10L15/18;G06K9/62;G06N20/00
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅;杜波

本公開的示例描述了用于不同標記集合的轉移學習技術的系統和方法。在各方面中，可以訪問服務器設備上的數據集。數據集可以包括標記和與標記相關聯的詞集。服務器設備可以引起數據集內的標記嵌入。嵌入的標記可以由對應于特定標記的多維向量表示。向量可以用于構建數據集的標記映射。標記映射可以用于訓練模型以執行領域適應或轉移學習技術。該模型可以用于向語句/查詢或訓練模型提供結果。

背景技術

自然語言理解(NLU)是計算機程序理解人類言語和提取口頭或鍵入輸入的含義的能力。NLU系統已經與各種領域(例如，地點、天氣、通信、提醒)結合使用。通常，這些領域中的NLU基于統計機器學習模型，這些模型需要大量特定于領域的注釋訓練數據。出于這樣的原因，建立新的領域需要大量的資源投資。雖然領域適應中的各種技術和方法已經發展到解決這些問題，但是這些解決方案假設使用不變的標記空間。因此，這些解決方案的直接應用目前是不可能的。

本文所公開的方面就是針對這些以及其他一般考慮而提出的。而且，雖然可以討論相對具體的問題，但是應當理解的是，這些示例不應該被限制為解決背景技術或者本公開中的其他地方所標識的具體問題。

發明內容

提供本“發明內容”是為了以簡化形式介紹將在以下具體實施方式部分中進一步描述的概念的選擇。本發明內容不旨在標識所要求保護的技術主題的關鍵特征或必要特征，也不旨在用作幫助確定所要求保護的技術方案的范圍。

本公開的示例描述了用于不同標記集合的轉移學習技術的系統和方法。在各方面中，可以在服務器設備上訪問數據集。數據集可以包括標記以及與標記相關聯的詞集。服務器設備可以引起標記嵌入到數據集。嵌入的標記可以由對應于特定標記的多維向量表示。向量可以用于構建數據集的標記映射。標記映射可以用于訓練模型以執行領域適應或轉移學習技術。該模型可以用來向語句/查詢提供結果或訓練不同的模型。

提供本發明內容是為了以簡化形式介紹將在以下具體實施方式中進一步描述的概念的選擇。本發明內容不旨在標識所要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限定所要求保護的技術方案的范圍。示例的額外方面、特征和/或優點將部分地在下面的描述中闡述，并且部分地將通過描述而顯而易見，或者可以通過本公開的實踐而被了解。

附圖說明

參考以下附圖來描述非限制性和非窮盡性示例。

圖1示出了本文所述用于實現不同標記集合的轉移學習技術的示例性系統的概述。

圖2示出了本文所述用于實現不同標記集合的轉移學習技術的示例性輸入處理單元的概述。

圖3示出了本文所述用于不同標記集合的轉移學習技術的示例性方法。

圖4示出了本文所述使用接收到的輸入來執行用于不同標記集合的轉移學習技術的示例性方法。

圖5是示出可以實踐本公開的各方面的計算設備的示例的框圖。

圖6A和圖6B是可以實踐本公開的各方面的移動計算設備的簡化框圖。

圖7是其中可以實踐本公開的各方面的分布式計算系統的簡化框圖。

圖8是示例性領域中的雙射映射的示例圖。

具體實施方式

下面參考附圖更全面地描述本公開的各方面，附圖形成本公開的一部分，并且示出了具體的示例性方面。然而，本公開的不同方面可以以許多不同的形式實現，并且不應被解釋為限于在此闡述的各方面；相反，這些方面被提供以使得本公開將是徹底和完整的，并將向本領域技術人員充分地傳達這些方面的范圍。各方面可以被實踐為方法、系統或設備。因此，各方面可以采取硬件實現方式、完全軟件實現方式或者組合軟件和硬件方面的實現方式的形式。因此，下面的詳細描述不應被認為是限制性的。