[發明專利]生成和使用知識增強型模型

有效

• 申請號: 201580043229.6
• 申請日: 2015-08-11
• 公開（公告）號: CN106663124B
• 公開（公告）日: 2020-02-28
• 發明（設計）人: 單瀛;毛建昌
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/9535;G06N3/04;G06N5/02
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

本文描述用于基于用戶行為數據和知識數據生成模型的功能。在一種情況下，用戶行為數據標識由用戶提交的查詢，連同由用戶響應于查詢而做出的選擇。知識數據表示如一個或多個結構化知識資源表達的語言項之間的關系。功能利用知識數據提供關于可能不能通過用戶行為數據充分捕獲的語義關系的信息，以由此產生更穩健和精確的模型(與僅基于用戶行為數據產生的模型相比)。本文還描述用于在被訓練后應用模型的功能。在一種情況下，模型可以對應于深度學習模型。

背景技術

典型的商業搜索引擎可以采用在機器學習過程中產生的模型。機器學習過程可以基于點通(click-through)數據來訓練模型。點通數據進而標識由用戶提交的查詢以及由用戶響應于查詢而做出的選擇(例如“點擊”)。

發明內容

本文描述一種用于基于用戶行為數據和知識數據、使用機器學習過程來生成模型的計算機實現的功能。用戶行為數據標識由用戶提交的語言項，以及響應于語言項而由用戶做出的選擇。例如，用戶行為數據可以對應于點通數據，包括由用戶提交的查詢連同響應于查詢而由用戶做出的點擊選擇。知識數據表示語言項之間的關系，如通過一個或多個結構化知識資源表達。功能利用知識數據以提供關于可能不能通過用戶行為數據充分捕獲的語義關系的信息，因此與僅僅基于用戶行為數據訓練的模型相比產生更精確和穩健的模型。

本公開還涉及在以上歸納的查詢中產生的模型以及針對在搜索引擎內應用模型的功能。

根據一個非限制性實施方式，模型對應于深度學習模型。深度學習模型使用多級分析以將每個語言輸入項變換為概念矢量。概念矢量表達語義空間內的語言輸入項的高級含義。

以上方法可以在各種類型的系統、元件、方法、計算機可讀存儲介質、數據結構等中表現。

提供了本發明的發明內容以便引入簡化的形式的概念的選擇；這些概念進一步在下面的具體實施方式中描述。本發明內容并不旨在識別所要求保護的主題的關鍵特征或必要特征，也不旨在用于限制所要求保護的主題的范圍。

附圖說明

圖1示出用于產生并應用模型的說明性環境，模型是諸如但不限于深度學習模型。模型基于用戶行為數據和知識數據的組合而產生。

圖2示出表示僅通過點通數據訓練的模型的性能的直方圖。

圖3示出表示通過點通數據和知識數據兩者訓練的模型的性能的直方圖。

圖4示出表示圖1環境的一個實施方式的計算機系統。

圖5示出作為圖1的環境的元件的訓練數據編譯模塊(TDCM)的一個實施方式。TDCM生成用于訓練模型中的主訓練數據。主訓練數據進而基于用戶行為數據和知識數據而產生。

圖6示出一種類型的結構化知識資源的結構的示例。

圖7示出圖1的環境的元件的排名系統的一個實施方式。

圖8示出作為圖7的排名系統的元件的相關性評估框架(RAF)的一個實施方式。RAF利用深度學習模型的使用。

圖9示出作為圖8的RAF的元件的語義變換模塊的一個實施方式。

圖10示出圖8的整體RAF的一個實施方式。

圖11示出用于產生深度學習模型的訓練系統(也在圖1中示出)的一個實施方式。

圖12是概述一種基于用戶行為數據和點通數據來產生模型的方式的流程圖。

圖13是解釋一種基于用戶行為數據和知識數據來產生主訓練數據的方式的流程圖。

圖14是示出根據圖12和圖13的流程圖在搜索引擎中產生的一種應用模型的方式的流程圖。

圖15示出可以用于實施前面附圖中示出的特征的任意方面的說明性計算功能。