[發明專利]用任意費用函數訓練學習系統

有效

• 申請號: 200680025778.1
• 申請日: 2006-07-06
• 公開（公告）號: CN101536020A
• 公開（公告）日: 2009-09-16
• 發明（設計）人: C·J·博格斯;Y·E·阿吉徹里
• 申請（專利權）人: 微軟公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 上海專利商標事務所有限公司
• 代理人: 顧嘉運

本申請要求于2005年7月18日提交的題為“用任意費用函數訓練分級系統 (RAINING?RANKING?SYSTEMS?WITH?ARBITRARY?COST?FUNCTIONS)”的 美國臨時專利申請第60/700,080號的在35U.S.C.119(e)下的優先權。

背景

無論是作為因特網上信息源的迅速擴大的結果還是作為組織公司內的商務信 息的個人努力的結果或者是多種其他因素之中的任何一種，信息搜索者能獲得的數 據量已經極大地增長。由于可獲得的數據量已經增長，因此存在能夠分類并且定位 相關的數據的需求。一個相關的問題是對已經被識別為相關的數據進行分級的需 要。

當用戶搜索特定數據的數據集時，用戶通常需要簡單地與用戶輸入的搜索查 詢有某種關系的超過一個的結果列表。用戶通常希望能夠從該列表中快速定位最好 或最相關的結果。對搜索結果進行分級可以協助用戶快速定位最相關的數據。通常， 高分級向用戶指示用戶所搜索的信息在搜索結果中出現的較高概率。

一種方法是使用機器學習系統來定位、排序、分級或以其他方式處理數據。 機器學習系統包括諸如神經網絡系統、支持向量機(“SVM”)和感知器及其他 的系統。這些系統可以被用于多種數據處理或分析任務，包括但不限于光學圖案和 對象識別、控制和反饋系統以及文本分類。機器學習系統的其他潛在用途包括可以 受益于數據分類或回歸的任何應用程序。通常，機器學習系統被訓練以改善性能并 產生最優搜索、排序或分級結果。

通常使用費用函數訓練此類機器學習系統，其中學習過程嘗試最小化該費用 函數。然而通常所關注的費用函數不能被直接最小化，因為這已經提出了太難以解 決的問題。例如，在文件檢索問題中，被訓練系統的質量的測量是接收器操作曲線 (Receiver?Operating?Curve，ROC)下的面積。ROC曲線是正陽性(例如，相關的 文檔檢索)數量相對于假陽性(例如，不相關的文檔檢索)的數量的圖示。此類費 用函數不是所使用的機器學習系統的輸出的可微分函數，這樣的平滑度缺乏提出了 直接地使用此類函數進行訓練的困難性。

概述

下面給出學習系統訓練系統和/或方法的一個或多個實施例的簡化概述，以便 提供對此類實施例的一些方面的基本理解。這一概述不是廣泛的縱覽，且既非旨在 標識諸實施例的關鍵或重要元素，也非旨在描繪此類實施例的范圍。其唯一目的是 以簡化的形式給出所描述實施例的一些概念，作為后面給出的更加詳細的描述的前 奏。

簡而言之，在此所描述的系統和/或方法提供機器學習系統的訓練。在此所描 述的系統可以包括至少部分地基于由學習系統和費用函數產生的結構化數據的一 組估計的梯度?？梢允褂盟烙嫷奶荻榷皇琴M用函數來在系統訓練期間確定或修 改機器學習系統的參數。

為實現上述及相關成果，結合下列說明和附圖，在此描述所要求保護主題的 某些示例性方面。這些方面指示本主題可以實踐的各種方法，這些方法均被規定為 是在所要求保護主題的范圍之內。結合附圖一起考慮，從下面的詳細描述可以明顯 看出本發明的其他優點和新穎特征。

附圖簡述

圖1是用于依照在此公開主題的一個方面生成結構化數據的系統的例示。

圖2是依照在此公開主題的一個方面生成結構化數據的系統的例示。

圖3是依照在此公開主題的一個方面生成結構化數據的系統的例示。

圖4A是一組文檔的示例性分級的例示。

圖4B是一組文檔的示例性分級的例示。

圖4C是一組文檔的示例性分級的例示。

圖5是多層神經網絡的系統框圖。

圖6是單層神經網絡的系統框圖。

圖7是神經網絡單元位的系統框圖。

圖8是用于依照在此公開主題的一個方面的操作而準備學習系統的方法的例 示。

圖9例示用于依照在此公開主題的一個方面而用任意的費用函數來訓練學習 系統的方法。

圖10例示用于更新機器學習系統參數的方法。

圖11是例示適當的操作環境的示意性框圖。

圖12是示例計算環境的示意性框圖。

詳細描述