[發明專利]基于分層的排序機器學習模型

無效

• 申請號: 201380054136.4
• 申請日: 2013-08-20
• 公開（公告）號: CN104769574A
• 公開（公告）日: 2015-07-08
• 發明（設計）人: 托尼·拉蒙·馬丁內斯;曾信川;理查德·格倫·莫里斯
• 申請（專利權）人: 內部銷售公司
• 主分類號: G06F15/18
• 分類號: G06F15/18;G06F17/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 康建峰;韓雪梅

技術領域

本文中所討論的實施方式涉及基于分層的排序(HBS)機器學習模型。

背景技術

機器學習是一種形式的人工智能，其用于使計算機能夠基于經驗數據來逐漸形成行為。機器學習可以利用訓練示例以捕獲這些示例的未知的隱含的概率分布的感興趣的特征。訓練數據可以被視為示出了所觀測變量之間的關系的示例。機器學習研究的主要焦點在于：自動學習以識別復雜的模式并且基于數據做出智能的決策。

機器學習的一個主要困難在于下述事實：給定所有可能的輸入，所有可能的行為的集合太大，以致于不能被訓練數據的集合所覆蓋。因此，機器學習模型必須從訓練數據中進行歸納，以便能夠在新的案例中產生有用的輸出。

機器學習的一個示例為傳統的結構化預測(SP)。傳統的SP是一種針對依賴性輸出的單模型方法。利用SP，一旦指定輸入特征向量x，則可以完全地指定單個正確的輸出向量z。因此，給定輸入特征向量x，輸出向量z完全以輸入特征向量x為條件，并且輸出向量z(z₁,z₂，…)的不同輸出分量有條件地彼此獨立。因此，給定x的z₁的概率等于給定x和z₂的z₁的概率，或者p(z₁|x)＝p(z₁|x，z₂)。然而，傳統的SP不能處理不同輸出分量之間的相互依賴關系。另外，傳統的SP不能處理針對給定輸入具有多個正確的輸出決策的問題。

本文中要求保護的主題不限于解決任何缺點或者僅在例如上述那些的環境中操作的實施方式。而是，該背景僅被提供用于示出其中可以實踐本文中所描述的一些實施方式的一個示例技術。

發明內容

總體上，本文中所描述的示例實施方式涉及采用基于分層的排序(HBS)機器學習模型來預測多輸出依賴性(MOD)輸出決策的多個相互依賴的輸出分量的方法。本文中所公開的示例方法可以用于解決MOD問題。

在一個示例實施方式中，一種方法包括：采用機器學習模型來預測MOD輸出決策的多個相互依賴的輸出分量。

在另一示例實施方式中，一種方法包括：采用機器學習模型來預測多輸出依賴性(MOD)輸出決策的多個相互依賴的不同類型的輸出分量。在該示例中，所述采用包括：使用輸入來預測所述輸出分量中的第一輸出分量；以及使用與在預測所述輸出分量中的所述第一輸出分量時所使用的相同的輸入并且使用所述輸出分量中的所述第一輸出分量來預測所述輸出分量中的第二輸出分量。在該示例中，所述方法可以產生多個正確的MOD輸出決策，并且所述多個正確的MOD輸出決策中的每一個可以具有基本上相似的輸出值。

在另一示例實施方式中，一種采用HBS機器學習模型來預測MOD輸出決策的多個相互依賴的輸出分量的方法包括：確定針對MOD輸出決策的多個相互依賴的輸出分量的次序。所述方法還可以包括：按照所選擇的次序來順序地訓練針對每個分量的分類器，以基于輸入并且基于任何之前的所預測的分量來預測所述分量。

在另一示例實施方式中，一種采用HBS機器學習模型來預測MOD輸出決策的多個相互依賴的輸出分量的方法包括：選擇針對MOD輸出決策的多個相互依賴的不同類型的輸出分量的次序；以及按照所選擇的次序來順序地訓練針對所述輸出分量中的每個輸出分量的分類器，以使用與在訓練一個或更多個其他分類器中的所有分類器時所使用的相同的輸入并且使用任何之前的所預測的輸出分量來預測所述輸出分量。在該示例中，每個分類器可以包括多層感知(MLP)神經網絡、另外的多層神經網絡、決策樹或者支持向量機。