[發明專利]生成機器學習樣本的組合特征的方法及系統

在審

• 申請號: 201710595326.7
• 申請日: 2017-07-20
• 公開（公告）號: CN107392319A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 陳雨強;戴文淵;楊強;羅遠飛;涂威威
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06N99/00
• 分類號: G06N99/00;G06K9/62
• 代理公司: 北京銘碩知識產權代理有限公司11286
• 代理人: 曾世驍,張云珠

技術領域

本發明總體說來涉及人工智能領域，更具體地說，涉及一種生成機器學習樣本的組合特征的方法及系統。

背景技術

隨著海量數據的出現，人工智能技術得到了迅速發展，而為了從大量數據中挖掘出價值，需要基于數據記錄來產生適用于機器學習的樣本。

這里，每條數據記錄可被看做關于一個事件或對象的描述，對應于一個示例或樣例。在數據記錄中，包括反映事件或對象在某方面的表現或性質的各個事項，這些事項可稱為“屬性”。

如何將原始數據記錄的各個屬性轉化為機器學習樣本的特征，會對機器學習模型的效果帶來很大的影響。事實上，機器學習模型的預測效果與模型的選擇、可用的數據和特征的提取等有關。也就是說，一方面，可通過改進特征提取方式來提高模型預測效果，反之，如果特征提取不適當，則將導致預測效果的惡化。

然而，在確定特征提取方式的過程中，往往需要技術人員不僅掌握機器學習的知識，還需要對實際預測問題有深入的理解，而預測問題往往結合著不同行業的不同實踐經驗，導致很難達到滿意的效果。特別地，在將連續特征與其他特征進行組合時，一方面，難以從預測效果方面把握將哪些特征進行組合，另一方面，也難以從運算角度方面確定有效的組合方式。綜上所述，現有技術中難以將特征進行自動組合。

發明內容

本發明的示例性實施例旨在克服現有技術中難以對機器學習樣本的特征進行自動組合的缺陷。

根據本發明的示例性實施例，提供一種生成機器學習樣本的組合特征的方法，包括：(A)獲取數據記錄，其中，所述數據記錄包括多個屬性信息；(B)針對基于所述多個屬性信息產生的每一個連續特征，執行至少一種分箱運算，以得到由至少一個分箱特征組成的分箱組特征，其中，每種分箱運算對應一個分箱特征；以及(C)通過在分箱組特征和/或基于所述多個屬性信息產生的其他離散特征之間進行特征組合來生成機器學習樣本的組合特征。

可選地，在所述方法中，在步驟(B)之前，還包括：(D)從預定數量的分箱運算中選擇所述至少一種分箱運算，使得與選擇的分箱運算對應的分箱特征的重要性不低于與未被選擇的分箱運算對應的分箱特征的重要性。

可選地，在所述方法中，在步驟(D)中，針對與所述預定數量的分箱運算對應的分箱特征之中的每一個分箱特征，構建單特征機器學習模型，基于各個單特征機器學習模型的效果來確定各個分箱特征的重要性，并基于各個分箱特征的重要性來選擇所述至少一種分箱運算，其中，單特征機器學習模型對應所述每一個分箱特征。

可選地，在所述方法中，在步驟(D)中，針對與所述預定數量的分箱運算對應的分箱特征之中的每一個分箱特征，構建復合機器學習模型，基于各個復合機器學習模型的效果來確定各個分箱特征的重要性，并基于各個分箱特征的重要性來選擇所述至少一種分箱運算，其中，復合機器學習模型包括基于提升框架的基本子模型和附加子模型，其中，基本子模型對應基本特征子集，附加子模型對應所述每一個分箱特征。

可選地，在所述方法中，根據關于組合特征的搜索策略，按照迭代的方式來生成機器學習樣本的組合特征。

可選地，在所述方法中，針對每一輪迭代來執行步驟(D)以更新所述至少一種分箱運算，并且，每一輪迭代中生成的組合特征作為新的離散特征被加入基本特征子集。

可選地，在所述方法中，在步驟(C)中，分箱組特征和/或所述其他離散特征之間按照笛卡爾積進行特征組合。

可選地，在所述方法中，所述至少一種分箱運算分別對應于不同寬度的等寬分箱運算或不同深度的等深分箱運算。

可選地，在所述方法中，所述不同寬度或不同深度在數值上構成等比數列或等差數列。

可選地，在所述方法中，分箱特征指示連續特征按照對應的分箱運算被分到了哪個箱子。

可選地，在所述方法中，所述每一個連續特征由所述多個屬性信息之中的連續值屬性信息自身形成，或者，所述每一個連續特征通過對所述多個屬性信息之中的離散值屬性信息進行連續變換而形成。

可選地，在所述方法中，所述連續變換指示對所述離散值屬性信息的取值進行統計。

可選地，在所述方法中，通過在固定基本子模型的情況下分別訓練附加子模型來構建各個復合機器學習模型。