[發(fā)明專利]利用嵌套機(jī)器學(xué)習(xí)模型來(lái)執(zhí)行預(yù)測(cè)的方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110772622.6
• 申請(qǐng)日: 2017-05-05
• 公開(kāi)（公告）號(hào): CN113610240A
• 公開(kāi)（公告）日: 2021-11-05
• 發(fā)明（設(shè)計(jì)）人: 陳雨強(qiáng);戴文淵;楊強(qiáng);郭夏瑋;涂威威
• 申請(qǐng)（專利權(quán)）人: 第四范式（北京）技術(shù)有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 王艷茹;蘇銀虹

1.一種利用嵌套機(jī)器學(xué)習(xí)模型來(lái)執(zhí)行預(yù)測(cè)的方法，其中，所述嵌套機(jī)器學(xué)習(xí)模型包括根據(jù)上下層嵌套框架訓(xùn)練出的上層模型和下層模型，所述方法包括：

(A)獲取預(yù)測(cè)數(shù)據(jù)記錄；

(B)基于預(yù)測(cè)數(shù)據(jù)記錄的屬性信息來(lái)生成與預(yù)測(cè)數(shù)據(jù)記錄對(duì)應(yīng)的預(yù)測(cè)樣本的多個(gè)特征子集；

(C)將預(yù)測(cè)樣本的多個(gè)特征子集分別提供給嵌套機(jī)器學(xué)習(xí)模型所包括的上層模型和下層模型，以得到嵌套機(jī)器學(xué)習(xí)模型針對(duì)預(yù)測(cè)樣本的預(yù)測(cè)結(jié)果。

2.如權(quán)利要求1所述的方法，其中，所述上層模型包括一個(gè)決策樹(shù)子模型，并且，所述下層模型包括多個(gè)線性子模型，

其中，每個(gè)線性子模型對(duì)應(yīng)于所述決策樹(shù)子模型的一個(gè)葉子節(jié)點(diǎn)。

3.如權(quán)利要求1或2所述的方法，其中，在步驟(B)中，基于預(yù)測(cè)數(shù)據(jù)記錄的屬性信息來(lái)生成預(yù)測(cè)樣本的特征，并根據(jù)特征的取值連續(xù)性和/或取值空間規(guī)模來(lái)生成預(yù)測(cè)樣本的上層特征子集和預(yù)測(cè)樣本的下層特征子集。

4.如權(quán)利要求3所述的方法，其中，上層特征子集涵蓋取值為連續(xù)值的全部特征，并且，下層特征子集涵蓋取值為非連續(xù)值的全部特征；

或者，上層特征子集涵蓋取值為連續(xù)值的全部特征連同至少一部分取值為非連續(xù)值的特征，并且，下層特征子集涵蓋其余取值為非連續(xù)值的特征。

5.如權(quán)利要求1或2所述的方法，其中，在步驟(B)中，基于預(yù)測(cè)數(shù)據(jù)記錄的屬性信息來(lái)生成預(yù)測(cè)樣本的特征，并根據(jù)特征的缺失性來(lái)生成預(yù)測(cè)樣本的上層特征子集和預(yù)測(cè)樣本的下層特征子集，其中，特征的缺失性指示該特征是否基于預(yù)測(cè)數(shù)據(jù)記錄相對(duì)于訓(xùn)練數(shù)據(jù)記錄的缺失屬性信息而生成。

6.如權(quán)利要求5所述的方法，其中，上層特征子集涵蓋全部非缺失特征，并且，下層特征子集涵蓋全部缺失特征和全部非缺失特征。

7.一種利用嵌套機(jī)器學(xué)習(xí)模型來(lái)執(zhí)行預(yù)測(cè)的系統(tǒng)，其中，所述嵌套機(jī)器學(xué)習(xí)模型包括根據(jù)上下層嵌套框架訓(xùn)練出的上層模型和下層模型，所述系統(tǒng)包括：

預(yù)測(cè)數(shù)據(jù)記錄獲取裝置，用于獲取預(yù)測(cè)數(shù)據(jù)記錄；

預(yù)測(cè)特征子集產(chǎn)生裝置，用于基于預(yù)測(cè)數(shù)據(jù)記錄的屬性信息來(lái)生成與預(yù)測(cè)數(shù)據(jù)記錄對(duì)應(yīng)的預(yù)測(cè)樣本的多個(gè)特征子集；

預(yù)測(cè)裝置，用于將預(yù)測(cè)樣本的多個(gè)特征子集分別提供給嵌套機(jī)器學(xué)習(xí)模型所包括的上層模型和下層模型，以得到嵌套機(jī)器學(xué)習(xí)模型針對(duì)預(yù)測(cè)樣本的預(yù)測(cè)結(jié)果。

8.如權(quán)利要求7所述的系統(tǒng)，其中，所述上層模型包括一個(gè)決策樹(shù)子模型，并且，所述下層模型包括多個(gè)線性子模型，

其中，每個(gè)線性子模型對(duì)應(yīng)于所述決策樹(shù)子模型的一個(gè)葉子節(jié)點(diǎn)。

9.一種訓(xùn)練嵌套機(jī)器學(xué)習(xí)模型的方法，其中，所述嵌套機(jī)器學(xué)習(xí)模型包括根據(jù)上下層嵌套框架訓(xùn)練出的上層模型和下層模型，所述方法包括：

(a)獲取訓(xùn)練數(shù)據(jù)記錄；

(b)基于訓(xùn)練數(shù)據(jù)記錄的屬性信息來(lái)生成與訓(xùn)練數(shù)據(jù)記錄對(duì)應(yīng)的訓(xùn)練樣本的多個(gè)特征子集；以及

(c)根據(jù)上下層嵌套框架來(lái)訓(xùn)練嵌套機(jī)器學(xué)習(xí)模型所包括的上層模型和下層模型，其中，上層模型和下層模型之中的每一個(gè)基于各自的特征子集來(lái)進(jìn)行訓(xùn)練。

10.一種訓(xùn)練嵌套機(jī)器學(xué)習(xí)模型的系統(tǒng)，其中，所述嵌套機(jī)器學(xué)習(xí)模型包括根據(jù)上下層嵌套框架訓(xùn)練出的上層模型和下層模型，所述系統(tǒng)包括：

訓(xùn)練數(shù)據(jù)記錄獲取裝置，用于獲取訓(xùn)練數(shù)據(jù)記錄；

訓(xùn)練特征子集產(chǎn)生裝置，用于基于訓(xùn)練數(shù)據(jù)記錄的屬性信息來(lái)生成與訓(xùn)練數(shù)據(jù)記錄對(duì)應(yīng)的訓(xùn)練樣本的多個(gè)特征子集；以及

訓(xùn)練裝置，用于根據(jù)上下層嵌套框架來(lái)訓(xùn)練嵌套機(jī)器學(xué)習(xí)模型所包括的上層模型和下層模型，其中，上層模型和下層模型之中的每一個(gè)基于各自的特征子集來(lái)進(jìn)行訓(xùn)練。