[發(fā)明專利]優(yōu)化梯度提升特征選擇

在審

• 申請?zhí)枺?/td>: 202011460925.6
• 申請日: 2020-12-11
• 公開（公告）號: CN113554178A
• 公開（公告）日: 2021-10-26
• 發(fā)明（設(shè)計）人: J.多恩休
• 申請（專利權(quán)）人: SAP歐洲公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06K9/62
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 邵亞麗

梯度提升決策樹相繼堆疊許多決策樹，決策樹在每一步都試圖修復(fù)殘留誤差。梯度提升決策樹產(chǎn)生的最終分值僅是通過將決策樹應(yīng)用于輸入向量而獲得的各個分值的總和。從訓(xùn)練數(shù)據(jù)中刪除對輸出影響最小的輸入值能夠減少梯度提升決策樹中的過度擬合。確定哪個輸入變量具有低預(yù)測價值的一種方法是確定梯度提升決策樹中的最新決策樹中首次使用的輸入變量。這種識別要刪除哪些低預(yù)測性的特征的方法不需要重新生成較早的樹以生成新的梯度提升決策樹。由于在較早的樹中未使用已刪除特征，因此這些樹早就忽略了已刪除特征。

技術(shù)領(lǐng)域

本文所公開的主題通常涉及用于機(jī)器學(xué)習(xí)的特征選擇。具體地，本公開致力于改善梯度提升特征選擇的系統(tǒng)和方法。

背景技術(shù)

梯度提升決策樹基于一個或多個輸入預(yù)測目標(biāo)變量的值。第一棵樹的每個節(jié)點基于單個輸入的值將輸入空間分為兩部分。在訓(xùn)練期間，第一棵樹被限制在最大深度以防止過度擬合。并非通過增加深度以提高第一棵樹的準(zhǔn)確性，而是創(chuàng)建第二棵樹，第二棵樹預(yù)測來自第一棵樹的預(yù)測值(predicted value)與變量的實際值之間的差異。重復(fù)此過程，直到達(dá)到終止條件為止。生成的樹的集合(ensemble)用于為訓(xùn)練數(shù)據(jù)集中未包括的未標(biāo)記數(shù)據(jù)預(yù)測目標(biāo)值。

附圖說明

在附圖的各圖中，通過示例而非限制的方式示出了一些實施例。

圖1是示出根據(jù)一些示例實施例的適合于梯度提升特征選擇的網(wǎng)絡(luò)環(huán)境的網(wǎng)絡(luò)圖；

圖2是根據(jù)一些示例實施例的適合于使用梯度提升特征選擇訓(xùn)練梯度提升決策樹的梯度提升決策樹訓(xùn)練服務(wù)器的框圖；

圖3是示出具有二維輸入變量空間的離散目標(biāo)值的分布的圖；

圖4是示出用于從圖3的二維輸入變量空間預(yù)測目標(biāo)值的決策樹的圖；

圖5是示出使用圖4的決策樹劃分的圖3的二維空間的圖；

圖6是示出在應(yīng)用圖4的決策樹之后圖3的二維輸入變量空間中的殘留誤差分布的圖；

圖7是示出根據(jù)一些示例實施例的適合于訓(xùn)練梯度提升決策樹的方法的操作的流程圖；

圖8是根據(jù)一些示例實施例的適用于梯度提升特征選擇的數(shù)據(jù)庫模式(schema)的框圖；

圖9是示出根據(jù)一些示例實施例的適合在訓(xùn)練梯度提升決策樹中使用梯度提升特征選擇的方法的操作的流程圖；

圖10是示出根據(jù)一些示例實施例的適合在訓(xùn)練梯度提升決策樹中使用梯度提升特征選擇的方法的操作的流程圖；

圖11是示出用于計算設(shè)備的軟件架構(gòu)的一個示例的框圖；

圖12是在其中可以執(zhí)行指令以使機(jī)器執(zhí)行本文所討論的方法中的任何一個或多個的以計算機(jī)系統(tǒng)形式示例的機(jī)器的框圖。

具體實施方式

示例方法和示例系統(tǒng)針對梯度提升特征選擇。梯度提升決策樹(GBDT)是一種能夠以出色的準(zhǔn)確性結(jié)果解決分類任務(wù)和回歸任務(wù)的非常受歡迎的技術(shù)。梯度提升決策樹依靠結(jié)合許多弱估計量(weak estimators)的集成方法(ensemble approach)。因此，可以通過將任務(wù)分解為較小的子問題然后再迭代解決從而解決分類任務(wù)或回歸任務(wù)。