[發(fā)明專利]一種數(shù)據(jù)評估方法、裝置、終端設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201810309805.2
• 申請日: 2018-04-09
• 公開（公告）號: CN108733631A
• 公開（公告）日: 2018-11-02
• 發(fā)明（設(shè)計）人: 黃嚴漢;曾凡剛
• 申請（專利權(quán)）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F17/18
• 分類號: G06F17/18
• 代理公司: 深圳眾鼎專利商標(biāo)代理事務(wù)所(普通合伙) 44325
• 代理人: 周燕君

1.一種數(shù)據(jù)評估方法，其特征在于，所述數(shù)據(jù)評估方法包括：

對樣本數(shù)據(jù)集中的樣本變量進行預(yù)處理，得到按照特征值大小排序的名義變量；

對所述名義變量進行獨熱編碼，將所述名義變量轉(zhuǎn)化為數(shù)字化變量；

對包含所述數(shù)字化變量的所述樣本數(shù)據(jù)集應(yīng)用梯度提升決策樹算法，生成包含n棵決策樹的決策樹模型；

將所述決策樹模型中每棵決策樹的路徑包含的特征作為自變量，基于二分類邏輯回歸模型，進行預(yù)設(shè)事件的結(jié)果預(yù)測。

2.如權(quán)利要求1所述的數(shù)據(jù)評估方法，其特征在于，所述對所述名義變量進行獨熱編碼，將所述名義變量轉(zhuǎn)化為數(shù)字化變量，包括：

針對所述名義變量A_i＝[A_i1,A_i2,...,A_ik]，確定A_i的取值范圍為k個取值，其中，A_ij為名義變量A_i的特征值，k為正整數(shù)；

分別對特征值A(chǔ)_i1,A_i2,...,A_ik進行編碼，得到特征值A(chǔ)_ij對應(yīng)的基礎(chǔ)數(shù)字編碼為a_ij＝a_i1a_i2a_i3...a_ij...a_ik，其中，a_ij為A_ij對應(yīng)的基礎(chǔ)數(shù)字編碼，a_ij＝1，a_im＝0，m∈[1,j-1]∪[j+1,k]，i∈[1,n]，j∈[1,k]，k為正整數(shù)；

將所述名義變量的特征值轉(zhuǎn)化為該特征值對應(yīng)的基礎(chǔ)數(shù)字編碼，得到所述數(shù)字化變量。

3.如權(quán)利要求1所述的數(shù)據(jù)評估方法，其特征在于，所述對包含所述數(shù)字化變量的所述樣本數(shù)據(jù)集應(yīng)用梯度提升決策樹算法，生成包含n棵決策樹的決策樹模型，包括：

基于Spark分布式計算框架，對所述樣本數(shù)據(jù)集中的數(shù)字化樣本采用分類回歸樹算法，生成原始決策樹；

將所述原始決策樹放入決策樹模型中，并將所述原始決策樹作為當(dāng)前決策樹；

基于所述樣本數(shù)據(jù)集，計算所述當(dāng)前決策樹的殘差向量；

依據(jù)所述殘差向量擬合新的決策樹，并將該新的決策樹放入所述決策樹模型中；

若所述決策樹模型中決策樹的總數(shù)低于預(yù)設(shè)閾值，則將所述新的決策樹作為所述當(dāng)前決策樹，返回基于所述樣本數(shù)據(jù)集，計算所述當(dāng)前決策樹的殘差向量的步驟繼續(xù)執(zhí)行；

若所述決策樹模型中決策樹的總數(shù)達到預(yù)設(shè)閾值，則停止擬合新的決策樹。

4.如權(quán)利要求3所述的數(shù)據(jù)評估方法，其特征在于，所述基于所述樣本數(shù)據(jù)集，計算所述當(dāng)前決策樹的殘差向量，包括：

針對每個所述數(shù)字化樣本x，按照如下公式計算所述數(shù)字化樣本x在第k個分類特征上的概率p_k(x)的對數(shù)損失函數(shù)：

其中，F(xiàn)_k(x)為所述數(shù)字化樣本x在所述第k個分類特征上的估計值，k∈[1,K]，K為預(yù)設(shè)的所述分類特征的個數(shù)，y_k為所述數(shù)字化樣本x在所述第k個分類特征上的分類標(biāo)識，當(dāng)所述數(shù)字化樣本x屬于所述第k個分類特征時，y_k＝1，否則y_k＝0；

對所述對數(shù)損失函數(shù)進行一階求導(dǎo)，得到所述對數(shù)損失函數(shù)的負梯度，將所述負梯度作為當(dāng)前決策樹的殘差向量。

5.如權(quán)利要求1所述的數(shù)據(jù)評估方法，其特征在于，所述將決策樹模型中每棵決策樹的路徑包含的特征作為自變量，基于二分類邏輯回歸模型，進行預(yù)設(shè)事件的結(jié)果預(yù)測，包括：

將所述決策樹模型中的每棵決策樹的路徑包含的特征作為自變量，輸入到所述二分類邏輯回歸模型中，計算所述自變量的發(fā)生概率；

將所述發(fā)生概率與所述預(yù)設(shè)事件的概率閾值進行比較，若所述發(fā)生概率大于或等于所述概率閾值，則確認所述預(yù)設(shè)事件的預(yù)測結(jié)果為所述預(yù)設(shè)事件成立，若所述發(fā)生概率小于所述概率閾值，則確認所述預(yù)設(shè)事件的預(yù)測結(jié)果為所述預(yù)設(shè)事件不成立。