[發(fā)明專利]一種基于特征選擇的模型訓練方法、裝置以及設(shè)備

在審

• 申請?zhí)枺?/td>: 202211275449.X
• 申請日: 2022-10-14
• 公開（公告）號: CN115841016A
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計）人: 陳忠德;吳睿澤;姜聰;李弘慧;董鑫;龍璨;何勇;程磊;莫林劍
• 申請（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06F119/02
• 代理公司: 北京君慧知識產(chǎn)權(quán)代理事務所(普通合伙) 11716
• 代理人: 肖鵬

1.一種基于特征選擇的模型訓練方法，應用于包含N個特征和M個任務的多任務模型中，N和M為大于1的自然數(shù)，所述方法包括：

獲取所述M個任務的共享特征Z，其中，所述Z的大小為N*M，每一行對應一個特征；

針對第k個任務，根據(jù)所述共享特征Z確定特征對于任務的權(quán)重向量α^k，根據(jù)所述共享特征Z和所述權(quán)重向量α^k確定第k個任務的第一預測結(jié)果其中，1≤k≤M；

針對第i個特征，將所述共享特征Z中的第i行替換為預設(shè)值，生成修改后的共享特征Z_-i，根據(jù)所述修改后的共享特征Z_-i確定第k個任務的第二預測結(jié)果其中，1≤i≤N；

根據(jù)所述第一預測結(jié)果和所述第二預測結(jié)果的差異確定第i個特征對于第k個任務的因果效應因子

確定所述因果效應因子和所述權(quán)重向量α^k的差異，根據(jù)所述差異生成損失值對所述多任務模型進行訓練。

2.如權(quán)利要求1所述的方法，其中，根據(jù)所述共享特征Z和所述權(quán)重向量α^k確定第k個任務的第一預測結(jié)果包括：

相乘所述共享特征Z和所述權(quán)重向量α^k生成輸出特征A^k，采用預設(shè)的激活函數(shù)激活所述輸出特征A^k生成第一預測結(jié)果

相應的，根據(jù)所述修改后的共享特征Z_-i確定第k個任務的第二預測結(jié)果包括：采用所述預設(shè)的激活函數(shù)激活所述修改后的共享特征Z_-i生成第二預測結(jié)果

3.如權(quán)利要求1所述的方法，其中，確定所述因果效應因子和所述權(quán)重向量α^k的差異，包括：

計算所述因果效應因子和所述權(quán)重向量α^k的距離，將所述距離確定為所述差異。

4.如權(quán)利要求3所述的方法，其中，根據(jù)所述差異生成損失值對所述多任務模型進行訓練，包括：

分別計算各任務因果效應因子和所述權(quán)重向量α^k的距離，得到N*M個距離值；

加和所述N*M個距離值作為特征影響損失值L_causal，根據(jù)所述特征影響損失值對所述多任務模型進行訓練。

5.如權(quán)利要求4所述的方法，其中，根據(jù)所述特征影響損失值對所述多任務模型進行訓練，包括：

獲取樣本標簽y^k，根據(jù)所述第一預測結(jié)果與樣本標簽y^k的差異確定樣本預測損失值L_pred；

融合所述樣本預測損失值L_pred和所述特征影響損失值對所述多任務模型進行訓練。

6.如權(quán)利要求4所述的方法，其中，根據(jù)所述特征影響損失值對所述多任務模型進行訓練，包括：

確定所述權(quán)重向量的正則損失值，融合所述特征影響損失值和所述正則損失值對所述多任務模型進行訓練。

7.如權(quán)利要求1所述的方法，其中，將所述共享特征Z中的第i行替換為預設(shè)值，包括：

將所述共享特征Z中的第i行替換為0；或者，

將所述共享特征Z中的第i行中的數(shù)值同步縮小。

8.如權(quán)利要求3中所述的方法，所述距離包括KL散度、JS散度、歐氏距離或者余弦相似度。