[發(fā)明專利]一種基于梯度提升樹的局部可解釋方法

在審

• 申請?zhí)枺?/td>: 202010580912.6
• 申請日: 2020-06-23
• 公開（公告）號: CN111753995A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設計）人: 仇鑫;李鑫;張瑞;徐宏剛
• 申請（專利權）人: 華東師范大學
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/04;G06N3/08
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

1.一種基于梯度提升樹的局部可解釋方法，其特征在于，該方法包括以下具體步驟：

步驟1：使用訓練數據集對初始復雜模型進行參數訓練，并提取出輸入特征；

步驟2：將訓練好的模型進行知識蒸餾得到輸入特征的軟標簽輸出；

步驟3：使用步驟1中得到的輸入特征和步驟2中得到的輸出軟標簽進行梯度提升樹模型的訓練，得到訓練好的梯度提升樹模型；

步驟4：從訓練好的梯度提升樹模型中提取出特征重要性，對特征重要性進行排序，選擇特征重要性較高的特征作為初始復雜模型的解釋。

2.根據權利要求1所述的基于梯度提升樹的局部可解釋方法，其特征在于，步驟1所述訓練數據集為自然語言數據集、圖像數據集及表格數據集；初始模型為基于注意力機制的長短期記憶網絡、卷積神經網絡及多層感知器；所述進行參數訓練：自然語言數據集使用基于注意力機制的長短期記憶網絡；圖像數據集使用卷積神經網絡；表格數據集使用多層感知器。

3.根據權利要求1所述的基于梯度提升樹的局部可解釋方法，其特征在于，步驟2所述進行知識蒸餾得到輸入特征的軟標簽輸出，其軟標簽輸出公式為：

其中，Label_soft是指軟標簽輸出，z_i是指初始模型最后的輸出，T是溫度參數，i是指預測為第i類，j指預測任務總共的預測類別。

4.根據權利要求1所述的基于梯度提升樹的局部可解釋方法，其特征在于，步驟3所述的得到訓練好的梯度提升樹模型包括M個弱判別器，每個弱判別器都是決策樹模型，其中M是梯度提升樹模型的一個參數。

5.根據權利要求1所述的基于梯度提升樹的局部可解釋方法，其特征在于，步驟4所述從訓練好的梯度提升樹模型中提取出特征重要性，對特征重要性進行排序，選擇特征重要性較高的特征作為初始復雜模型的解釋，具體包括：

特征重要性的計算公式為：

其中，表示特征P的重要性期望，特征P是由K個數據構成，P_k即為特征的第k個數據；Imp(P_k)即為特征的第k個數據的特征重要性，其中Imp(P_k)中每個權重γ_mh_m(x)即為訓練好的梯度提升樹模型中第m個弱判別器對整個模型的貢獻程度，定義為歸一化的第m個弱判別器在輸入為P_k時的不純度減少率，不純度減少率是指弱判別器在預測特征P_k時，節(jié)點分割中用到P_k的不純度減少量占總的不純度減少量的比值；不純度的計算是通過特征P_k在決策樹模型中經過的劃分節(jié)點n來計算，即Gain(P_k，n)＝i(n)-p_Li(n_L)-p_Ri(n_R)，其中i(n)表示節(jié)點分裂的不純度，而p_L和p_R分別代表樣本分裂后達到n_L和n_R的部分；訓練得到的梯度提升樹模型中，T_m表示第m個弱判別器，即第m個決策樹模型，并用T_m(x)表示輸入樣本為x時，其中樣本x是包含多個特征P，決策樹模型T_m在預測時對應的路徑；特征P的重要性期望越高表明該特征對于模型決策越重要；將得到的全部特征按照從大到小排序，以此作為從梯度提升樹模型中提取出的解釋，同時也作為初始復雜模型的解釋。