[發(fā)明專利]一種縱向聯(lián)邦學(xué)習(xí)場景中高效的特征貢獻(xiàn)評(píng)估方法

在審

• 申請?zhí)枺?/td>: 202011465467.5
• 申請日: 2020-12-14
• 公開（公告）號(hào): CN112651170A
• 公開（公告）日: 2021-04-13
• 發(fā)明（設(shè)計(jì)）人: 張?zhí)m;李向陽;劉夢境
• 申請（專利權(quán)）人: 德清阿爾法創(chuàng)新研究院
• 主分類號(hào): G06F30/27
• 分類號(hào): G06F30/27;G06F111/08
• 代理公司: 杭州九洲專利事務(wù)所有限公司 33101
• 代理人: 陳琦;陳繼亮

1.一種縱向聯(lián)邦學(xué)習(xí)場景中高效的特征貢獻(xiàn)評(píng)估方法，其特征在于所述該方法包括三個(gè)模塊：1)運(yùn)算拆分；2)MC采樣近似；3)通信聚合。

2.根據(jù)權(quán)利要求1所述的所述縱向聯(lián)邦學(xué)習(xí)場景中高效的特征貢獻(xiàn)評(píng)估方法，其特征在于所述運(yùn)算拆分為根據(jù)SV，將特征i的貢獻(xiàn)用邊際增益期望的表示：E(i)＝E_x[f(x∪i)-f(i)]。基于SV的評(píng)估滿足公平性的需求。為了降低在線采樣計(jì)算的通信開銷，將f的運(yùn)算拆分成只與參與方A(x_A)有關(guān)和只與參與方B(x_B)有關(guān)的兩部分。該模塊分為兩步：

一、交換運(yùn)算順序。首先根據(jù)期望運(yùn)算的性質(zhì)，和的期望等于期望的和：E(i)＝E_x[f(x∪i)-f(x)]＝E_x[f(x∪i)]-E_x[f(x)].然后，對f進(jìn)行線性近似，得到交換運(yùn)算順序：

二、線性近似由于邏輯回歸模型f中包含非線性函數(shù)：sigmoid函數(shù)。對sigmoid函數(shù)在評(píng)估點(diǎn)x附近求導(dǎo)，作為泰勒近似的系數(shù)。當(dāng)x＝0時(shí)，其中z＝θ_Ax_A+θ_Bx_B.然后將A、B的特征x_A，x_B帶入展開式，得到模型近似結(jié)果和A，B雙方特征的關(guān)系：將模型中的非線性運(yùn)算用泰勒三階展開近似。在計(jì)算的期望時(shí)，對于展開項(xiàng)中只與單個(gè)參與方特征有關(guān)的項(xiàng)(例如)，直接由該參與方獨(dú)立計(jì)算該項(xiàng)的期望。對于與雙方特征都有關(guān)的項(xiàng)(例如)，在假設(shè)雙方特征獨(dú)立的情況下，交換期望運(yùn)算和項(xiàng)運(yùn)算的順序：拆分成兩個(gè)只與單個(gè)參與方特征相關(guān)的項(xiàng)，并由相應(yīng)的參與方獨(dú)立計(jì)算其期望。

3.根據(jù)權(quán)利要求1所述的所述縱向聯(lián)邦學(xué)習(xí)場景中高效的特征貢獻(xiàn)評(píng)估方法，其特征在于所述所述2)MC采樣近似為每個(gè)參與方獨(dú)立計(jì)算只與本地特征相關(guān)的項(xiàng)的期望(例如)。期望的計(jì)算采樣MC近似：隨機(jī)采樣x_A計(jì)算θ_Ax_A的采樣值，多次迭代計(jì)算均值，作為期望的近似值。針對參與方A，評(píng)估特征i時(shí)，在每一輪迭代中，對x_A所有特征進(jìn)行隨機(jī)排序。排在特征i之前的特征用真實(shí)值，之后的特征用數(shù)據(jù)集中的隨機(jī)采樣點(diǎn)的取值替代，構(gòu)造特征x′_A，計(jì)算相應(yīng)的θ_Ax′_A。不斷循環(huán)迭代過程，直到該項(xiàng)的均值收斂。

4.根據(jù)權(quán)利要求1所述的所述縱向聯(lián)邦學(xué)習(xí)場景中高效的特征貢獻(xiàn)評(píng)估方法，其特征在于所述3)通信聚合為雙方通過采樣近似得到本地項(xiàng)的期望后，通過一次通信，得到最終的邊際收益期望值，作為特征的貢獻(xiàn)評(píng)估結(jié)果。

同樣的方法計(jì)算E[x]，進(jìn)而得到E[i]＝E[x∪i]-E[x]。