[發(fā)明專利]一種特定指標(biāo)下的聯(lián)邦學(xué)習(xí)激勵方法

在審

• 申請?zhí)枺?/td>: 202210001509.2
• 申請日: 2022-01-04
• 公開（公告）號: CN114330587A
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計）人: 王麗霞;王大維;王南;高強(qiáng);劉曉強(qiáng);教傳銘;曲睿婷;胡非;張福良;張戈
• 申請（專利權(quán)）人: 國網(wǎng)遼寧省電力有限公司信息通信分公司;國家電網(wǎng)有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F17/16;G06N20/00
• 代理公司: 沈陽維特專利商標(biāo)事務(wù)所(普通合伙) 21229
• 代理人: 李娜

1.一種特定指標(biāo)下的聯(lián)邦學(xué)習(xí)激勵方法，適用于平臺服務(wù)器與多個數(shù)據(jù)孤島間協(xié)作，其特征在于：包括如下步驟，

S1：接受平臺服務(wù)器發(fā)布的平臺模型精度提升任務(wù)指標(biāo)；

S2：根據(jù)平臺服務(wù)器發(fā)布的模型精度提升目標(biāo)制定學(xué)習(xí)策略；

S3：基于上述學(xué)習(xí)策略訓(xùn)練獲取平臺服務(wù)器的總獎勵額；

S4：獲得平臺服務(wù)器基于對平臺模型精度值提升貢獻(xiàn)占比分配的獎勵額。

2.如權(quán)利要求1所述的一種特定指標(biāo)下的聯(lián)邦學(xué)習(xí)激勵方法，其特征在于：步驟S2中，數(shù)據(jù)孤島基于自身效用最大化制定學(xué)習(xí)策略，具體步驟如下，

1)建立數(shù)據(jù)孤島的效用模型：

U_i＝R_i-C_i，i∈(1，...，N)， (1)

設(shè)定C_i＝v_ia_i+μ_iq_i，Δθ_i＝σlog_κ(q_i a_i)；

其中，U_i為數(shù)據(jù)孤島i的效用，R_i表示數(shù)據(jù)孤島i獲得的獎勵，C_i表示數(shù)據(jù)孤島i的訓(xùn)練成本，Δθ_i表示數(shù)據(jù)孤島i對模型訓(xùn)練精度的提升值，a_i為數(shù)據(jù)數(shù)量，q_i為數(shù)據(jù)質(zhì)量，v_i為數(shù)據(jù)孤島i的數(shù)據(jù)計算、存儲成本綜合參數(shù)，μ_i為數(shù)據(jù)孤島i的數(shù)據(jù)處理成本參數(shù)，κ＞1為訓(xùn)練參數(shù)，σ為精度參數(shù)；

2)基于數(shù)據(jù)孤島效用最大化，針對上述效用模型建立目標(biāo)函數(shù)：

其中，數(shù)據(jù)孤島i的決策變量為其參與訓(xùn)練的數(shù)據(jù)集數(shù)量a_i及數(shù)據(jù)質(zhì)量q_i，即自身的效用最大化策略；基于第二階段就是數(shù)據(jù)孤島之間的納什均衡博弈：解決第二階段博弈，

q_i的一階導(dǎo)數(shù)：

a_i的一階導(dǎo)數(shù)：

計算海森矩陣：

求解方程組：

得到其參與訓(xùn)練的決策變量為：

3.如權(quán)利要求1所述的一種特定指標(biāo)下的聯(lián)邦學(xué)習(xí)激勵方法，其特征在于：平臺服務(wù)器基于自身效果最大化做出相應(yīng)的總獎勵額，具體步驟如下：

1)建立平臺服務(wù)器總獎勵信息計算模型：

U＝V-R， (3)

設(shè)定，

其中，U為平臺服務(wù)器所獲得的效用，V表示模型總估值增量設(shè)定為常數(shù)，R表示平臺服務(wù)器所付出的總激勵成本，γ為平臺決策的平均獎勵額，N為數(shù)據(jù)孤島的個數(shù)；

2)基于第一階段平臺服務(wù)器與數(shù)據(jù)孤島的博弈，使得平臺服務(wù)器效用最大化，建立其目標(biāo)函數(shù)為：

其中，平臺服務(wù)器的決策變量為平臺提供的平均獎勵額γ；

將上述代入平臺服務(wù)器目標(biāo)函數(shù)中，得

γ的一階導(dǎo)數(shù)：

令一階導(dǎo)數(shù)為零得：

通過求解可以得出：

平臺服務(wù)器方的最優(yōu)策略值為γ^*，即實(shí)際的總獎勵額。

4.如權(quán)利要求1所述的一種特定指標(biāo)下的兩階段聯(lián)邦學(xué)習(xí)激勵方法，其特征在于：

采用數(shù)據(jù)孤島決策變量數(shù)據(jù)集數(shù)量a_i及數(shù)據(jù)質(zhì)量q_i，通過Δθ_i＝σlog_κ(q_i a_i)計算特定孤島對平臺模型訓(xùn)練所提升的精度值與貢獻(xiàn)值占比；平臺服務(wù)器根據(jù)占比分配激勵：

根據(jù)(6)、(7)有：