[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)模型剪枝的個(gè)性化協(xié)作學(xué)習(xí)方法和裝置

在審

• 申請?zhí)枺?/td>: 202111453868.3
• 申請日: 2021-12-01
• 公開（公告）號: CN114418085A
• 公開（公告）日: 2022-04-29
• 發(fā)明（設(shè)計(jì)）人: 徐恪;劉泱;趙乙;朱敏
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 單冠飛

1.一種基于神經(jīng)網(wǎng)絡(luò)模型剪枝的個(gè)性化協(xié)作學(xué)習(xí)方法，其特征在于，包括以下步驟：

S1，利用中心服務(wù)器初始化全局模型，并將所述全局模型下發(fā)至各邊緣設(shè)備；

S2，所述各邊緣設(shè)備接收到所述全局模型后，分別對所述全局模型進(jìn)行訓(xùn)練以得到本地模型，基于所述本地模型對模型參數(shù)的重要性進(jìn)行評估，并生成參數(shù)掩碼矩陣；以及，

S3，所述各邊緣設(shè)備通過所述參數(shù)掩碼矩陣，對參與協(xié)作訓(xùn)練的模型進(jìn)行剪枝，將剪枝后的模型作為學(xué)生網(wǎng)絡(luò)對所述本地模型進(jìn)行知識蒸餾，并將所述剪枝后的模型上傳至所述中心服務(wù)器，以對未被剪去的參數(shù)進(jìn)行聚合。

2.根據(jù)權(quán)利要求1所述的基于神經(jīng)網(wǎng)絡(luò)模型剪枝的個(gè)性化協(xié)作學(xué)習(xí)方法，其特征在于，所述S2，包括：

S21，利用邊緣設(shè)備C_k基于全局模型使用C_k本地?cái)?shù)據(jù)進(jìn)行訓(xùn)練，至收斂時(shí)停止，得到模型ω′_k；

S22，基于所述模型ω′_k對參數(shù)的重要性進(jìn)行評估，得到參數(shù)w_ij的重要性權(quán)值Ω_ij；

S23，基于所述重要性權(quán)值Ω_ij得到重要性權(quán)值矩陣Ω_k，根據(jù)所述重要性權(quán)值矩陣Ω_k生成參數(shù)掩碼矩陣m_k。

3.根據(jù)權(quán)利要求2所述的基于神經(jīng)網(wǎng)絡(luò)模型剪枝的個(gè)性化協(xié)作學(xué)習(xí)方法，其特征在于，所述重要性權(quán)值Ω_ij，是根據(jù)如下等式計(jì)算得到：

其中，N_dp是評估模型參數(shù)重要性的過程中所使用的數(shù)據(jù)樣例的數(shù)量，g_ij(x_d)是參數(shù)w_ij對于數(shù)據(jù)樣例x_d的更新梯度；

所述更新梯度g_ij(x_d)，是根據(jù)如下等式計(jì)算得到：

其中，F(xiàn)(x_d；w)為模型w在數(shù)據(jù)樣例x_d上的輸出，為L2范數(shù)。

4.根據(jù)權(quán)利要求2所述的基于神經(jīng)網(wǎng)絡(luò)模型剪枝的個(gè)性化協(xié)作學(xué)習(xí)方法，其特征在于，所述S23，包括：

根據(jù)目標(biāo)裁剪率p，對于每層神經(jīng)網(wǎng)絡(luò)，對重要性權(quán)值矩陣的元素按照絕對值大小進(jìn)行排序，裁剪絕對值最小的p比例的元素對應(yīng)的權(quán)重，則掩碼矩陣m_k對應(yīng)位置的元素值為0，未被裁剪的權(quán)重的對應(yīng)位置的元素值為1，以得到所述參數(shù)掩碼矩陣m_k。

5.根據(jù)權(quán)利要求1所述的基于神經(jīng)網(wǎng)絡(luò)模型剪枝的個(gè)性化協(xié)作學(xué)習(xí)方法，其特征在于，所述S3，包括：

S31，對于N個(gè)邊緣設(shè)備以及隨機(jī)采樣率K，隨機(jī)采樣N*K個(gè)邊緣設(shè)備參與當(dāng)前輪協(xié)作訓(xùn)練，則參與第r輪協(xié)作訓(xùn)練的邊緣設(shè)備數(shù)量為s＝max(N*K，1)，邊緣設(shè)備構(gòu)成集合S_r＝{C₁，...，C_s}；

S32，中心服務(wù)器將全局模型下發(fā)至所述S31中選出的邊緣設(shè)備S_r，各邊緣設(shè)備C_k∈S_r接收到全局模型后，對所述全局模型使用參數(shù)掩碼矩陣m_k進(jìn)行裁剪，為

S33，利用所述邊緣設(shè)備C_k對所述模型進(jìn)行訓(xùn)練，并將訓(xùn)練完成后的模型上傳至所述中心服務(wù)器；

S34：所述中心服務(wù)器收集到所述S_r集合中所有邊緣設(shè)備的模型，或超過預(yù)定的等待時(shí)間，將對已收集到的模型進(jìn)行參數(shù)聚合。

6.根據(jù)權(quán)利要求5所述的基于神經(jīng)網(wǎng)絡(luò)模型剪枝的個(gè)性化協(xié)作學(xué)習(xí)方法，其特征在于，所述S33，包括：

基于所述邊緣設(shè)備C_k對所述模型進(jìn)行訓(xùn)練，為如下等式：

其中，η表示學(xué)習(xí)率，L(·)為進(jìn)行優(yōu)化的目標(biāo)函數(shù)，⊙表示按元素對應(yīng)位置進(jìn)行的乘法。