[發明專利]基于知識聯邦的多端模型壓縮方法、任務預測方法、裝置及電子設備

在審

• 申請號: 202010818643.2
• 申請日: 2020-08-14
• 公開（公告）號: CN112052938A
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 韋達;孟丹;李宏宇;李曉林
• 申請（專利權）人: 同盾控股有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京卓唐知識產權代理有限公司 11541
• 代理人: 卜榮麗;李志剛

1.一種基于知識聯邦的多端模型壓縮方法，其特征在于，包括：

將多個參與方上報的第N輪訓練后的本地模型進行聚合得到全局待壓縮模型，所述N大于或等于1；

采用公共數據集基于預設性能指標對所述全局待壓縮模型進行壓縮，得到全局壓縮模型，所述預設性能指標用于表征全局壓縮模型在進行預測時的性能指標，所述公共數據集是通過對所述多個參與方的數據進行數據增強后得到的；

將所述全局壓縮模型發送至所述多個參與方以進行N+1輪訓練。

2.如權利要求1所述的多端模型壓縮方法，其特征在于，所述采用公共數據集基于預設準確率對所述全局待壓縮模型進行壓縮，得到全局壓縮模型包括：

基于剪枝算法利用公共數據集對所述全局壓縮模型進行剪枝，得到所述全局壓縮模型。

3.如權利要求1所述的多端模型壓縮方法，其特征在于，所述服務方基于剪枝算法利用公共數據集對所述壓縮模型進行剪枝操作，得到所述全局壓縮模型包括：

利用所述公共數據集對所述全局待壓縮模型的當前全局參數進行更新得到所述全局待壓縮模型的更新梯度；

利用所述更新梯度確定所述全局待壓縮模型的神經元的貢獻度，所述貢獻度用于表征神經元的激活程度；

保留滿足預設條件的神經元作為所述全局壓縮模型，所述預設條件包括預設貢獻度閾值和/或神經元數量比例。

4.如權利要求3所述的多端模型壓縮方法，其特征在于，所述利用所述公共數據集對所述全局待壓縮模型的當前全局參數進行更新得到所述全局待壓縮模型的更新梯度包括：

利用所述公共數據集對所述全局待壓縮模型的進行向前傳播和反向傳播，得到所述更新梯度。

5.如權利要求3或4所述的多端模型壓縮方法，其特征在于，利用所述全局更新參數確定所述全局待壓縮模型的神經元的貢獻度包括：

根據所述更新梯度確定神經元的權重值梯度；

基于所述權重值梯度計算神經元的貢獻度。

6.如權利要求1所述的多端模型壓縮方法，其特征在于，在所述采用公共數據集基于預設準確率對所述全局待壓縮模型進行壓縮和所述將所述全局壓縮模型發送至所述多個參與方以進行N+1輪訓練之間包括：

利用所述公共數據集對所述全局壓縮模型進行測試，得到所述全局壓縮模型的第一性能指標；

計算所述第一性能指標相對于所述全局待壓縮模型的第二性能指標的性能衰減值，所述第二性能指標為利用所述公共數據集對所述全局待壓縮模型進行測試得到；

當所述性能衰減值大于預設衰減值時，重復所述采用公共數據集基于預設準確率對所述全局待壓縮模型進行壓縮的步驟，直至所述性能衰減值小于或等于所述預設衰減值，進入步驟將所述全局壓縮模型發送至所述多個參與方以進行N+1輪訓練。

7.如權利要求1所述的多端模型壓縮方法，其特征在于，所述將多個參與方上報的第N輪訓練后的本地模型進行聚合得到全局待壓縮模型包括：

對參與方上報的本地模型和本地模型參數進行聚合，得到全局模型和全局模型參數；

向參與方下分發聚合后全局模型和全局模型參數，完成一輪訓練；

判斷訓練次數是否達到N次；

當所述訓練次數達到N次，將完成第N輪訓練后的全局模型作為全局待壓縮模型。

8.一種任務預測方法，其特征在于，包括：

獲取待預測任務數據；

將所述待預測任務數據輸入至知識聯邦的模型中得到預測結果，其中所述知識聯邦的模型采用所述權利要求1-7任意一項多端模型壓縮方法得到。