[發明專利]分布式深度神經網絡的分層聯邦學習方法及裝置

有效

• 申請號: 202111228043.1
• 申請日: 2021-10-21
• 公開（公告）號: CN113971090B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 包衛東;鐘正儀;王吉;朱曉敏;周文;張雄濤;周敬軒;閆輝;牛蒞原;鄒明胤;張亮;嚴春;嚴可逸
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/04;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

1.一種分布式深度神經網絡的分層聯邦學習方法，其特征是，所述分層聯邦學習方法應用于多層級分布式計算系統，所述多層級分布式計算系統包括云端、多個邊緣節點以及每個所述邊緣節點分支下的多個終端；所述分層聯邦學習方法包括：

多個所述終端利用本地數據分別進行模型訓練，并將訓練得到的前端模型傳輸至同一分支的所述邊緣節點；

所述邊緣節點對分支下的多個所述終端傳輸的所述前端模型進行聚合，得到聚合后的新的前端模型；

基于所述新的前端模型，所述邊緣節點協同所述終端對包含后端模型在內的整體模型進行訓練，并將得到的整體模型傳輸至所述云端；

所述云端對多個所述邊緣節點傳輸的所述整體模型進行聚合，迭代多次后得到全局統一的新的整體模型；

其中，所述基于所述新的前端模型，所述邊緣節點協同所述終端對包含所述后端模型在內的整體模型進行訓練，并將訓練得到的整體模型傳輸至云端之前，包括：如果所述前端模型的第一聚合次數達到第一預設聚合次數，所述終端判斷是否滿足提前退出條件，其中所述提前退出條件為在所述終端訓練過程中以交叉熵作為所述前端模型的損失函數，計算得到的第一損失小于預設閾值；如果滿足所述提前退出條件，則在第一出口輸出計算結果，所述計算結果為所述前端模型應用的輸出結果；如果不滿足所述提前退出條件，則將模型訓練的中間結果和所述前端模型傳輸至所述邊緣節點；

所述基于所述新的前端模型，所述邊緣節點協同所述終端對包含所述后端模型在內的整體模型進行訓練，并將訓練得到的整體模型傳輸至云端，包括：所述邊緣節點將所述中間結果作為后端模型的參數輸入計算所述后端模型的第二損失；應用所述新的前端模型對所述邊緣節點上的前端模型進行初始化；所述邊緣節點基于所述新的前端模型和所述后端模型對所述整體模型進行訓練，將所述整體模型的第三損失確定為所述第一損失和所述第二損失的加權求和，計算第二訓練次數；如果所述第二訓練次數為第二預設次數的整數倍，則將訓練得到的所述整體模型傳輸至云端。

2.如權利要求1所述的方法，其特征是，所述多個所述終端利用本地數據分別進行模型訓練，并將訓練得到的前端模型傳輸至同一分支的所述邊緣節點，包括：

多個所述終端利用本地數據分別進行模型訓練，計算第一訓練次數；

如果所述第一訓練次數為第一預設次數的整數倍，則將訓練得到的所述前端模型傳輸至同一分支的所述邊緣節點。

3.如權利要求2所述的方法，其特征是，所述邊緣節點對分支下的多個所述終端傳輸的所述前端模型進行聚合，得到聚合后的新的前端模型，包括：

所述邊緣節點采用加權平均的方式對分支下的多個所述終端傳輸的所述前端模型參數進行聚合，得到聚合后的所述新的前端模型，計算第一聚合次數；

如果所述第一聚合次數小于第一預設聚合次數，則將所述新的前端模型下發至分支下的多個所述終端。

4.如權利要求3所述的方法，其特征是，所述將所述新的前端模型下發至分支下的多個所述終端之后，包括：

所述終端應用本地數據對從所述邊緣節點下發的所述新的前端模型進行模型訓練，計算所述第一訓練次數；

如果所述第一訓練次數為所述第一預設次數的整數倍，則將當前訓練更新的前端模型上傳至所述邊緣節點以進行進一步的聚合。

5.如權利要求1所述的方法，其特征是，所述云端對多個所述邊緣節點傳輸的所述整體模型進行聚合，迭代多次后得到全局統一的新的整體模型，包括：

所述云端采用加權平均的方式對多個所述邊緣節點傳輸的所述整體模型進行聚合，得到全局統一的所述新的整體模型，并計算第二聚合次數，所述整體模型的參數包括前端模型參數、后端模型的參數；

如果所述第二聚合次數小于預設第二聚合次數，則將所述新的整體模型下發至多個所述邊緣節點；

如果所述第二聚合次數等于所述預設第二聚合次數，則得到最終的全局統一的所述整體模型。