[發明專利]基于知識聯邦的多端模型壓縮方法、任務預測方法、裝置及電子設備

在審

• 申請號: 202010818643.2
• 申請日: 2020-08-14
• 公開（公告）號: CN112052938A
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 韋達;孟丹;李宏宇;李曉林
• 申請（專利權）人: 同盾控股有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京卓唐知識產權代理有限公司 11541
• 代理人: 卜榮麗;李志剛

本發明公開了一種基于知識聯邦的多端模型壓縮方法、任務預測方法、裝置及電子設備，其中多端模型壓縮方法包括：將多個參與方上報的第N輪訓練后的本地模型進行聚合得到全局待壓縮模型，所述N大于或等于1；采用公共數據集基于預設性能指標對所述全局待壓縮模型進行壓縮，得到全局壓縮模型，所述預設性能指標用于表征全局壓縮模型在進行預測時的性能指標，所述公共數據集是通過對所述多個參與方的數據進行數據增強后得到的；將所述全局壓縮模型發送至所述多個參與方以進行N+1輪訓練。

技術領域

本發明涉及人工智能技術領域，具體涉及到一種多端模型壓縮方法、任務預測方法、裝置及電子設備。

背景技術

隨著人工智能(AI)走向成熟，人們見識到了人工智能(AI)在復雜應用場景下的巨大潛力。例如無人汽車駕駛、醫療保健、金融數據分析等等。人們希望探索人工智能更深層次的優勢，提升模型的魯棒性和準確性。當前對人工智能的興趣是由大數據所驅動的：2016年，AlphaGo總共使用了300,000個棋局作為訓練數據，以取得出色的成績。

有了AlphaGo的成功，人們自然希望，像AlphaGo這樣的大數據驅動型AI能夠在我們生活的各個方面早日實現。但是，現實世界中的情況有些令人失望：除少數行業外，大多數領域的數據有限或數據質量較差。當今的AI仍然面臨兩個主要挑戰。一是在大多數行業中，數據以孤立的孤島形式存在。另一個是加強數據隱私和安全性。如何合理地解決AI行業數據孤島和數據安全問題是AI研究人員和從業人員面臨的主要挑戰。

基于知識聯邦的多端聯合訓練的方式作為解決上述問題的一種解決方案，能夠保證隱私數據不進行交換的前提下，多個參與方之間合作建立全局模型，使得全局模型能夠得到充分的訓練。以知識聯邦中的模型層聯邦為例，模型層聯邦可以在實現多個參與方之間合作建立全局模型的前提下能夠加強數據隱私和安全性以及解決數據孤島問題。

然而，在對模型進行訓練時，由于多方參與訓練，需要頻繁的通信和加密數據交換，因而帶來了對于通信量的巨大挑戰。并且，隨著數據量以及參與方數量的增加，模型會越來越復雜，在模型訓練和模型預測的過程中所需的傳播數據會越來越多，通信壓力會變的越來越大，進而導致模型訓練的效率會大大下降。

因此，如何提高基于知識聯邦中模型訓練的效率成為亟待解決的技術問題。

發明內容

本發明實施例要解決的技術問題為如何提高基于知識聯邦的模型訓練效率。

根據第一方面，本發明實施例提供了一種基于知識聯邦的多端模型壓縮方法，包括：將多個參與方上報的第N輪訓練后的本地模型進行聚合得到全局待壓縮模型，N大于或等于1；采用公共數據集基于預設性能指標對全局待壓縮模型進行壓縮，得到全局壓縮模型，預設性能指標用于表征全局壓縮模型在進行預測時的性能指標，公共數據集是通過對多個參與方的數據進行數據增強后得到的；將全局壓縮模型發送至多個參與方以進行N+1輪訓練。

可選地，采用公共數據集基于預設準確率對全局待壓縮模型進行壓縮，得到全局壓縮模型包括：基于剪枝算法利用公共數據集對全局待壓縮模型進行剪枝，得到全局壓縮模型。

可選地，服務方基于剪枝算法利用公共數據集對壓縮模型進行剪枝操作，得到全局壓縮模型包括：利用公共數據集對全局待壓縮模型的當前全局參數進行更新得到全局待壓縮模型的更新梯度；利用更新梯度確定全局待壓縮模型的神經元的貢獻度，貢獻度用于表征神經元的激活程度；保留滿足預設條件的神經元作為所述全局壓縮模型，所述預設條件包括預設貢獻度閾值和/或神經元數量比例。

可選地，利用公共數據集對全局待壓縮模型的當前全局參數進行更新得到全局待壓縮模型的更新梯度包括：利用公共數據集對全局待壓縮模型的進行向前傳播和反向傳播，得到更新梯度。

可選地，利用全局更新參數確定全局待壓縮模型的神經元的貢獻度包括：根據更新梯度確定神經元的權重值梯度；基于權重值梯度計算神經元的貢獻度。