[發明專利]一種基于神經網絡模型剪枝的個性化協作學習方法和裝置

在審

• 申請號: 202111453868.3
• 申請日: 2021-12-01
• 公開（公告）號: CN114418085A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 徐恪;劉泱;趙乙;朱敏
• 申請（專利權）人: 清華大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 單冠飛

本發明公開了一種基于神經網絡模型剪枝的個性化協作學習方法和裝置，其中，該方法包括：利用中心服務器初始化全局模型，并將全局模型下發至各邊緣設備；各邊緣設備接收到全局模型后，分別對全局模型進行訓練以得到本地模型，基于本地模型對模型參數的重要性進行評估，并生成參數掩碼矩陣；各邊緣設備通過參數掩碼矩陣，對參與協作訓練的模型進行剪枝，將剪枝后的模型作為學生網絡對本地模型進行知識蒸餾，并將剪枝后的模型上傳至中心服務器，以對未被剪去的參數進行聚合。本發明能夠保持模型對本地數據的適應能力，同時能夠增強模型的泛化能力，在參數聚合時能避免數據分布差異過大的模型相互干擾。

技術領域

本發明涉及深度學習(協作學習)領域，尤其涉及一種基于神經網絡模型剪枝的個性化協作學習方法和裝置。

背景技術

近些年來，隨著大數據時代的到來以及計算設備算力的大幅度提升，深度學習技術已經得到充分的發展與應用，比如在計算視覺、自然語言處理、自動駕駛和網絡空間安全等領域都有非常豐富的落地場景。以往深度學習訓練模型的方式需要將大量的數據匯集到數據中心，進行集中式的訓練。這種集中式的訓練方式帶來兩個問題。首先，從數以千萬記的邊緣設備上采集數據將會帶來龐大的上行帶寬消耗。以中國和美國為代表的許多國家，互聯網絡的上行帶寬遠小于下行帶寬，大規模的上傳數據很容易造成網絡擁塞，降低系統的運行效率；更令人擔憂的是，將邊緣設備上的數據傳輸到中心服務器可能泄露邊緣設備用戶的數據隱私，帶來巨大的安全隱患。

協作學習作為一種新型深度學習范式較好地解決了以上兩個問題。協作學習是以一個中心服務器(群)組織若干邊緣設備進行模型訓練。中心服務器將全局模型下發至各個邊緣設備。各邊緣設備使用各自的數據以及梯度下降算法在本地對模型參數進行更新，待完成參數更新后，再將模型的更新結果上傳至中心服務器。中心服務器對從各個邊緣設備收到的模型更新結果進行參數聚合，從而實現全局模型的訓練。在協作學習的過程中，用戶數據始終保留在設備本地，邊緣設備與中心服務器之間只傳輸模型參數的更新結果，極大程度地避免了數據隱私的泄露。但是協作學習依然面臨諸多棘手問題：其一，通信效率的問題依然沒有得到徹底解決。在協作學習過程中，需要在邊緣設備和中心服務器之間相互傳輸模型更新結果，如果模型參數量很大，將會消耗大量的網絡傳輸資源。其二，對于集中式的模型訓練方式，默認的前提假設為數據分布是獨立同分布的，并且這一假設在該訓練方式下也往往能夠成立。而在真實的分布式互聯網架構的場景下，各邊緣設備上的數據差異很大，數據分布不再滿足這一假設，這對于模型的訓練效果將產生很大的負面影響。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的目的在于設計一種通信高效的個性化協作學習方法，使之在非獨立同分布的數據環境下依然能夠取得很好的模型訓練效果，在各邊緣設備的數據分布差異很大的情況下，依然能夠訓練得到適應于各自數據的個性化模型，并進一步提升模型的預測準確度；通過生成掩碼矩陣對網絡模型進行剪枝，為進一步壓縮模型的傳輸規模奠定了基礎；相比于主流協作學習方法僅多引入了目標裁剪率這一超參數，使得本方法的調優十分容易，也使得本方法能夠快速、可靠地部署到各種現實的復雜環境當中。

本發明的另一個目的在于提出一種基于神經網絡模型剪枝的個性化協作學習裝置。

為達上述目的，本發明一方面提出了一種基于神經網絡模型剪枝的個性化協作學習方法，包括以下步驟：

S1，利用中心服務器初始化全局模型，并將全局模型下發至各邊緣設備；

S2，各邊緣設備接收到全局模型后，分別對全局模型進行訓練以得到本地模型，基于本地模型對模型參數的重要性進行評估，并生成參數掩碼矩陣；以及，

S3，各邊緣設備通過參數掩碼矩陣，對參與協作訓練的模型進行剪枝，將剪枝后的模型作為學生網絡對本地模型進行知識蒸餾，并將剪枝后的模型上傳至中心服務器，以對未被剪去的參數進行聚合。