[發明專利]基于本地差分隱私的聯邦學習圖像分類方法

在審

• 申請號: 202111059634.0
• 申請日: 2021-09-10
• 公開（公告）號: CN113850272A
• 公開（公告）日: 2021-12-28
• 發明（設計）人: 朱笑巖;王亞杰;張琳杰;馬建峰
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;王品華

本發明提出一種基于本地差分隱私的聯邦學習圖像分類方法，實現步驟為：構建聯邦學習場景模型；本地客戶端獲取訓練樣本集和測試樣本集；構建基于卷積神經網絡的圖像分類模型；本地客戶端初始化參數；本地客戶端對基于卷積神經網絡的圖像分類模型的權重參數進行本地更新；本地客戶端對權重參數進行本地差分隱私擾動并上傳；中心服務器獲取權值參數全局更新后的基于卷積神經網絡的圖像分類模型并發送；中心服務器獲取訓練好的基于卷積神經網絡的圖像分類模型；本地客戶端獲取圖像分類結果。本發明通過對本地更新后的權重參數進行本地差分隱私擾動后，再全局更新，降低了計算存儲開銷，進而提高了訓練效率，且適用于不同隱私保護需求場景的圖像分類。

技術領域

本發明屬于圖像處理技術領域，涉及一種基于本地差分隱私的聯邦學習圖像分類方法，可用于醫學圖像分類。

背景技術

圖像分類是一種根據不同類別的目標各自在圖像信息中所反映的不同特征，把不同類別的圖像區分開來的圖像處理方法。現在主要的圖像分類方法是通過訓練卷積神經網絡模型實現的，其需要大量的訓練圖像數據，但用戶的圖像數據包含了大量用戶隱私信息，所以進行卷積神經網絡模型訓練時的海量圖像數據交互必然會帶來隱私安全問題。例如在醫療領域，由于醫療數據是非常敏感的，通常包含個人隱私信息，在多個醫療機構進行數據共享的過程中，就會導致病人的隱私泄露。

基于上述原因，需要一種隱私保護的方法來支持數據共享、模型訓練，谷歌于2016年提出了聯邦學習，其主要流程為：服務器隨機為全局模型參數賦值以進行初始化，并將模型分發給各個參與方，各參與方在本地利用自己的數據訓練模型，然后將模型更新的參數發送回服務器，服務器據此更新全局模型并再次分發給各參與方，然后再進行新一輪的迭代更新。聯邦學習作為一種隱私保護的分布式框架，可在各個參與方不共享本地數據，僅通過上傳模型參數更新實現模型構建，可以在一定程度上保證訓練數據的隱私和安全。然而，已有研究表明，攻擊者能通過上傳更新的模型參數反推出參與方的本地原始數據，例如，服務器有能力利用聚合結果去分析獲取參與方上傳數據的統計特征，仍會導致參與方的隱私泄漏，因而如何保護各參與方共享的模型參數是一個重要問題。

例如申請公布號為CN 112949741 A，名稱為“基于同態加密的卷積神經網絡圖像分類方法”的專利申請，公開了一種基于同態加密的卷積神經網絡圖像分類方法，該方法步驟主要包括：構建多方深度學習場景模型；參數服務器初始化加密參數；每個用戶生成自己的公鑰和私鑰；參數服務器生成自己的公鑰和私鑰；輔助服務器生成自己的公鑰和私鑰，以及聯合公鑰；每個用戶獲取訓練圖像樣本集和測試圖像樣本集；參數服務器構建卷積神經網絡模型，并初始化訓練參數；用戶P獲取梯度向量密文并上傳；參數服務器對梯度密文向量進行聚合；參數服務器和輔助服務器對聚合梯度向量密文進行同態重加密；用戶P獲取卷積神經網絡模型的訓練結果；每個用戶獲取圖像分類結果。由于卷積神經網絡模型訓練本身是一項計算密集型的任務,計算以及通信開銷大，即使沒有加密，也需要高吞吐量的計算單元，而同態加密帶來高昂的計算和通信開銷且需要額外的輔助服務器。

發明內容

本發明的目的在于針對上述現有技術的不足，提出了一種基于本地差分隱私的聯邦學習圖像分類方法，在保證訓練數據的隱私和安全以及分類精度的前提下，降低計算存儲開銷。

為實現上述目的，本發明采取的技術方案包括如下步驟：

(1)構建聯邦學習場景模型：

構建包括中心服務器和I個本地客戶端L＝{L_i|1≤i≤I}的聯邦學習場景模型，其中，I≥2，L_i表示第i個本地客戶端；

(2)本地客戶端獲取訓練樣本集和測試樣本集：

每個本地客戶端L_i獲取包含M個目標類別的N幅圖像，并對每幅圖像進行標注，然后將半數以上圖像及其標簽作為訓練樣本集，將剩余的圖像及其標簽作為測試樣本集其中，M≥2，N≥500；

(3)構建基于卷積神經網絡的圖像分類模型H：