[發明專利]基于預測精度的跨域異質聯邦學習架構運行效率評測方法

有效

• 申請號: 202211238940.5
• 申請日: 2022-10-11
• 公開（公告）號: CN115526313B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 楊潔;李潔;郭亮;趙海濤;施穎;劉淼
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06N3/098
• 分類號: G06N3/098;G06N3/0464
• 代理公司: 無錫市才標專利代理事務所(普通合伙) 32323
• 代理人: 朱桂花

本發明提供了基于預測精度的跨域異質聯邦學習架構運行效率評測方法，涉及聯邦學習、遷移學習、深度領域，旨在解決研究跨域異質聯邦學習架構過程中無法評測架構運行效率的問題，采用的技術方案是，其以評測跨域異質聯邦學習架構的運行效率為目標，首先從數據跨域和客戶端異質這兩個主要概念解釋跨域異質的定義；接著準備跨域異質聯邦數據集，劃分數據集來生成聯邦學習中的Non?IID數據，并選擇基本測試模型；然后設定聯邦學習方法，詳細描述聯邦學習的主要步驟；最后重復運行步驟三固定輪次后，統計多個基本測試模型的全局權重在測試數據集上的性能評測指標，加權后作為不同跨域異質聯邦學習架構運行效率的評價指標。

技術領域

本發明涉及聯邦學習、遷移學習、深度領域，具體為基于預測精度的跨域異質聯邦學習架構運行效率評測方法。

背景技術

聯邦學習系統允許用戶形成一個聯合體訓練得到一個集中模型，而用戶數據則安全地存儲在本地，這提高了在分布式網絡上進行機器學習的數據隱私性和效率。跨域異質聯邦學習保護隱私的前提下，利用遷移學習克服數據或標簽不足的問題，以實現在任何數據分布、任何實體上均可以進行協同建模、以學習全局模型。

跨域異質聯邦學習利用不同參與方收集的標注數據的標簽進行訓練。在實際應用中，需要對跨域異質聯邦學習架構進行測評，而運行效率是一種可以直觀反映算法性能的評價指標，所以針對跨域異質聯邦學習架構運行效率的測評方法對算法評估十分有益。

發明內容

鑒于現有技術中所存在的問題，本發明公開了基于預測精度的跨域異質聯邦學習架構運行效率評測方法，采用的技術方案是，包括以下步驟：

步驟1：建立跨域異質；

步驟2：準備跨域異質聯邦數據集，劃分數據集來生成聯邦學習中的Non-IID數據，并選擇基本測試模型；

步驟3：設定聯邦學習方法；

步驟4：重復運行步驟3固定輪次后，統計多個基本測試模型的全局權重在測試數據集上的性能評測指標，加權后作為不同跨域異質聯邦學習架構運行效率的評價指標，基于評測跨域異質聯邦學習架構的運行效率為目標，解釋跨域異質的定義，準備跨域異質聯邦數據集，并選擇基本測試模型，設定聯邦學習方法，詳細描述聯邦學習的主要步驟，并通過重復運行步驟固定輪次后，統計多個基本測試模型的全局權重在測試數據集上的性能評測指標，加權后作為不同跨域異質聯邦學習架構運行效率的評價指標，不僅解決了研究跨域異質聯邦學習架構過程中無法評測架構運行效率的問題，同樣適用于多種以卷積神經網絡模型作為聯邦學習的基本模型評測。

作為本發明的一種優選技術方案，所述跨域異質包括數據跨域和客戶端異質，所述數據跨域包括各個客戶端設備中本地數據；所述客戶端異質包括聯邦學習環境中的客戶端通常是來自現實世界的終端設備。

作為本發明的一種優選技術方案，所述步驟2中準備跨域異質聯邦數據集，劃分數據集來生成聯邦學習中的Non-IID數據，并選擇基本測試模型，包括以下步驟：

步驟2-1，采用跨域數據集Office-Home數據集作為評測數據集，將office-Home數據集中的每個標簽根據狄利克雷分布給每個客戶端分配一定比例的該標簽樣本，生成聯邦學習中的Non-IID數據并發送給N個客戶端；

步驟2-2，選取待測試模型，包括MobileNet、AlexNet、ResNet、VGG。

作為本發明的一種優選技術方案，所述步驟3中設定聯邦學習方法，包括以下步驟：

步驟3-1，用戶選擇；

步驟3-2，全局權重廣播；

步驟3-3，本地訓練；

步驟3-4，梯度聚合；

步驟3-5，全局權重更新。

作為本發明的一種優選技術方案，所述步驟4中重復運行步驟3M輪次后，統計測試模型的全局權重在測試數據集上的指標，作為跨域異質聯邦學習的通信效率的評價指標，包括以下步驟：