[發明專利]一種基于在線聯邦學習的圖像分類方法

有效

• 申請號: 202011630474.6
• 申請日: 2020-12-30
• 公開（公告）號: CN112732960B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 郭澤華;王嘉鈺
• 申請（專利權）人: 北京理工大學
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06N20/20
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 代麗

1.一種基于在線聯邦學習的圖像分類方法，其特征在于，包括以下步驟：

步驟1、確定圖像樣本數據；

步驟2、預設工作節點批尺寸的上邊界和下邊界；服務器節點根據所述上邊界和下邊界計算得到全局下邊界，并以所述全局下邊界作為節點下邊界分別發送至工作節點；所述全局下邊界為所述工作節點的批尺寸的下邊界的求和平均值；

步驟3、所述工作節點根據接收到的服務器節點發送的數據確定本輪節點批尺寸、本輪節點批尺寸對應的上邊界和下邊界；

根據確定的所述本輪節點批尺寸、所述本輪節點批尺寸對應的上邊界、下邊界，選取相應數量的所述圖像樣本數據完成所述工作節點的局部模型的訓練，得到局部模型參數；所述局部模型參數包括模型梯度；所述工作節點將所述本輪節點批尺寸、局部模型參數及本輪剩余的所述圖像樣本數據的剩余數據量發送至所述服務器節點；

步驟4、所述服務器節點根據接收到的所述本輪節點批尺寸、局部模型參數及所述剩余數據量計算得到所述工作節點的下一次迭代的下輪批尺寸及下輪學習率；所述服務器節點更新全局模型，得到全局模型參數；所述服務器節點將所述下輪批尺寸及全局模型參數發送至所述工作節點；

步驟5、若當前迭代次數小于閾值，則執行步驟3；否則，所述基于在線聯邦學習的圖像分類模型訓練完畢，執行步驟6；

步驟6、將待分類圖像預處理后，輸入訓練得到的所述基于在線聯邦學習的圖像分類模型中，得到所述待分類圖像的類型。

2.根據權利要求1所述的方法，其特征在于，所述步驟2中的所述預設工作節點批尺寸的上邊界和下邊界的方式為根據經驗設定。

3.根據權利要求1所述的方法，其特征在于，所述步驟2中的所述預設工作節點批尺寸的上邊界和下邊界的過程，包括以下步驟：

所有的所述工作節點設置相同的單輪迭代周期時長；所述工作節點分別采用各自的所述圖像樣本數據統計各自的工作節點計算速度，所述工作節點計算速度與所述單輪迭代周期時長的乘積即為所述工作節點的數據處理量；所有工作節點的所述數據處理量的最大值即為所述批尺寸的上邊界；

所述工作節點預設多個不同大小的初始批尺寸，根據經驗設定學習率；針對每個所述初始批尺寸，選取相應數量的所述圖像樣本數據對所述工作節點進行單輪迭代周期的訓練；比較所有所述初始批尺寸的訓練結果，選擇訓練結果最佳的所述初始批尺寸的下邊界作為所述工作節點的批尺寸的下邊界；所述訓練結果最佳為損失函數值最低或模型精度最高。

4.根據權利要求1所述的方法，其特征在于，所述步驟1中的所述圖像樣本數據是由圖像數據經像素點數值的歸一化處理后得到的。

5.根據權利要求1所述的方法，其特征在于，所述步驟3中所述工作節點根據接收到的服務器節點發送的數據確定本輪節點批尺寸、本輪節點批尺寸對應的上邊界和下邊界，包括以下步驟：

若所述工作節點僅收到所述服務器節點發送的所述下邊界，則僅更新當前的下邊界，并以當前的批尺寸作為所述本輪節點批尺寸、當前上邊界作為本輪所采用的上邊界；

若所述工作節點收到所述服務器節點發送的所述下輪批尺寸、全局模型參數，若所述下輪批尺寸小于當前上邊界，則所述下輪批尺寸則作為所述本輪節點批尺寸；否則，所述當前上邊界則作為所述本輪節點批尺寸。

6.根據權利要求1所述的方法，其特征在于，所述步驟4中的所述服務器節點根據接收到的所述本輪節點批尺寸、局部模型參數及所述剩余數據量計算得到所述工作節點的下一次迭代的下輪批尺寸，包括以下步驟：

假設有K個工作節點，當前為第t-1個迭代周期，即為本輪，所述服務器節點將所有工作節點的所述剩余數據量n_t-1,k求和得到剩余數據量總和n_t-1；其中，k為工作節點的編號，且1≤k≤K；由所述剩余數據量總和n_t-1乘以選擇系數R％，得到第t個周期的全局批尺寸bz_t。

7.根據權利要求6所述的方法，其特征在于，下一次迭代的所有所述工作節點的總學習率lr_t與本輪總批尺寸成正比，如下式所示：

其中，lr_std為設定的學習率，bz_std的取值等于工作節點批尺寸下邊界，采用如下公式計算：

為第k個工作節點的本輪批尺寸。