[發明專利]一種基于強化學習的自適應多信道分布式深度學習方法

在審

• 申請號: 202210322064.8
• 申請日: 2022-03-29
• 公開（公告）號: CN114924868A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 杜海舟;馮曉杰
• 申請（專利權）人: 上海電力大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/08
• 代理公司: 南京禹為知識產權代理事務所(特殊普通合伙) 32272
• 代理人: 馬建軍

本發明公開了一種基于強化學習的自適應多信道分布式深度學習方法，稱為分層梯度壓縮(LGC)，包括如下步驟，建立基于強化學習的自適應多信道分布式深度學習框架；框架內部每個設備計算局部梯度；框架內部的壓縮器壓縮梯度；通過多個通道將壓縮梯度的編碼層發送到邊緣服務器；服務器接收所有客戶端的梯度數據并進行結果計算，而后發送至框架內所有設備；每個設備使用更新后結果數據更新本地模型，利用所提出的基于學習的控制算法評估了LGC的性能，結果表明，與基準方法相比，使用此算法，LGC顯著減少了訓練時間，提高了資源利用率，同時實現了相似的準確性。

技術領域

本發明涉及分布式深度學習的技術領域，尤其涉及一種基于強化學習的自 適應多信道分布式深度學習方法。

背景技術

近年來，研究人員和工程師已經將深度學習技術應用到包括計算機視覺、 自然語言處理、語音識別等在內的諸多領域,并取得了廣泛的成功。對于移動設 備數據通常以孤島的形式存在，收集數據進行集中訓練會導致嚴重的隱私問 題，甚至可能被法規禁止。

跨移動設備的分布式深度學習已成為一種有效的解決方案，它可以用于分 析和處理移動邊緣計算(MEC)中的數據驅動任務(例如，自動駕駛，虛擬現 實，圖像分類等)的分布式數據。通過在邊緣設備(例如，手機和平板電腦) 上執行訓練任務并在邊緣服務器上聚合學習的參數，跨設備分布式深度學習顯 著減少了應用程序的網絡帶寬使用，并保護了邊緣設備的數據隱私。

然而，要在邊緣網絡中實際部署分布式深度學習仍然面臨一些困難。1)動 態邊緣網絡中，客戶端和服務器之間的通信可能非常不可用、緩慢且成本高昂。 2)MEC系統中的資源(例如，帶寬和電池壽命)通常會受到限制。現代邊 緣設備通常可以通過多個通信通道(例如，4G，LTE和5G)連接到邊緣服務 器，從而緩解這些問題。但是，擁有一個邊緣設備，用于沿多個通道以一個固 定的方式將本地模型的副本發送到服務器是多余的、耗時的，并且會浪費資源 (例如，帶寬、電池壽命和貨幣成本)。

已經提出了一些開創性的工作來管理系統資源，以實現邊緣網絡中的高效 分布式深度學習。然而，這些研究的重點是減少資源消耗，提高資源利用率和 訓練效率。在最近的工作中提出的一個有希望的解決方案是將梯度壓縮策略整 合到分布式深度學習算法中，這可以大大降低通信成本，而對學習成果幾乎沒 有影響。但是，這些壓縮技術沒有調整到底層的通信通道，并且可能無法充分 利用通道資源。

發明內容

本部分的目的在于概述本發明的實施例的一些方面以及簡要介紹一些較 佳實施例。在本部分以及本申請的說明書摘要和發明名稱中可能會做些簡化或 省略以避免使本部分、說明書摘要和發明名稱的目的模糊，而這種簡化或省略 不能用于限制本發明的范圍。

鑒于上述現有基于強化學習的自適應多信道分布式深度學習方法存在的 問題，提出了本發明。

因此，本發明目的是提供一種基于強化學習的自適應多信道分布式深度學 習方法。

為解決上述技術問題，本發明提供如下技術方案：一種基于強化學習的自 適應多信道分布式深度學習方法，包括如下步驟，

建立基于強化學習的自適應多信道分布式深度學習框架；

框架內部每個設備計算局部梯度；

框架內部的壓縮器壓縮梯度；

通過多個通道將壓縮梯度的編碼層發送到邊緣服務器；

服務器接收所有客戶端的梯度數據并進行結果計算，而后發送至框架內所 有設備；

每個設備使用更新后結果數據更新本地模型。

作為本發明所述基于強化學習的自適應多信道分布式深度學習方法的一 種優選方案，其中：自適應多信道分布式深度學習框架包含邊緣服務器和若干 個設備，若干個設備通過迭代計算和通信與邊緣服務器協作訓練學習模型。