[發(fā)明專利]動態(tài)網(wǎng)絡(luò)配置

在審

• 申請?zhí)枺?/td>: 201980093337.2
• 申請日: 2019-03-01
• 公開（公告）號: CN113498508A
• 公開（公告）日: 2021-10-12
• 發(fā)明（設(shè)計(jì)）人: 托尼·拉松;約翰·哈拉德森
• 申請（專利權(quán)）人: 瑞典愛立信有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N20/00
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 穆童

提出了一種用于動態(tài)地配置用于訓(xùn)練機(jī)器學(xué)習(xí)模型的網(wǎng)絡(luò)(100)的方法。該網(wǎng)絡(luò)包括服務(wù)器計(jì)算設(shè)備(102)和多個客戶端計(jì)算設(shè)備(104)。該方法在通信地耦合到網(wǎng)絡(luò)的計(jì)算設(shè)備處執(zhí)行，并且包括以下步驟：選擇(202)用于參與訓(xùn)練模型的客戶端計(jì)算設(shè)備；基于所選擇的客戶端計(jì)算設(shè)備確定(204)模型的評估度量的第一值；確定(206)調(diào)整觸發(fā)的存在；響應(yīng)于調(diào)整觸發(fā)而調(diào)整(208)用于確定評估度量的值的客戶端計(jì)算設(shè)備的數(shù)量；基于調(diào)整后的數(shù)量的客戶端計(jì)算設(shè)備確定(210)評估度量的第二值；以及，相應(yīng)地設(shè)置(212)參與訓(xùn)練模型的客戶端計(jì)算設(shè)備的數(shù)量。

技術(shù)領(lǐng)域

本公開涉及機(jī)器學(xué)習(xí)。具體地，本公開涉及用于訓(xùn)練機(jī)器學(xué)習(xí)模型的網(wǎng)絡(luò)的動態(tài)配置。

背景技術(shù)

本節(jié)旨在為本公開中描述的本發(fā)明的各種實(shí)施例提供背景。因此，除非本文另有說明，否則本節(jié)中描述的內(nèi)容不應(yīng)僅通過其被包含在本節(jié)中而被解釋為現(xiàn)有技術(shù)。

在計(jì)算機(jī)科學(xué)中，人工智能(AI)是由機(jī)器演示的智能。典型的AI系統(tǒng)采取如下動作：通過使用計(jì)算方法自動地根據(jù)數(shù)據(jù)和經(jīng)驗(yàn)進(jìn)行學(xué)習(xí)和改進(jìn)，從而最大限度地提高成功地實(shí)現(xiàn)特定目標(biāo)的機(jī)會，而無需被明確編程。這被稱為機(jī)器學(xué)習(xí)。為了徹底地訓(xùn)練計(jì)算模型，需要模型對許多不同的數(shù)據(jù)集執(zhí)行多次訓(xùn)練迭代。然后，可以基于來自其所進(jìn)行的執(zhí)行的反饋來更新模型。一般而言，可以被訪問以用于訓(xùn)練機(jī)器學(xué)習(xí)模型的數(shù)據(jù)越多，模型將變得越精確。

執(zhí)行這種訓(xùn)練所需的計(jì)算能力是巨大的。因此，已經(jīng)開發(fā)了一種分散式機(jī)器學(xué)習(xí)方法。在分散式學(xué)習(xí)中，網(wǎng)絡(luò)中的設(shè)備使用其各自的訓(xùn)練數(shù)據(jù)協(xié)作地訓(xùn)練共享模型，而該訓(xùn)練數(shù)據(jù)不會離開設(shè)備。這具有許多優(yōu)點(diǎn)。在網(wǎng)絡(luò)中使用大量設(shè)備顯著地提高了可用于訓(xùn)練的計(jì)算能力。通過基于本地存儲在訓(xùn)練設(shè)備中的數(shù)據(jù)來訓(xùn)練模型，這些敏感數(shù)據(jù)可以在訓(xùn)練中使用而無需通過網(wǎng)絡(luò)傳送。此外，這種方法允許減輕上行鏈路帶寬和網(wǎng)絡(luò)覆蓋的限制。

已經(jīng)提出了若干種算法來實(shí)現(xiàn)分散式學(xué)習(xí)。Google提出的名為“聯(lián)邦平均(FederatedAveraging)”的算法催生了“聯(lián)邦學(xué)習(xí)”一詞。該算法解決了若干個現(xiàn)實(shí)世界的挑戰(zhàn)：處理不平衡和非IID(獨(dú)立同分布)數(shù)據(jù)、大規(guī)模分布數(shù)據(jù)(其中設(shè)備數(shù)量多于每個設(shè)備可用于訓(xùn)練的數(shù)據(jù)樣本的平均數(shù)量)的能力、訓(xùn)練所需通信的減少以及設(shè)備連接的限制。實(shí)驗(yàn)結(jié)果表明聯(lián)邦平均算法適用于不同的模型架構(gòu)：多層感知、卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)。

在聯(lián)邦平均算法中，服務(wù)器首先初始化神經(jīng)網(wǎng)絡(luò)模型的權(quán)重。對于每個訓(xùn)練回合，服務(wù)器將模型權(quán)重發(fā)送到可參與訓(xùn)練的部分客戶端設(shè)備，并且客戶端設(shè)備返回其對模型性能的評估。作為訓(xùn)練的一部分的每個客戶端使用接收到的權(quán)重初始化神經(jīng)網(wǎng)絡(luò)模型的本地副本，并且運(yùn)行一個或多個周期(epoch)(其中，1個周期＝所有可用訓(xùn)練樣本的1輪正向傳播(forward pass)+1個反向傳播(backward pass))，從而產(chǎn)生更新權(quán)重集。然后，客戶端返回對模型執(zhí)行狀況的某種評估以及更新權(quán)重的某種指示(例如，從服務(wù)器接收的權(quán)重與更新權(quán)重之間的差)。然后，服務(wù)器可以決定如何更新模型以提高其性能。

盡管上述分散式學(xué)習(xí)方法具有諸多優(yōu)點(diǎn)，但是仍存在一些局限性。例如，當(dāng)前的框架基于在現(xiàn)實(shí)部署中無效或不適合的假設(shè)或決策。作為一個示例，訓(xùn)練所需的客戶端設(shè)備的數(shù)量通常被設(shè)置為客戶端設(shè)備的總數(shù)的固定比例，其中該比例由預(yù)先進(jìn)行的實(shí)驗(yàn)來確定。這在現(xiàn)實(shí)場景中可能是有問題的，因?yàn)槌浞钟?xùn)練模型所需的客戶端設(shè)備的數(shù)量可以在不同的部署中以及隨時間而變化。作為另一示例，選擇哪些客戶端設(shè)備參與訓(xùn)練通常在所有客戶端中隨機(jī)進(jìn)行。然而，實(shí)際上，并非所有的客戶端都必須適合于訓(xùn)練機(jī)器學(xué)習(xí)模型。

本公開中描述的方法、設(shè)備和系統(tǒng)旨在減輕這些問題中的至少一些并且提供對分散式機(jī)器學(xué)習(xí)的改進(jìn)。

發(fā)明內(nèi)容