[發明專利]一種基于模型訓練的通信方法、裝置及系統

在審

• 申請號: 202010077048.8
• 申請日: 2020-01-23
• 公開（公告）號: CN113162861A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 陳晨;王森;張弓
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L12/801
• 分類號: H04L12/801;H04L29/08;G06N3/08
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 聶小培

本申請提供一種基于模型訓練的通信方法、裝置及系統，涉及通信技術領域，應用于包括中心服務器和通信設備的系統中，能夠有效減小通信設備和中心服務器之間參數傳輸的數據量，在保證不損失模型訓練精度的前提下，提高聯邦學習過程的通信效率。該方法包括：通信設備確定第一模型參數取值的變化量。若通信設備根據第一模型參數取值的變化量確定第一模型參數穩定，則通信設備在預設時段內停止向中心服務器發送第一模型參數取值的更新量。其中，第一模型參數取值的更新量由通信設備在進行模型訓練的過程中根據用戶數據確定；通信設備接收中心服務器發送的第二模型參數取值。其中，在預設時段內，第二模型參數取值不包括第一模型參數取值。

技術領域

本申請涉及通信技術領域，尤其涉及一種基于模型訓練的通信方法、裝置及系統。

背景技術

聯邦學習(faderated learning，FL)系統是一種新興的人工智能基礎技術，其主要思想是由中心服務器和多個通信設備協作，基于多個通信設備上的數據集構建機器學習模型。在構建機器學習模型過程中，各個通信設備之間無需數據共享，防止數據泄露。

在聯邦學習系統中，中心服務器將機器學習模型的各個參數的取值發送給各個通信設備，由各通信設備作為協作單元在本地訓練模型，更新機器學習模型的各個參數的取值，并將各個參數的取值的梯度(Gradient)發送給中心服務器。中心服務器根據各個參數的取值的梯度生成新的模型參數取值。重復執行上述步驟，直至機器學習模型收斂，完成整個模型訓練的過程。

隨著機器學習模型越來越大，通信設備與中心服務器之間需要傳輸的模型參數的數據量也越來越大。受限于因特網(Internet)的連接速度、帶寬等問題，造成在通信設備和中心服務器之間模型參數傳輸的時延較長，模型參數取值更新速率較慢。

發明內容

本申請提供的基于模型訓練的通信方法、裝置及系統，能夠有效減小通信設備和服務器之間參數傳輸的數據量，在保證不損失模型訓練精度的前提下，提高通信效率。

為達到上述目的，本申請采用如下技術方案：

第一方面，本申請提供一種基于模型訓練的通信方法，應用于包括中心服務器和通信設備的系統中。該方法可以包括：通信設備確定第一模型參數取值的變化量。若通信設備根據第一模型參數取值的變化量確定第一模型參數穩定，則通信設備在預設時段內停止向中心服務器發送第一模型參數取值的更新量。其中，第一模型參數取值的更新量由通信設備在進行模型訓練的過程中根據用戶數據確定。通信設備接收中心服務器發送的第二模型參數取值。其中，在預設時段內，第二模型參數取值不包括第一模型參數取值。

其中，第一模型參數為參與確定是否穩定的模型參數，其數量不限定，可以為任意一個或多個模型參數。如果確定第一模型參數穩定，則該第一模型參數為預設時段內不參與傳輸更新量和取值的模型參數。第二模型參數為參與中心服務器和通信設備之間的更新量和取值傳輸的模型參數。第二模型參數的數量也不限定，可以為一個或多個。可選的，全部的第一模型參數和全部的第二模型參數組成了全部的模型參數。

其中，第一模型參數取值的變化量用于確定第一模型參數是否穩定。若第一模型參數穩定，則表示第一模型參數已經收斂。后續通信過程中，其取值的變化量主要為小幅度振蕩變化，對模型訓練的意義不大。所以可以設置預設時段，在預設時段內，停止傳輸穩定的第一模型參數取值的更新量。可以理解的是，若通信設備在預設時段內不向中心服務器發送第一模型參數取值的更新量，則在該預設時段內中心服務器也不會生成并向通信設備發送第一模型參數更新后的取值，進而實現通信設備與中心服務器之間雙向的數據量均減小。

其中，通信設備接收到中心服務器發送更新后的模型參數取值后，可以構建更新后的本地訓練模型，并利用本地用戶數據訓練模型。在訓練過程中，會基于用戶數據對模型參數取值進行調整，進而獲得模型參數取值的更新量，也即模型參數取值的梯度。