[發明專利]一種聯合學習平臺中的代理系統

在審

• 申請號: 202110047743.4
• 申請日: 2021-01-14
• 公開（公告）號: CN114764373A
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 張敏;高慶
• 申請（專利權）人: 新智數字科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F11/30;G06N20/00
• 代理公司: 北京嘉科知識產權代理事務所(特殊普通合伙) 11687
• 代理人: 楊波

本發明公開了一種聯合學習平臺中的代理系統，屬于計算機分布式計算技術領域，其中本地客戶端和云端相交互，本地客戶端包括行業AI前端后臺、行業AI訓練配置模塊、本地訓練代理和DT平臺資源控制器，云端包括基礎AI聯合學習引擎、基礎AI生態模型庫、行業AI數據庫和DT計算決策模塊，云端中的DT計算決策模塊與本地客戶端中的本地訓練代理交互，本地訓練代理與DT平臺資源控制器交互，本地訓練代理還與云端中的AI聯合學習引擎交互；本地訓練代理中的本地模型訓練模塊運行時先從DT平臺資源控制器獲得監控信息，然后進行本輪迭代訓練，就能很好的做到本地訓練與聯合學習平臺相結合，提高了本地訓練的效率。

技術領域

本發明涉及計算機分布式計算技術領域，特別涉及一種聯合學習平臺中的代理系統。

背景技術

訓練數據不能遠離其來源，也就是服務器不能收集數據。其中原因可能包括隱私問題，例如照片不愿意上傳；監管障礙(HIPAA，GDPR等)；還有可能是實際工程限制，例如網絡連接昂貴，速度慢或不可靠，或數據量太大等原因，聯合學習可以解決上述問題。聯合學習是指一系列算法，雖然服務器不能收集數據，但是可以收集模型的參數，服務器協調邊緣設備參與訓練，每個邊緣設備都有訓練數據，每個邊緣設備都利用自己的數據訓練一個本地模型，將自己的參數加密傳或者不加密上傳給服務器，服務器通過將收集上來的參數進行平均或者加權平均，廣播給每個邊緣設備。在使用聯合學習平臺進行本地訓練代理時易出現本地訓練間隔和數據量小的問題，導致整體的本地訓練效率較低。

發明內容

本發明的目的在于提供一種聯合學習平臺中的代理系統，具備提高本地訓練效率的優點，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：

一種聯合學習平臺中的代理系統，包括本地客戶端和云端，所述本地客戶端包括行業AI前端后臺、行業AI訓練配置模塊、本地訓練代理和DT平臺資源控制器，云端包括基礎AI聯合學習引擎、基礎AI生態模型庫、行業AI數據庫和DT計算決策模塊，DT計算決策模塊與本地訓練代理連接，本地訓練代理與DT平臺資源控制器交互，本地訓練代理還與AI聯合學習引擎交互；

所述本地訓練代理包括代理本地部署模塊、訓練數據獲取模塊、本地模型訓練模塊、上傳與下載模型、異常處理策略模塊、監控信息反饋模塊和分布式計算模塊，本地模型訓練模塊，監控信息反饋模塊與本地模型訓練模塊交互。

優選的，所述本地訓練代理部署在本地客戶端，本地訓練代理是一種計算服務，用戶使用數據資產參與指定聯合學習任務時，本地計算任務會有一個代理實例執行。

優選的，所述本地訓練代理中的本地模型訓練模塊在訓練的過程中和DT平臺資源控制器交互，根據監測信息調整迭代策略，比如是否進行本次迭代，本地模型訓練模塊與AI聯合學習引擎交互進行數據模型的上傳和下載。

優選的，所述代理本地部署模塊在本地訓練代理過程中，其中先啟動代理，在本地訓練代理部署成功后，AI聯合學習引擎啟動本地訓練代理，然后將行業AI訓練配置模塊與行業AI數據庫中的數據模型與數據量等信息發送到代理，即發送到本地訓練代理，若本地訓練代理有算法，可直接調用，若本地訓練代理內置的算法中存在用戶配置的，則使用用戶配置的算法。

優選的，所述代理本地部署模塊在進行本地訓練代理部署時，將AI聯合學習引擎的輸入端提前與行業AI數據庫和行業AI訓練配置模塊進行交互，其中行業AI數據庫的入口不設置密碼，同時AI聯合學習引擎能默認優先使用本地訓練代理中用戶配置的算法。