[發明專利]一種聯合學習平臺中的代理系統

在審

• 申請號: 202110047743.4
• 申請日: 2021-01-14
• 公開（公告）號: CN114764373A
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 張敏;高慶
• 申請（專利權）人: 新智數字科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F11/30;G06N20/00
• 代理公司: 北京嘉科知識產權代理事務所(特殊普通合伙) 11687
• 代理人: 楊波

1.一種聯合學習平臺中的代理系統，包括本地客戶端和云端，其特征在于，所述本地客戶端包括行業AI前端后臺、行業AI訓練配置模塊、本地訓練代理和DT平臺資源控制器，云端包括基礎AI聯合學習引擎、基礎AI生態模型庫、行業AI數據庫和DT計算決策模塊，DT計算決策模塊與本地訓練代理連接，本地訓練代理與DT平臺資源控制器交互，本地訓練代理還與AI聯合學習引擎交互；

所述本地訓練代理包括代理本地部署模塊、訓練數據獲取模塊、本地模型訓練模塊、上傳與下載模型、異常處理策略模塊、監控信息反饋模塊和分布式計算模塊，本地模型訓練模塊，監控信息反饋模塊與本地模型訓練模塊交互。

2.根據權利要求1所述的一種聯合學習平臺中的代理系統，其特征在于，所述本地訓練代理部署在本地客戶端，本地訓練代理是一種計算服務，用戶使用數據資產參與指定聯合學習任務時，本地計算任務會有一個代理實例執行。

3.根據權利要求1所述的一種聯合學習平臺中的代理系統，其特征在于，所述本地訓練代理中的本地模型訓練模塊在訓練的過程中和DT平臺資源控制器交互，根據監測信息調整迭代策略。

4.根據權利要求1所述的一種聯合學習平臺中的代理系統，其特征在于，所述代理本地部署模塊在本地訓練代理過程中，其中先啟動代理，在本地訓練代理部署成功后，AI聯合學習引擎啟動本地訓練代理，然后將行業AI訓練配置模塊與行業AI數據庫中的數據模型與數據量等信息發送到代理，即發送到本地訓練代理，若本地訓練代理有算法，可直接調用，若本地訓練代理內置的算法中存在用戶配置的，則使用用戶配置的算法。

5.根據權利要求4所述的一種聯合學習平臺中的代理系統，其特征在于，所述代理本地部署模塊在進行本地訓練代理部署時，將AI聯合學習引擎的輸入端提前與行業AI數據庫和行業AI訓練配置模塊進行交互，其中行業AI數據庫的入口不設置密碼，同時AI聯合學習引擎能默認優先使用本地訓練代理中用戶配置的算法。

6.根據權利要求1所述的一種聯合學習平臺中的代理系統，其特征在于，所述訓練數據獲取模塊即根據用戶提供的數據獲取接口獲取處理好的訓練數據，其中代理啟動后，首先根據任務名、算法名、數據類型參數調用行業AI前端后臺api接口獲取一定的訓練數據集，此時行業AI后端會接受到訓練數據集請求，行業AI后端在接收到請求后就會去查相應的行業AI數據庫或本地服務器，行業AI后端找到相應的訓練數據后將訓練數據返回給代理；其中在行業AI后端找到相應的訓練數據過程中，需要行業AI參與方即行業AI后端對將數據做一個K—V映射，K即接口輸入參數，用于獲取相應的V訓練數據，代理不干預數據存放方式，即數據轉換成算法需求。

7.根據權利要求1所述的一種聯合學習平臺中的代理系統，其特征在于，所述本地模型訓練模塊運行時經過三個步驟，即從DT平臺資源控制器獲得監控信息、然后進行本輪迭代訓練，最后是訓練終止，其中從DT平臺資源控制器獲得監控信息，即向DT平臺資源控制器發送請求獲得cpu使用率、內存使用率、磁盤剩余等監控信息，代理根據監控信息來判斷是否還要進行本次的聯合迭代過程；然后進行本輪迭代訓練；即當監控的信息符合訓練標準，代理執行本次迭代訓練，將本輪訓練的模型上傳給AI聯合學習引擎，并從AI聯合學習引擎下載聚合后的模型；此時AI聯合學習引擎會保存將聚合后的中間模型；最后是訓練終止；正常聯合訓練結束，滿足結束條件，代理將最終將最終模型上傳給AI聯合學習引擎，AI聯合學習引擎將模型保存至模型庫，代理調用AI聯合學習引擎的聯合終止接口結束訓練。

8.根據權利要求1所述的一種聯合學習平臺中的代理系統，其特征在于，所述異常處理策略模塊出現節點中斷的情況下，異常處理策略模塊判斷代理是否重新加入訓練任務，如果是非主動退出、即網絡異常、節點中斷等情況，可以不用檢查，恢復后直接接著訓練；如果是主動退出，需要重新加入任務流程。