[發明專利]基于K8S和Kubeedge的云邊深度學習模型管理系統及模型訓練方法

在審

• 申請號: 202110030466.6
• 申請日: 2021-01-11
• 公開（公告）號: CN112685139A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 那俊;張斌;鄧心;張瀚鐸;李井瑞
• 申請（專利權）人: 東北大學
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06N3/04;G06N3/08
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 李在川

1.一種基于K8S和Kubeedge的云邊深度學習模型管理系統，其特征在于，包括云端服務器、邊緣智能設備和云邊通信模塊，所述云端服務器包括云端任務管理模塊、云端數據管理模塊和云端任務運行控制模塊；所述邊緣智能設備包括邊緣側任務管理模塊、邊緣側數據管理模塊、邊緣側任務運行控制模塊；

所述云端任務管理模塊用于深度學習任務的創建、深度學習任務的取消；

所述云端任務運行控制模塊用于根據云端深度學習任務生成深度學習模型并進行訓練，訓練結束后得到的模型定義為預訓練模型，還用于對訓練過程進行監控生成監控日志；

所述云端數據管理模塊用于管理預訓練模型、邊緣側模型，并采用加權融合的方式更新預訓練模型參數值，得到最終的云邊協同訓練后的模型，還用于將模型文件以及監控日志存儲到云端服務器的數據庫中；

所述云邊通信模塊用于云端服務器和邊緣智能設備之間的消息通信，所述消息通信包括云端服務器向邊緣智能設備發送的邊緣側深度學習任務、云端服務器和邊緣智能設備之間深度學習模型的發送、云端服務器向邊緣智能設備發送的控制命令，所述控制命令包括取消邊緣智能設備上的訓練任務、上傳邊緣智能設備上訓練后的模型；

所述邊緣側任務管理模塊用于接收云邊通信模塊傳輸的預訓練模型和邊緣側深度學習任務，并對邊緣側深度學習任務進行解析，獲取自定義數據的存儲格式、預設精確度，其中自定義數據的存儲格式發送給邊緣側數據管理模塊，預設精確度發送給邊緣側任務運行控制模塊；

所述邊緣側數據管理模塊用于采集訓練深度學習模型的樣本數據，配置樣本數的存儲格式、對邊緣側模型和樣本數據進行管理，并存儲至本地數據庫中，所述管理包括對模型的查詢和刪除，對樣本數據的添加、查詢和刪除，所述樣本數據為連接邊緣智能設備的傳感器采集到的數據；

所述邊緣側任務運行控制模塊用于根據樣本數據對預訓練模型進行訓練，達到預設精確度后結束訓練，訓練后生成的模型具備邊緣個性化數據特征定義為邊緣側模型。

2.根據權利要求1所述的一種基于K8S和Kubeedge的云邊深度學習模型管理系統，其特征在于，所述云端任務管理模塊包括云端深度學習任務創建單元、云端深度學習任務取消單元；

所述云端深度學習任務創建單元用于將用戶對任務的配置通過K8S平臺中的KubeClient進行上傳，解析用戶對任務的配置參數，并創建深度學習任務，所述配置參數包括待構建深度學習模型的配置參數、自定義數據存儲格式、配置是否需要進行云邊協同訓練及邊緣智能設備上訓練深度學習模型所要達到的預設精確度；所述深度學習任務包括云端深度學習任務和邊緣側深度學習任務，云端深度學習任務負責云端服務器上深度學習模型的配置和訓練，邊緣側深度學習任務包含自定義數據存儲格式和邊緣智能設備上訓練模型所要達到的預設精確度；

所述云端深度學習任務取消單元用于通過KubeClient將創建的任務進行取消。

3.根據權利要求1所述的一種基于K8S和Kubeedge的云邊深度學習模型管理系統，其特征在于，所述云端任務運行控制模塊包括深度學習記錄單元、深度學習任務訓練單元、深度學習任務監控單元；

所述深度學習記錄單元用于對深度學習模型訓練過程中生成的監控日志進行記錄；

所述深度學習任務訓練單元用于在云端服務器上根據云端深度學習任務生成深度學習模型，并進行訓練，保存訓練后的模型作為預訓練模型；

所述深度學習任務監控單元用于實時監控訓練過程并生成監控日志，方便用戶進行錯誤排查。

4.根據權利要求1所述的一種基于K8S和Kubeedge的云邊深度學習模型管理系統，其特征在于，所述云端數據管理模塊包括深度學習模型管理單元、任務日志管理單元；

所述深度學習模型管理單元用于將預訓練模型存儲至云端服務器的數據庫中，當需要云邊協同訓練時，通過云邊通信模塊將預訓練模型傳輸給邊緣智能設備，并將邊緣智能設備上傳的邊緣側模型存儲至云端服務器的數據庫中，還用于將預訓練模型和邊緣側模型通過加權融合的方式更新預訓練模型參數值，生成最終的云邊協同訓練后的模型；

所述任務日志管理單元用于對監控日志進行持久化記錄，將所有的操作記錄存儲在云端服務器的數據庫中。