[發明專利]一種機器學習平臺中任務節點間的數據傳遞的處理方法

在審

• 申請號: 202210574519.5
• 申請日: 2022-05-24
• 公開（公告）號: CN114896066A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 田立民;唐守旭;蘇世前;韓科森;涂若欣;楊青相;張磊
• 申請（專利權）人: 上海藍書信息科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N20/00
• 代理公司: 北京市京師律師事務所 11665
• 代理人: 黃熊

1.一種機器學習平臺中任務節點間的數據傳遞的處理方法，其特征是，包括以下步驟：

設置一任務調度系統，所述任務調度系統：

拉取任務隊列中的任務，解析所述任務的任務規則；

根據所述任務規則生成調度流水線；

根據所述調度流水線發送調起指令；

根據所述調起指令，調起可執行的任務節點，并向所述可執行的任務節點發送數據；

所述可執行的任務節點接受到所述數據后執行處理，并將所述處理后的產生的數據返還至所述任務調度系統中，此時，所述可執行的任務節點執行完成；

接受所述可執行的任務節點執行完成的反饋，重復調起其他未完成的任務節點，直至所述調度流水線中的所有任務節點全部執行完畢；

將所述任務結果放入至結果隊列中。

2.根據權利要求1所述的一種機器學習平臺中任務節點間的數據傳遞的處理方法，其特征是：根據所述任務規則生成調度流水線，具體包括：

確定所有任務節點產生數據的第二儲存位置。

3.根據權利要求2所述的一種機器學習平臺中任務節點間的數據傳遞的處理方法，其特征是：根據所述調起指令，調起可執行的任務節點，并向所述可執行的任務節點發送數據，具體包括：

發送調起指令，調起可執行的任務節點，發送所述可執行的任務節點所需第一處理數據的第一儲存位置數據以及所述可執行的任務節點產生第二處理數據的第二儲存位置數據；

所述可執行的任務節點接收到調起指令后，從所述第一儲存位置拉取第一處理數據進行處理，并將處理后產生的第二處理數據儲存到所述第二儲存位置。

4.根據權利要求1所述的一種機器學習平臺中任務節點間的數據傳遞的處理方法，其特征是：所述根據所述調起指令，調起可執行的任務節點，并向所述可執行的任務節點發送數據，具體包括：

發送調起指令，調起可執行的任務節點，從第一儲存位置獲取第一處理數據發送至所述可執行的任務節點；獲取所述可執行的任務節點產生第二處理數據的第二儲存位置數據，將所述第二儲存位置數據返還至所述任務調度系統中。

5.根據權利要求1所述的一種機器學習平臺中任務節點間的數據傳遞的處理方法，其特征是：所述根據所述調起指令，調起可執行的任務節點，并向所述可執行的任務節點發送數據，具體包括：

一次調起可并發執行的多個任務節點。

6.根據權利要求1所述的一種機器學習平臺中任務節點間的數據傳遞的處理方法，其特征是：所述所述可執行的任務節點接受到所述數據后執行處理，具體包括：

判斷所述多個任務節點的執行能力選擇執行方式；

所述執行方式包括：

進行數據拉取；

將所述任務節點推送到數據儲存位置。

7.根據權利要求1所述的一種機器學習平臺中任務節點間的數據傳遞的處理方法，其特征是：所述根據所述任務規則生成調度流水線，具體包括：

在所述調度流水線中定義數據的類型；

將所述任務節點向數據靠攏。