[發明專利]一種機器學習平臺中任務節點間的數據傳遞的處理方法

在審

• 申請號: 202210574519.5
• 申請日: 2022-05-24
• 公開（公告）號: CN114896066A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 田立民;唐守旭;蘇世前;韓科森;涂若欣;楊青相;張磊
• 申請（專利權）人: 上海藍書信息科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N20/00
• 代理公司: 北京市京師律師事務所 11665
• 代理人: 黃熊

本發明實施例公開了一種機器學習平臺中任務節點間的數據傳遞的處理方法，設置一任務調度系統，所述任務調度系統：拉取任務隊列中的任務，解析所述任務的任務規則；根據所述任務規則生成調度流水線；根據所述調度流水線發送調起指令；根據所述調起指令，調起可執行的任務節點，并向所述可執行的任務節點發送數據；所述可執行的任務節點接受到所述數據后執行處理，并將所述處理后的產生的數據返還至所述任務調度系統中，此時，所述可執行的任務節點執行完成；接受所述可執行的任務節點執行完成的反饋，重復調起其他未完成的任務節點，直至所述調度流水線中的所有任務節點全部執行完畢；將所述任務結果放入至結果隊列中。

技術領域

本發明實施例涉及數據傳遞處理技術領域，具體涉及一種機器學習平臺中任務節點間的數據傳遞的處理方法。

背景技術

隨著人工智能的逐漸為人所知，機器學習也日漸成熟。機器學習平臺的建設產品也是層出不窮，針對不同領域的，普適化的均存在其相應的市場。機器學習平臺中，將訓練任務根據流水線進行任務拆解，進行分布式訓練是無可避免的事情。現有機器學習平臺中，對訓練任務的節點間數據傳遞，多采用單一化的方法，或者節點將數據拉取過來，或者將節點放入數據處進行工作。而在分布式訓練中，同一任務不同的節點間進行數據傳遞，將成為一個必須要處理的問題。

發明內容

為此，本發明實施例提供一種機器學習平臺中任務節點間的數據傳遞的處理方法，以解決現有技術中數據節點間傳遞的不確定性以及節點間數據傳遞的不靈活的問題。

為了實現上述目的，本發明實施例提供如下技術方案：一種機器學習平臺中任務節點間的數據傳遞的處理方法，包括以下步驟：

設置一任務調度系統，所述任務調度系統：

拉取任務隊列中的任務，解析所述任務的任務規則；

根據所述任務規則生成調度流水線；

根據所述調度流水線發送調起指令；

根據所述調起指令，調起可執行的任務節點，并向所述可執行的任務節點發送數據；

所述可執行的任務節點接受到所述數據后執行處理，并將所述處理后的產生的數據返還至所述任務調度系統中，此時，所述可執行的任務節點執行完成；

接受所述可執行的任務節點執行完成的反饋，重復調起其他未完成的任務節點，直至所述調度流水線中的所有任務節點全部執行完畢；

將所述任務結果放入至結果隊列中。

進一步地，根據所述任務規則生成調度流水線，具體包括：

確定所有任務節點產生數據的第二儲存位置。

進一步地，根據所述調起指令，調起可執行的任務節點，并向所述可執行的任務節點發送數據，具體包括：

發送調起指令，調起可執行的任務節點，發送所述可執行的任務節點所需第一處理數據的第一儲存位置數據以及所述可執行的任務節點產生第二處理數據的第二儲存位置數據；

所述可執行的任務節點接收到調起指令后，從所述第一儲存位置拉取第一處理數據進行處理，并將處理后產生的第二處理數據儲存到所述第二儲存位置。

進一步地，所述根據所述調起指令，調起可執行的任務節點，并向所述可執行的任務節點發送數據，具體包括：

發送調起指令，調起可執行的任務節點，從第一儲存位置獲取第一處理數據發送至所述可執行的任務節點；獲取所述可執行的任務節點產生第二處理數據的第二儲存位置數據，將所述第二儲存位置數據返還至所述任務調度系統中。

進一步地，所述根據所述調起指令，調起可執行的任務節點，并向所述可執行的任務節點發送數據，具體包括：

一次調起可并發執行的多個任務節點。