[發明專利]一種任務的調度方法、裝置、設備及存儲介質

有效

• 申請號: 202110957716.0
• 申請日: 2021-08-20
• 公開（公告）號: CN113408745B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 北京瑞萊智慧科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F9/50
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 何少巖

本申請提供了一種任務的調度方法、裝置、設備及存儲介質，該調度方法包括：負載服務器接收任務發起終端發送的針對目標任務的數據接收請求；負載服務器根據預先存儲的任務處理映射表，從多個任務執行終端中，確定針對目標任務的目標任務執行終端；負載服務器向每一目標任務執行終端發送針對該目標任務執行終端的數據傳輸請求，并接收該目標任務執行終端發送的目標數據處理結果；負載服務器將接收到的每一目標數據處理結果作為針對目標任務的任務執行結果，并將任務執行結果發送給任務發起終端。這樣，本申請解決了任務發起終端與多個任務執行終端之間的通信端口對接問題，降低了任務發起終端對于通信端口的管理難度，有利于提高任務調度的效率。

技術領域

本申請涉及機器學習技術領域，具體而言，涉及一種任務的調度方法、裝置、設備及存儲介質。

背景技術

隨著人工智能技術的不斷發展，在解決目標技術需求時，越來越多的技術人員選擇通過機器學習的方式，利用與目標技術需求相關的訓練數據來對人工智能模型進行訓練，從而，利用訓練好的人工智能模型來解決目標技術需求。具體的，在實際的建模過程中，基于數據的保密性特點，企業或部門并不會將自己獨有的訓練數據放置于公眾可以自由獲取的開源平臺中，從而，導致模型訓練需要用到的訓練數據大多以數據孤島的形式分布于不同的企業或部門中。因此，在實際建模過程中，如何有效地實現訓練數據的共享，成為當前機器學習技術領域所迫切需要解決的技術問題。

目前的方法，技術人員通常采用聯邦學習的方式，為當前的建模任務分配一個對外通信端口，并根據該建模任務下需要用到的每一個訓練數據，確定該訓練數據所在的企業或部門的通信端口地址，然后，按照傳統的生產者消費者模式進行數據通信。具體的，在傳統的生產者消費者模式中，上述的對外通信端口相當于生產者，每一個訓練數據所在的企業或部門相當于消費者，生產者根據每一個待交互的訓練數據以及該訓練數據所在的企業或部門的通信端口地址，生成一個數據通信任務，然后，將生成的所有數據通信任務存放至緩存區中，等待每一個消費者從所述緩存區中提取與之對應的數據通信任務。這樣，一方面，生產者需要同時與多個消費者的通信端口進行對接，由于不同消費者對于通信端口的安全管控措施不同，因此，導致生產者對于上述對外通信端口的管理較為困難；另一方面，同一消費者可能需要在上述緩存區中提取多個數據通信任務，此時，提取的多個數據通信任務位于該消費者的同一個任務提取隊列下，若其中一個數據通信任務出現錯誤，則可能造成該消費者的整個任務提取隊列出現異常，導致任務調度的效率降低。

發明內容

有鑒于此，本申請的目的在于提供一種任務的調度方法、裝置、設備及存儲介質，以解決任務發起終端與多個任務執行終端之間的通信端口對接問題，降低任務發起終端對于通信端口的管理難度，有利于提高任務調度的效率。

第一方面，本申請實施例提供了一種任務的調度方法，所述調度方法應用于任務調度系統，所述任務調度系統包括：任務發起終端、負載服務器以及多個任務執行終端；所述調度方法包括：

所述負載服務器接收所述任務發起終端發送的針對目標任務的數據接收請求；其中，所述目標任務用于表征利用多種不同類型的目標訓練數據構建目標模型的建模任務；所述數據接收請求中至少包括：所述目標任務的任務標識以及每一所述目標訓練數據的數據標識；

所述負載服務器根據預先存儲的任務處理映射表，從所述多個任務執行終端中，確定針對所述目標任務的目標任務執行終端；其中，所述任務處理映射表中至少包括：多個不同任務的任務標識、每一所述任務對應的多個訓練數據的數據標識以及每一所述訓練數據對應的通信端口地址；不同的目標任務執行終端上存儲的所述目標訓練數據不同；

所述負載服務器向每一所述目標任務執行終端發送針對該目標任務執行終端的數據傳輸請求，并接收該目標任務執行終端發送的目標數據處理結果；其中，所述目標數據處理結果用于表征該目標任務執行終端對應的所述目標訓練數據在所述目標任務下對應的數據處理結果；

所述負載服務器將接收到的每一所述目標數據處理結果作為針對所述目標任務的任務執行結果，并將所述任務執行結果發送給所述任務發起終端。