[發明專利]任務處理方法、裝置、系統及設備

在審

• 申請號: 202210352913.4
• 申請日: 2022-04-01
• 公開（公告）號: CN114780214A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 王學敏;孟維業;孫智超;王濤
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 闞梓瑄

本申請的實施例揭示了一種任務處理方法、裝置、系統及電子設備，該方法通過對待處理任務進行任務拆分，得到子任務集合；將子任務集合中的子任務分配給數據集群，以使數據集群處理子任務，得到子任務對應的子任務處理結果，進而不用將各個數據集群的數據進行集中，通過將待處理任務拆分為子任務，將子任務下發至數據集群進行本地計算，使算力下沉至靠近數據的位置；然后基于數據集群反饋的子任務處理結果，得到待處理任務對應的目標任務處理結果，使數據集群只需上傳子任務處理結果，然后對各個子任務處理結果匯總即可得到目標任務處理結果，減少了各個數據集群進行數據傳輸的開銷，進而提高了任務完成的效率。

技術領域

本公開涉及大數據技術領域，具體而言，涉及一種任務處理方法、裝置、系統、計算機可讀存儲介質、電子設備及計算機程序產品。

背景技術

目前，大數據處理技術已被廣泛熟知和應用，而近年來出現需要針對分布在不同地域集群中的大數據進行處理的應用場景。很多公司或組織需要根據自有的業務類型或地區不同，在不同的地域購買云服務端來組建集群以處理相應的業務，這些不同的集群每天都會產生大量的數據且需要進行統一處理。

相關技術中，為了處理這些大量的分布在不同區域集群中的數據，主要采用的處理方法是集中式處理，即先將不同區域集群中的數據傳輸到一個集群中再對其進行分析處理。但是這樣的處理方式并不總是可行的，除了大量原始數據傳輸會產生的時間和費用成本問題外，還存在的問題是，有些國家或地區為保護數據隱私，會禁止將用戶原始數據傳輸到其它區域。

因此，考慮到上述問題的存在，如何更合理的對不同地域的大數據進行處理是一個亟需解決的問題。

發明內容

為解決上述技術問題，本申請的實施例提供了一種任務處理方法、裝置、系統、計算機可讀存儲介質、電子設備及計算機程序產品，以對涉及不同地域的大數據集群的任務進行更合理的處理。

根據本申請實施例的一個方面，提供了一種任務處理方法，包括：獲取待處理任務；對待處理任務進行任務拆分，得到子任務集合；將子任務集合中的子任務分配給數據集群，以使數據集群處理子任務，得到子任務對應的子任務處理結果；基于數據集群反饋的子任務處理結果，得到待處理任務對應的目標任務處理結果。

在一些實施例中，數據集群的數量為多個；將子任務集合中的子任務分配給數據集群，包括：獲取子任務集合中子任務的任務參數；其中，任務參數是處理子任務需要的數據；基于子任務的任務參數對多個數據集群進行匹配，得到各個子任務對應的待分配數據集群；將子任務分配給子任務對應的待分配數據集群。

在一些實施例中，基于子任務的任務參數對多個數據集群進行匹配，得到各個子任務對應的待分配數據集群，包括：獲取各個數據集群的元數據；基于子任務的任務參數以及各個數據集群的元數據，檢測各個數據集群是否符合子任務的處理條件；將符合子任務的處理條件的數據集群作為子任務對應的待分配數據集群。

在一些實施例中，待分配數據集群的數量為多個；將子任務分配給子任務對應的待分配數據集群，包括：分別獲取多個待分配數據集群的當前數據處理能力值；基于當前數據處理能力值對多個待分配數據集群進行排序，得到排序結果；基于排序結果確定目標待分配數據集群，將子任務分配給目標待分配數據集群。

在一些實施例中，在將子任務集合中的子任務分配給數據集群之前，方法還包括：接收數據集群發送的注冊請求；基于注冊請求，向數據集群發送數據集群對應的身份證書；接收數據集群發送的通信連接請求，通信連接請求中包含數據集群對應的待認證的身份證書；對待認證的身份證書進行認證，若認證通過，則與數據集群建立通信連接。