[發明專利]一種數據分析任務的分配方法有效

申請號：	201910967760.2	申請日：	2019-10-12
公開（公告）號：	CN110727516B	公開（公告）日：	2020-08-28
發明（設計）人：	陳來賓	申請（專利權）人：	江蘇衛健信息科技有限公司
主分類號：	G06F9/50	分類號：	G06F9/50
代理公司：	北京天盾知識產權代理有限公司 11421	代理人：	解敬文;施艷榮
地址：	215000 江蘇省蘇州市高新***	國省代碼：	江蘇;32
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種數據分析任務分配方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明涉及一種數據分析任務的分配方法，該方法由分配服務器接收任務分配請求，并獲取每臺任務服務器的當前任務強度值，將待分配任務分配給當前任務強度值最小的任務服務器。該方法實現任務服務器的負載均衡，在大量任務并發的情況下，相對于現有技術具有更高的任務執行效率。

技術領域

本發明屬于計算機領域，尤其涉及一種數據分析任務的調度方法。

背景技術

數據分析任務指的是計算機對一些領域數據進行既定的計算和分析任務，尤其現在隨著大數據應用的越來越廣泛，需要對海量的數據執行既定的不同目的的多種分析任務，得到需要的分析結果。

對于海量數據的分析，由于數據量大，需要執行的數據分析任務也有許多種，現有技術中通常使用數據服務器存儲數據(這里的數據服務器可以是單個服務器，或者是一個服務器集群，本發明對此不作區分)，然后使用多個任務服務器分別執行不同的數據分析任務，每個數據分析任務分別從數據服務器讀取需要的數據，然后進行計算。不同的數據分析任務的計算量不同，不同任務服務器的性能和負荷也不同，因此需要根據實時情況將數據分析任務分配給不同的任務服務器。

發明內容

為了解決現有技術中的上述問題，本發明提供了一種數據分析任務的調度方法。

本發明采用的技術方案具體如下：

一種數據分析任務的分配方法，包括以下步驟：

步驟100：分配服務器接收數據分析任務的任務分配請求，所述任務分配請求中包括待分配任務的存儲地址、任務強度和分析對象；其中，所述任務強度是該待分配任務在標準服務器上運行并分析預定數據量所需要的時間，所述分析對象是該待分配任務需要分析的數據記錄類型；

步驟200：所述分配服務器獲取每臺任務服務器的當前任務強度值；其中，一臺任務服務器的當前任務強度值指的是該任務服務器上當前執行的所有數據分析任務的剩余執行時間之和；

步驟300：所述分配服務器將待分配任務分配給當前任務強度值最小的任務服務器。

進一步地，所述步驟200中，任務服務器的當前任務強度值的具體計算方法包括：

步驟210：任務服務器在運行每個任務之前，計算該任務的預計執行總時間；設數據分析任務Task_i的任務強度為K_i，該任務服務器的性能值為P，Task_i需要分析的數據量為D_i，標準服務器的標準性能值為P₀，所述預定數據量為D₀，則該任務服務器計算Task_i的預計執行總時間T_i為：

步驟220：任務服務器統計當前運行的每個任務的已執行時間；

步驟230：任務服務器計算每個任務的剩余執行時間，所述任務的剩余執行時間等于任務的預計執行總時間減去任務的已執行時間；任務服務器的當前任務強度值為該任務服務器上當前執行的所有任務的剩余執行時間之和。

進一步地，所述標準服務器是一臺具有預設的固定配置的服務器，所述固定配置包括硬件配置和軟件配置。