[發明專利]一種高效的多維度算法調度方法、任務服務器

有效

• 申請號: 201810320408.5
• 申請日: 2018-04-11
• 公開（公告）號: CN108563497B
• 公開（公告）日: 2022-03-29
• 發明（設計）人: 張寶華;隗公程;程國艮
• 申請（專利權）人: 中譯語通科技股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 北京萬貝專利代理事務所(特殊普通合伙) 11520
• 代理人: 馬紅

1.一種高效的多維度算法調度方法，其特征在于，所述高效的多維度算法調度方法使用任務數和集群節點狀態來描述集群中節點的負載情況和作業相關的數據本地性情況；通過任務的執行時間和數據長度描述調度前后節點和作業的變化，利用值迭代策略求解算法求解最優調度策略，動態調節作業數據本地性與作業響應時間；

所述高效的多維度算法調度方法在運行數據處理的集群中，將選擇一個節點作為Master，該節點是控制集群任務的核心部件，完成任務調度與監控功能，根據當前集群負載狀態和不同任務的數據本地性需求，求取一個最優調度策略；

通過以下指標智能決策建立的數學模型：T：任務的執行時間；N：每個節點的任務數；S：每個節點服務器狀態；L：每條數據的長度；C：閾值控制；

建立TNSL的形式化描述模型具體包括：

T：任務執行時間用來描述線程執行函數的時間，單次任務執行的時間表示：

Li：每條數據的單詞大?。?/p>

所有數據的單詞總大小；

Tt：所有數據處理的總時間；

F(t):單條數據處理的時間；

N：任務種類用來描述每個處理節點上分配的處理任務，根據各個節點上分配的任務種類，實時調度各節點下次分配的任務；

每次任務種類的計算公式為：

N＝[N₁，N₂，N₂，....N_i]；

N：單機的任務數；

i：多少臺單機的任務數；

S：集群中各個節點的狀態，通過節點狀態的不同，自動計算分配到該節點的數據量；集群各節點分為三種狀態，1為完全可用，表示空閑節點；0表示節點滿載或者宕機不可用；0至1之間表示節點有任務在跑，但是沒有滿載，仍然分配任務：

S：節點狀態；

∫t：當前執行的時間；

∫txL′：上一次執行的時間；

L：需要處理的每條數據的長度，長度以數據的單詞為準，對于長度比較大的數據多分配計算資源，長度小的則相反；

L＝I_(word)；

L表示數據大??；

I表示單詞的數量；

Word表示單詞；

C：任務數閾值控制：

C＝X；

X：根據實際數據量調整。

2.如權利要求1所述的高效的多維度算法調度方法，其特征在于，所述高效的多維度算法調度方法的求解目標根據當前節點與任務的狀態計算最優策略，使得大數據平臺下通過多維度指標實時調度：

根據指標每個任務占用的時間為：

g_(f(t))＝L×f_(t)；

Master在調度分配上使用下面的公式計算出各個節點需要分配的任務數：

3.一種應用權利要求1～2任意一項所述高效的多維度算法調度方法的任務服務器。