[發(fā)明專利]一種基于大數(shù)據(jù)處理框架的批作業(yè)執(zhí)行時間預測方法

有效

• 申請?zhí)枺?/td>: 201710027302.1
• 申請日: 2017-01-12
• 公開（公告）號: CN106897199B
• 公開（公告）日: 2020-03-10
• 發(fā)明（設計）人: 張霄宏;趙文濤;智慧來;吳巖;曾艷陽;苗煜飛
• 申請（專利權）人: 河南理工大學
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于大數(shù)據(jù)處理框架的批作業(yè)執(zhí)行時間預測方法，其特征在于：該方法包括以下步驟：

一、為復雜作業(yè)創(chuàng)建作業(yè)模型：在作業(yè)模型中指明被派生的作業(yè)類型及執(zhí)行階段以及每個作業(yè)執(zhí)行階段的任務數(shù)量、輸入數(shù)據(jù)信息；

二、分析歷史數(shù)據(jù)，獲取各類作業(yè)在多種準確度下各種類任務的執(zhí)行時間：利用概率統(tǒng)計分析各類作業(yè)中每種任務在不同類型節(jié)點上的執(zhí)行時間，獲取每種任務在不同概率下的統(tǒng)計執(zhí)行時間；

三、預測時間片的可用時間：如果時間片處于空閑狀態(tài)，按1)預測可用時間；如果時間片處于忙狀態(tài)，按照2)和3)預測可用時間；

1)S_n,i表示節(jié)點n上的第i個時間片；表示S_n,i的可用時間，即從時刻起，時間片可用；值為-1表示S_n,i當前處于空閑狀態(tài)；

2)從上述步驟二的結果中查找與S_n,i正在執(zhí)行的任務匹配的數(shù)據(jù)，計算S_n,i的可用時間其中表示S_n,i開始執(zhí)行當前任務的時間，即當前時間片由空閑狀態(tài)轉(zhuǎn)變成忙狀態(tài)的時間；T_<x,y,ntype>和I_<x,y>是步驟二的結果中與S_n,i正在執(zhí)行的任務匹配的數(shù)據(jù)，T_<x,y,ntype>表示x類型的作業(yè)中y類型的任務在ntype類型節(jié)點上的執(zhí)行時間，I_<x,y>表示與T_<x,y,ntype>對應的輸入數(shù)據(jù)規(guī)模；I表示正占用S_n,i執(zhí)行的任務的輸入數(shù)據(jù)規(guī)模；

3)如果沒有匹配的歷史數(shù)據(jù)，則根據(jù)任務的執(zhí)行進度預測任務的完成時間，即其中T_<x,y,r>表示任務在時刻開始后已執(zhí)行的時間；P_<x,y,r>表示在T_<x,y,r>時間內(nèi)任務的執(zhí)行進度；

四、將每個時間片按照可用時間由小到大組織成隊列：對于特定種類的任務只能在特定種類的時間片上執(zhí)行的情況，需要首先對時間片分類，然后對每種類型的時間片分別建隊列，每個隊列中時間片按可用時間由小到大的順序組織；

五、將批作業(yè)開始執(zhí)行時間和結束執(zhí)行時間分別記為T_start，T_end；T_start，T_end分別取最大長整型數(shù)和最小長整型數(shù)；

六、從等待隊列中取出下一個待調(diào)度的作業(yè),記為j，若判定該作業(yè)是簡單作業(yè)，執(zhí)行步驟七；若判定是復雜作業(yè)，執(zhí)行步驟八；

七、預測簡單作業(yè)的執(zhí)行時間：

1)根據(jù)作業(yè)信息劃分執(zhí)行階段，根據(jù)執(zhí)行先后次序，由小到大對每個階段進行編號；

2)結合歷史信息和作業(yè)信息，計算在每個階段派生的任務數(shù)量及任務的輸入數(shù)據(jù)規(guī)模；

3)將j開始執(zhí)行時間和結束執(zhí)行時間分別記為T_j,start,T_j,end；T_j,start,T_j,end分別取最大長整型數(shù)和最小長整型數(shù)；

4)按照階段編號由低到高的順序，選擇下一個階段；

5)從選定階段中選擇一個任務，對于選中任務，執(zhí)行下列預測操作：

a)從選中任務對應的時間片隊列中摘取隊首時間片，記為S_n,i，即該時間片是第n個節(jié)點上的第i個；

b)如果的值為-1，則將系統(tǒng)的當前時間賦值給

c)如果時間片滿足則

d)從歷史信息中找到與該任務匹配的執(zhí)行時間T_<x,y,ntype>，即x類型作業(yè)中y類型的任務在ntype類型節(jié)點上的執(zhí)行時間；

e)重新計算時間片的可用時間，即此處I為當前任務的輸入數(shù)據(jù)規(guī)模；

f)如果S_n,i滿足則

g)按照可用時間由小到大的順序?qū)⒃摃r間片重新插入對應的時間片隊列；

6)重復執(zhí)行步驟5)，直到預測完選定階段中所有任務的執(zhí)行時間；

7)重復執(zhí)行步驟4)-5)，直到所有階段中所有任務的執(zhí)行時間都預測結束；

8)將T_j,start和T_j,end作為作業(yè)j的開始時間和結束時間返回；

八、預測復雜作業(yè)的執(zhí)行時間：

1)將作業(yè)看作簡單作業(yè)，根據(jù)步驟七預測作業(yè)的執(zhí)行時間；

2)從作業(yè)模型中找到與該作業(yè)對應的模型，根據(jù)模型創(chuàng)建由該作業(yè)觸發(fā)的所有作業(yè)并插入等待隊列末尾；

九、如果T_start>T_j,start,則T_start＝T_j,start；如果T_j,end>T_end,則T_end＝T_j,end；

十、重復步驟六至步驟九，直到等待隊列中最后一個作業(yè)的執(zhí)行時間預測結束為止；記T_end-T_star為執(zhí)行完等待隊列中現(xiàn)有作業(yè)所需的時間。