[發(fā)明專利]一種分布式計(jì)算多應(yīng)用功能異步并發(fā)調(diào)度方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201110005759.5
• 申請(qǐng)日: 2011-01-12
• 公開（公告）號(hào): CN102063336A
• 公開（公告）日: 2011-05-18
• 發(fā)明（設(shè)計(jì)）人: 王勝明;徐泰山;方勇杰;許劍冰;徐健;洪姍姍;邵偉;張勁中;盧耀華
• 申請(qǐng)（專利權(quán)）人: 國(guó)網(wǎng)電力科學(xué)研究院;南京南瑞集團(tuán)公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50
• 代理公司: 南京知識(shí)律師事務(wù)所 32207
• 代理人: 汪旭東

1.一種分布式計(jì)算多應(yīng)用功能異步并發(fā)調(diào)度方法，包括以下步驟：

1)分布式計(jì)算管理平臺(tái)管理節(jié)點(diǎn)接收到計(jì)算數(shù)據(jù)后，根據(jù)系統(tǒng)的計(jì)算流程，啟動(dòng)相應(yīng)的應(yīng)用功能程序；

每個(gè)啟動(dòng)的應(yīng)用功能向分布式計(jì)算管理平臺(tái)提交計(jì)算任務(wù)信息，根據(jù)其計(jì)算任務(wù)數(shù)目以及每個(gè)計(jì)算任務(wù)的預(yù)計(jì)執(zhí)行時(shí)間，再結(jié)合計(jì)算機(jī)群的規(guī)模和計(jì)算節(jié)點(diǎn)的性能配置以及每次計(jì)算作業(yè)的調(diào)度開銷時(shí)間，確定該應(yīng)用功能的計(jì)算任務(wù)的調(diào)度粒度；

3)分布式計(jì)算管理平臺(tái)根據(jù)各個(gè)應(yīng)用功能的計(jì)算優(yōu)先級(jí)，將每個(gè)應(yīng)用功能的計(jì)算任務(wù)序列添加到分布式計(jì)算管理平臺(tái)的計(jì)算任務(wù)調(diào)度序列中；

分布式計(jì)算管理平臺(tái)按照計(jì)算節(jié)點(diǎn)“空閑優(yōu)先觸發(fā)調(diào)度”的原則，對(duì)計(jì)算任務(wù)調(diào)度序列，按照其預(yù)計(jì)執(zhí)行時(shí)間和調(diào)度粒度形成分配到該計(jì)算節(jié)點(diǎn)的計(jì)算作業(yè)（同一應(yīng)用功能計(jì)算任務(wù)的集合），將隊(duì)列中計(jì)算任務(wù)進(jìn)行組合，依次分配給計(jì)算機(jī)群中處于空閑狀態(tài)的各個(gè)計(jì)算節(jié)點(diǎn)；

5)當(dāng)計(jì)算節(jié)點(diǎn)計(jì)算完成后，向管理節(jié)點(diǎn)傳送計(jì)算結(jié)果，管理節(jié)點(diǎn)感知后，回收合并相應(yīng)的計(jì)算結(jié)果，同時(shí)將已回送計(jì)算結(jié)果的計(jì)算節(jié)點(diǎn)置為空閑狀態(tài)，并觸發(fā)新的計(jì)算節(jié)點(diǎn)空閑調(diào)度，直到所有已提交計(jì)算任務(wù)的應(yīng)用功能的計(jì)算作業(yè)都調(diào)度完畢；對(duì)于回收到計(jì)算結(jié)果的計(jì)算作業(yè)，判斷其所屬的應(yīng)用功能的所有計(jì)算作業(yè)的計(jì)算結(jié)果是否都已經(jīng)返回：若尚未完全返回，轉(zhuǎn)4)；若都已返回，則向該應(yīng)用功能返回計(jì)算結(jié)果和完成信息，同時(shí)根據(jù)系統(tǒng)的計(jì)算流程判斷是否有后續(xù)的應(yīng)用功能滿足啟動(dòng)條件，若有則啟動(dòng)滿足啟動(dòng)條件的應(yīng)用功能，轉(zhuǎn)2)；若沒有滿足啟動(dòng)條件的應(yīng)用功能，且其它滿足啟動(dòng)條件的應(yīng)用功能都計(jì)算完成后，本次流程計(jì)算結(jié)束。

2.根據(jù)權(quán)利要求1所述的分布式計(jì)算多應(yīng)用功能異步并發(fā)調(diào)度方法，其特征在于，步驟2）中多個(gè)應(yīng)用功能可以根據(jù)其計(jì)算任務(wù)的特性，以及計(jì)算機(jī)群的規(guī)模及特點(diǎn)，單獨(dú)向分布式計(jì)算管理平臺(tái)設(shè)置其計(jì)算任務(wù)的調(diào)度粒度；應(yīng)用功能的計(jì)算任務(wù)粒度由公式（1）、（2）（3）計(jì)算得出；?

??????(1)

??????(2)

??????????(3)?????

其中m是該應(yīng)用功能的計(jì)算任務(wù)數(shù)目，(1≤i≤m)是每個(gè)計(jì)算任務(wù)的預(yù)計(jì)執(zhí)行時(shí)間，n為系統(tǒng)中計(jì)算機(jī)群的計(jì)算節(jié)點(diǎn)數(shù)目，每個(gè)計(jì)算節(jié)點(diǎn)j可同時(shí)運(yùn)行(1≤j≤n)個(gè)計(jì)算任務(wù)（即計(jì)算進(jìn)程數(shù)目），為分布式計(jì)算管理平臺(tái)的計(jì)算作業(yè)調(diào)度開銷時(shí)間（主要包括通信時(shí)間和數(shù)據(jù)處理時(shí)間），為設(shè)定的分布式計(jì)算管理平臺(tái)調(diào)度開銷時(shí)間性能因子的門檻值。

3.根據(jù)權(quán)利要求1所述的分布式計(jì)算多應(yīng)用功能異步并發(fā)調(diào)度方法，其特征在于，步驟4）中各個(gè)應(yīng)用功能根據(jù)其提交的計(jì)算任務(wù)和調(diào)度粒度信息，形成各個(gè)應(yīng)用功能的計(jì)算作業(yè)序列；公式（4）要求每個(gè)計(jì)算作業(yè)包含的計(jì)算任務(wù)數(shù)量應(yīng)大于等于分配到的計(jì)算節(jié)點(diǎn)上運(yùn)行計(jì)算進(jìn)程數(shù)目(1≤k≤n)（最后一個(gè)作業(yè)除外），在滿足公式（4）的基礎(chǔ)上，公式（5）是對(duì)每個(gè)計(jì)算作業(yè)預(yù)計(jì)執(zhí)行時(shí)間的約束條件；

??????????????????（4）

?????（5）

J為該應(yīng)用功能根據(jù)調(diào)度粒度形成的計(jì)算作業(yè)數(shù)目，??（1≤j≤J）為每個(gè)計(jì)算作業(yè)包含的計(jì)算任務(wù)數(shù)目。

4.根據(jù)權(quán)利要求1所述的分布式計(jì)算多應(yīng)用功能異步并發(fā)調(diào)度方法，其特征在于，步驟5）中多個(gè)應(yīng)用功能可以異步并發(fā)地與分布式計(jì)算管理平臺(tái)進(jìn)行計(jì)算任務(wù)和計(jì)算結(jié)果的交互；當(dāng)應(yīng)用功能滿足其啟動(dòng)條件時(shí)，可以向分布式計(jì)算管理平臺(tái)提交計(jì)算任務(wù)，分布式計(jì)算管理平臺(tái)按照提交計(jì)算任務(wù)的各個(gè)應(yīng)用功能的計(jì)算優(yōu)先級(jí)進(jìn)行排隊(duì)，對(duì)同一應(yīng)用功能的多個(gè)計(jì)算任務(wù)按照調(diào)度粒度形成計(jì)算作業(yè)調(diào)度序列，對(duì)計(jì)算節(jié)點(diǎn)資源按照先空閑先調(diào)度原則進(jìn)行資源分配；當(dāng)某個(gè)應(yīng)用功能的所有計(jì)算任務(wù)都完成計(jì)算時(shí)，其計(jì)算結(jié)果可以立刻返回，實(shí)現(xiàn)計(jì)算數(shù)據(jù)和計(jì)算結(jié)果的異步并發(fā)交互，從而充分利用計(jì)算資源。