[發(fā)明專利]基于Hadoop的調(diào)度方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011390100.1
• 申請(qǐng)日: 2020-12-02
• 公開(kāi)（公告）號(hào): CN112379990A
• 公開(kāi)（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 唐鏡雯;常勝;陳俊;唐淵;陳衛(wèi)民;夏先喜;向明;范方彪;徐高明;鄧志祥;周能;邵帥
• 申請(qǐng)（專利權(quán)）人: 國(guó)網(wǎng)湖南省電力有限公司;國(guó)網(wǎng)湖南省電力有限公司輸電檢修分公司;國(guó)家電網(wǎng)有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50
• 代理公司: 長(zhǎng)沙永星專利商標(biāo)事務(wù)所(普通合伙) 43001
• 代理人: 周詠;米中業(yè)

1.一種基于Hadoop的調(diào)度方法，包括如下步驟：

S1.Fair scheduler正常調(diào)度任務(wù)；

S2.當(dāng)有節(jié)點(diǎn)Node請(qǐng)求任務(wù)時(shí)，判斷是否存在請(qǐng)求任務(wù)的類型，并根據(jù)判斷結(jié)果選定Fair scheduler調(diào)度的Container；

S3.判斷請(qǐng)求任務(wù)的節(jié)點(diǎn)Node是否被標(biāo)記，并根據(jù)判斷結(jié)果選定Fair scheduler調(diào)度的Container。

2.根據(jù)權(quán)利要求1所述的基于Hadoop的調(diào)度方法，其特征在于所述的基于Hadoop的調(diào)度方法，還包括如下步驟：當(dāng)有新的任務(wù)請(qǐng)求提交時(shí)，所有的標(biāo)志將被清除；

步驟S2所述的當(dāng)有節(jié)點(diǎn)Node請(qǐng)求任務(wù)時(shí)，判斷是否存在請(qǐng)求任務(wù)的類型，并根據(jù)判斷結(jié)果選定Fair scheduler調(diào)度的Container，具體為采用如下步驟選定Fair scheduler調(diào)度的Container：

當(dāng)有節(jié)點(diǎn)Node請(qǐng)求任務(wù)時(shí)，判斷是否存在請(qǐng)求任務(wù)的類型：

若存在請(qǐng)求任務(wù)的類型，則優(yōu)先選擇數(shù)據(jù)存儲(chǔ)在該發(fā)出請(qǐng)求的節(jié)點(diǎn)Node的Container；

若不存在請(qǐng)求任務(wù)的類型，則進(jìn)行步驟S3的判斷。

3.根據(jù)權(quán)利要求2所述的基于Hadoop的調(diào)度方法，其特征在于步驟S3所述的判斷請(qǐng)求任務(wù)的節(jié)點(diǎn)Node是否被標(biāo)記，并根據(jù)判斷結(jié)果選定Fair scheduler調(diào)度的Container，具體為采用如下步驟選定Fair scheduler調(diào)度的Container：

步驟S2的判斷結(jié)果為不存在請(qǐng)求任務(wù)的類型時(shí)，再判斷請(qǐng)求任務(wù)的節(jié)點(diǎn)Node是否被標(biāo)記：

若請(qǐng)求任務(wù)的節(jié)點(diǎn)Node未被標(biāo)記，則選擇在該應(yīng)用程序內(nèi)傳輸時(shí)間或等待時(shí)間最小且傳輸時(shí)間或等待時(shí)間小于1的Container作為Fair scheduler調(diào)度的Container；若不存在傳輸時(shí)間或等待時(shí)間小于1的Container，則放棄此次任務(wù)請(qǐng)求；

若請(qǐng)求任務(wù)的節(jié)點(diǎn)Node被標(biāo)記，則選擇在該應(yīng)用程序內(nèi)傳輸時(shí)間或等待時(shí)間最小的Container作為Fair scheduler調(diào)度的Container。

4.根據(jù)權(quán)利要求3所述的基于Hadoop的調(diào)度方法，其特征在于所述的等待時(shí)間，具體為采用如下算式計(jì)算等待時(shí)間：

若所有的節(jié)點(diǎn)均以相同的速度運(yùn)行，則：

式中v為節(jié)點(diǎn)的運(yùn)行速度；P為進(jìn)展；T_e為運(yùn)行時(shí)間；T_l為剩余運(yùn)行時(shí)間；

若所有的節(jié)點(diǎn)未以相同的速度運(yùn)行，則：

式中f(X,Y)為任務(wù)剩余時(shí)間；n為被執(zhí)行的任務(wù)所被劃分的階段數(shù)；表示被執(zhí)行的任務(wù)的第i階段；X＝{x₁,x₂,...,x_i,...,x_n}表示每個(gè)階段的P，表示每個(gè)階段的T_e。