[發(fā)明專利]一種分布式任務(wù)處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610928429.6
• 申請(qǐng)日: 2016-10-31
• 公開（公告）號(hào): CN108021430B
• 公開（公告）日: 2021-11-05
• 發(fā)明（設(shè)計(jì)）人: 王志杰;浦世亮;周明耀
• 申請(qǐng)（專利權(quán)）人: 杭州海康威視數(shù)字技術(shù)股份有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 項(xiàng)京;馬敬

1.一種分布式任務(wù)處理方法，其特征在于，所述方法包括：

遍歷任務(wù)處理隊(duì)列，其中，所述任務(wù)處理隊(duì)列中包括每個(gè)運(yùn)行任務(wù)的任務(wù)信息，所述任務(wù)信息包括該任務(wù)的狀態(tài)信息；

根據(jù)所述任務(wù)信息，從所述任務(wù)處理隊(duì)列中，篩選出對(duì)應(yīng)的狀態(tài)信息超時(shí)未更新的目標(biāo)任務(wù)；其中，所述目標(biāo)任務(wù)為：導(dǎo)致計(jì)算節(jié)點(diǎn)崩潰的錯(cuò)誤任務(wù)；計(jì)算節(jié)點(diǎn)崩潰后，無法向管理節(jié)點(diǎn)上報(bào)正在運(yùn)行的任務(wù)的狀態(tài)信息；

為所述目標(biāo)任務(wù)添加非處理標(biāo)識(shí)；以使計(jì)算節(jié)點(diǎn)申請(qǐng)到所述目標(biāo)任務(wù)后，根據(jù)所述非處理標(biāo)識(shí)，將所述目標(biāo)任務(wù)透?jìng)髦翑?shù)據(jù)接收端。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述任務(wù)處理隊(duì)列中的每個(gè)任務(wù)信息中還包括該任務(wù)的崩潰次數(shù)；

所述根據(jù)所述任務(wù)信息，從所述任務(wù)處理隊(duì)列中，篩選出對(duì)應(yīng)的狀態(tài)信息超時(shí)未更新的目標(biāo)任務(wù)的步驟之后，所述方法還包括：

判斷所述目標(biāo)任務(wù)的崩潰次數(shù)是否超過崩潰閾值；

當(dāng)判斷所述目標(biāo)任務(wù)的崩潰次數(shù)超過崩潰閾值時(shí)，執(zhí)行為所述目標(biāo)任務(wù)添加非處理標(biāo)識(shí)的步驟；否則，將所述目標(biāo)任務(wù)的崩潰次數(shù)加一。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

當(dāng)判斷所述目標(biāo)任務(wù)的崩潰次數(shù)超過崩潰閾值時(shí)，判斷所述目標(biāo)任務(wù)是否達(dá)到最小任務(wù)切分單位；

當(dāng)判斷所述目標(biāo)任務(wù)達(dá)到最小任務(wù)切分單位時(shí)，執(zhí)行為所述目標(biāo)任務(wù)添加非處理標(biāo)識(shí)的步驟；

當(dāng)判斷所述目標(biāo)任務(wù)未達(dá)到最小任務(wù)切分單位時(shí)，以所述最小任務(wù)切分單位對(duì)所述目標(biāo)任務(wù)進(jìn)行切分；

并將切分后所形成的各子任務(wù)作為待處理任務(wù)發(fā)送至任務(wù)等待隊(duì)列，其中，所述任務(wù)等待隊(duì)列中包括待處理任務(wù)的任務(wù)信息，所述各子任務(wù)的任務(wù)信息中的崩潰次數(shù)的數(shù)值等于所述目標(biāo)任務(wù)的崩潰次數(shù)加一。

4.根據(jù)權(quán)利要求2或3任一項(xiàng)所述的方法，其特征在于，所述為所述目標(biāo)任務(wù)添加非處理標(biāo)識(shí)的步驟之后，所述方法還包括：

將所述目標(biāo)任務(wù)作為待處理任務(wù)發(fā)送至任務(wù)等待隊(duì)列；

接收計(jì)算節(jié)點(diǎn)發(fā)送的任務(wù)申請(qǐng)請(qǐng)求；

響應(yīng)所述任務(wù)申請(qǐng)請(qǐng)求，將所述任務(wù)等待隊(duì)列中的待處理任務(wù)調(diào)度至所述計(jì)算節(jié)點(diǎn)；

在所述任務(wù)處理隊(duì)列中添加所調(diào)度后的待處理任務(wù)的任務(wù)信息。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將所述任務(wù)等待隊(duì)列中的待處理任務(wù)調(diào)度至所述計(jì)算節(jié)點(diǎn)的步驟，包括：

判斷所述計(jì)算節(jié)點(diǎn)中是否存在崩潰次數(shù)超過所述崩潰閾值的任務(wù)；

當(dāng)判斷所述計(jì)算節(jié)點(diǎn)中存在崩潰次數(shù)超過所述崩潰閾值的任務(wù)時(shí)，從所述任務(wù)等待隊(duì)列中選擇崩潰次數(shù)低于所述崩潰閾值的待處理任務(wù)，將所選擇出的待處理任務(wù)調(diào)度至所述計(jì)算節(jié)點(diǎn)；

當(dāng)判斷所述計(jì)算節(jié)點(diǎn)中不存在崩潰次數(shù)超過所述崩潰閾值的任務(wù)時(shí)，從所述任務(wù)等待隊(duì)列中選擇崩潰次數(shù)不低于所述崩潰閾值的待處理任務(wù)，將所選擇出的待處理任務(wù)調(diào)度至所述計(jì)算節(jié)點(diǎn)。

6.一種分布式任務(wù)處理方法，其特征在于，所述方法包括：

接收管理節(jié)點(diǎn)調(diào)度的目標(biāo)任務(wù)；其中，所述目標(biāo)任務(wù)為：導(dǎo)致計(jì)算節(jié)點(diǎn)崩潰的錯(cuò)誤任務(wù)；計(jì)算節(jié)點(diǎn)崩潰后，無法向管理節(jié)點(diǎn)上報(bào)正在運(yùn)行的任務(wù)的狀態(tài)信息；

判斷所述目標(biāo)任務(wù)是否攜帶非處理標(biāo)識(shí)；

當(dāng)判斷為是時(shí)，將所述目標(biāo)任務(wù)透?jìng)髦翑?shù)據(jù)接收端。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：

當(dāng)判斷所述目標(biāo)任務(wù)未攜帶非處理標(biāo)識(shí)時(shí)，處理所述目標(biāo)任務(wù)。

8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述將所述目標(biāo)任務(wù)透?jìng)髦翑?shù)據(jù)接收端的步驟，包括：

將所述目標(biāo)任務(wù)透?jìng)髦翑?shù)據(jù)接收端，并將與所述目標(biāo)任務(wù)對(duì)應(yīng)的任務(wù)信息透?jìng)髦了鰯?shù)據(jù)接收端。

9.根據(jù)權(quán)利要求6-8任一項(xiàng)所述的方法，其特征在于，在所述接收管理節(jié)點(diǎn)調(diào)度的目標(biāo)任務(wù)的步驟之前，所述方法還包括：

向所述管理節(jié)點(diǎn)發(fā)送任務(wù)申請(qǐng)請(qǐng)求，以使所述管理節(jié)點(diǎn)根據(jù)所述任務(wù)申請(qǐng)請(qǐng)求，將所述目標(biāo)任務(wù)調(diào)度至所述計(jì)算節(jié)點(diǎn)。