[發明專利]一種分布式任務處理方法及裝置

有效

• 申請號: 201610928429.6
• 申請日: 2016-10-31
• 公開（公告）號: CN108021430B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 王志杰;浦世亮;周明耀
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;馬敬

1.一種分布式任務處理方法，其特征在于，所述方法包括：

遍歷任務處理隊列，其中，所述任務處理隊列中包括每個運行任務的任務信息，所述任務信息包括該任務的狀態信息；

根據所述任務信息，從所述任務處理隊列中，篩選出對應的狀態信息超時未更新的目標任務；其中，所述目標任務為：導致計算節點崩潰的錯誤任務；計算節點崩潰后，無法向管理節點上報正在運行的任務的狀態信息；

為所述目標任務添加非處理標識；以使計算節點申請到所述目標任務后，根據所述非處理標識，將所述目標任務透傳至數據接收端。

2.根據權利要求1所述的方法，其特征在于，所述任務處理隊列中的每個任務信息中還包括該任務的崩潰次數；

所述根據所述任務信息，從所述任務處理隊列中，篩選出對應的狀態信息超時未更新的目標任務的步驟之后，所述方法還包括：

判斷所述目標任務的崩潰次數是否超過崩潰閾值；

當判斷所述目標任務的崩潰次數超過崩潰閾值時，執行為所述目標任務添加非處理標識的步驟；否則，將所述目標任務的崩潰次數加一。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

當判斷所述目標任務的崩潰次數超過崩潰閾值時，判斷所述目標任務是否達到最小任務切分單位；

當判斷所述目標任務達到最小任務切分單位時，執行為所述目標任務添加非處理標識的步驟；

當判斷所述目標任務未達到最小任務切分單位時，以所述最小任務切分單位對所述目標任務進行切分；

并將切分后所形成的各子任務作為待處理任務發送至任務等待隊列，其中，所述任務等待隊列中包括待處理任務的任務信息，所述各子任務的任務信息中的崩潰次數的數值等于所述目標任務的崩潰次數加一。

4.根據權利要求2或3任一項所述的方法，其特征在于，所述為所述目標任務添加非處理標識的步驟之后，所述方法還包括：

將所述目標任務作為待處理任務發送至任務等待隊列；

接收計算節點發送的任務申請請求；

響應所述任務申請請求，將所述任務等待隊列中的待處理任務調度至所述計算節點；

在所述任務處理隊列中添加所調度后的待處理任務的任務信息。

5.根據權利要求4所述的方法，其特征在于，所述將所述任務等待隊列中的待處理任務調度至所述計算節點的步驟，包括：

判斷所述計算節點中是否存在崩潰次數超過所述崩潰閾值的任務；

當判斷所述計算節點中存在崩潰次數超過所述崩潰閾值的任務時，從所述任務等待隊列中選擇崩潰次數低于所述崩潰閾值的待處理任務，將所選擇出的待處理任務調度至所述計算節點；

當判斷所述計算節點中不存在崩潰次數超過所述崩潰閾值的任務時，從所述任務等待隊列中選擇崩潰次數不低于所述崩潰閾值的待處理任務，將所選擇出的待處理任務調度至所述計算節點。

6.一種分布式任務處理方法，其特征在于，所述方法包括：

接收管理節點調度的目標任務；其中，所述目標任務為：導致計算節點崩潰的錯誤任務；計算節點崩潰后，無法向管理節點上報正在運行的任務的狀態信息；

判斷所述目標任務是否攜帶非處理標識；

當判斷為是時，將所述目標任務透傳至數據接收端。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

當判斷所述目標任務未攜帶非處理標識時，處理所述目標任務。

8.根據權利要求6所述的方法，其特征在于，所述將所述目標任務透傳至數據接收端的步驟，包括：

將所述目標任務透傳至數據接收端，并將與所述目標任務對應的任務信息透傳至所述數據接收端。

9.根據權利要求6-8任一項所述的方法，其特征在于，在所述接收管理節點調度的目標任務的步驟之前，所述方法還包括：

向所述管理節點發送任務申請請求，以使所述管理節點根據所述任務申請請求，將所述目標任務調度至所述計算節點。