[發(fā)明專利]分布式任務(wù)處理方法及系統(tǒng)、處理器

在審

• 申請(qǐng)?zhí)枺?/td>: 202011520681.6
• 申請(qǐng)日: 2020-12-21
• 公開（公告）號(hào): CN112650582A
• 公開（公告）日: 2021-04-13
• 發(fā)明（設(shè)計(jì)）人: 李雪峰
• 申請(qǐng)（專利權(quán)）人: 貝殼技術(shù)有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 李文清

1.一種分布式任務(wù)處理方法，其特征在于，包括：

在獲取待處理任務(wù)之后，確定本地處理器需要處理的第一類任務(wù)數(shù)量；

若所述第一類任務(wù)數(shù)量滿足預(yù)設(shè)條件，則將所述待處理任務(wù)發(fā)送至存儲(chǔ)器進(jìn)行存儲(chǔ)，以供分布式處理集群中除所述本地處理器外的其他處理器從所述存儲(chǔ)器獲取所述待處理任務(wù)并處理；

所述預(yù)設(shè)條件基于所述第一類任務(wù)數(shù)量與所述分布式處理集群中除本地處理器外的其他處理器需要處理的第二任務(wù)數(shù)量之間的差值確定。

2.根據(jù)權(quán)利要求1所述的分布式任務(wù)處理方法，其特征在于，所述將所述待處理任務(wù)發(fā)送至存儲(chǔ)器進(jìn)行存儲(chǔ)，之前還包括：

確定所述分布式處理集群中除所述本地處理器外每一其他處理器需要處理的第二類任務(wù)數(shù)量；

計(jì)算所述第一類任務(wù)數(shù)量與每一第二類任務(wù)數(shù)量之間的差值比率；

對(duì)于任一其他處理器，若所述任一其他處理器對(duì)應(yīng)的差值比率大于預(yù)設(shè)閾值，則判斷所述第一類任務(wù)數(shù)量滿足所述預(yù)設(shè)條件。

3.根據(jù)權(quán)利要求2所述的分布式任務(wù)處理方法，其特征在于，所述確定所述分布式處理集群中除所述本地處理器外每一其他處理器需要處理的第二類任務(wù)數(shù)量，具體包括：

獲取所述存儲(chǔ)器中存儲(chǔ)的集群任務(wù)信息；所述集群任務(wù)信息由所述分布式處理集群中每一處理器上報(bào)至所述存儲(chǔ)器；

基于所述集群任務(wù)信息，確定每一第二類任務(wù)數(shù)量。

4.根據(jù)權(quán)利要求2所述的分布式任務(wù)處理方法，其特征在于，所述計(jì)算所述第一類任務(wù)數(shù)量與每一第二類任務(wù)數(shù)量之間的差值比率，具體包括：

對(duì)于每一第二類任務(wù)數(shù)量，計(jì)算所述第一類任務(wù)數(shù)量與所述第二類任務(wù)數(shù)量之間的差值，并計(jì)算所述差值與所述第一類任務(wù)數(shù)量的比值，得到所述差值比率。

5.根據(jù)權(quán)利要求1所述的分布式任務(wù)處理方法，其特征在于，還包括：

實(shí)時(shí)確定本地處理器需要處理的第三類任務(wù)數(shù)量；

若所述第三類任務(wù)數(shù)量不滿足預(yù)設(shè)條件，則輪詢所述存儲(chǔ)器，并從所述存儲(chǔ)器中獲取待處理任務(wù)；

對(duì)從所述存儲(chǔ)器中獲取的待處理任務(wù)進(jìn)行處理。

6.根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的分布式任務(wù)處理方法，其特征在于，還包括：

若所述第一類任務(wù)數(shù)量不滿足所述預(yù)設(shè)條件，則對(duì)所述待處理任務(wù)進(jìn)行處理。

7.一種處理器，其特征在于，包括：

本地線程池，用于在獲取待處理任務(wù)之后，確定所述處理器需要處理的第一類任務(wù)數(shù)量；

任務(wù)協(xié)調(diào)器，用于若所述第一類任務(wù)數(shù)量滿足預(yù)設(shè)條件，則將所述待處理任務(wù)發(fā)送至存儲(chǔ)器進(jìn)行存儲(chǔ)，以供分布式處理集群中除所述處理器外的其他處理器從所述存儲(chǔ)器獲取所述待處理任務(wù)并處理；

所述預(yù)設(shè)條件基于所述第一類任務(wù)數(shù)量與所述分布式處理集群中除本地處理器外的其他處理器需要處理的第二任務(wù)數(shù)量之間的差值確定。

8.一種分布式任務(wù)處理系統(tǒng)，其特征在于，所述分布式任務(wù)處理系統(tǒng)為分布式處理集群，包括：存儲(chǔ)器以及多個(gè)如權(quán)利要求7所述的處理器，所述處理器與所述存儲(chǔ)器通信連接。

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述分布式任務(wù)處理方法的步驟。

10.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述分布式任務(wù)處理方法的步驟。