[發(fā)明專利]分布式任務(wù)處理方法及系統(tǒng)、處理器

在審

• 申請?zhí)枺?/td>: 202011520681.6
• 申請日: 2020-12-21
• 公開（公告）號: CN112650582A
• 公開（公告）日: 2021-04-13
• 發(fā)明（設(shè)計）人: 李雪峰
• 申請（專利權(quán)）人: 貝殼技術(shù)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 李文清

本發(fā)明實施例提供一種分布式任務(wù)處理方法及系統(tǒng)、處理器，本地處理器在獲取待處理任務(wù)之后，確定自身需要處理的第一類任務(wù)數(shù)量；若第一類任務(wù)數(shù)量滿足預(yù)設(shè)條件，則將待處理任務(wù)發(fā)送至存儲器，以供分布式處理集群中除本地處理器外的其他處理器從存儲器獲取待處理任務(wù)并處理。通過判斷第一類任務(wù)數(shù)量在滿足預(yù)設(shè)條件的情況下，將待處理任務(wù)發(fā)送至存儲器供其他處理器獲取并處理，可以保證自身任務(wù)量的同時，減弱分布式處理集群中任務(wù)分配不均衡的程度。同時，既可以降低本地處理器的處理壓力，還可以縮短待處理任務(wù)的處理時間，提高待處理任務(wù)的處理效率。而且，處理器在處理任務(wù)時，僅僅依賴于外部的存儲器，完全可以做到開箱即用。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)軟件技術(shù)領(lǐng)域，尤其涉及一種分布式任務(wù)處理方法及系統(tǒng)、處理器。

背景技術(shù)

目前，對于包含有多個處理器的分布式處理集群來說，當(dāng)需要該分布式處理集群處理某個任務(wù)時，該任務(wù)通常會被直接轉(zhuǎn)發(fā)至某一處理器，由該處理器完成對該任務(wù)的處理。

這種情況下，極容易出現(xiàn)某一處理器需要處理的任務(wù)過多而分布式處理集群中其他處理器需要處理的任務(wù)過少，進(jìn)而可能會使任務(wù)過多的處理器中任務(wù)的處理時間延長，降低任務(wù)的處理效率。而且，處理器在處理任務(wù)時，通常基于離線計算框架或流計算框架實現(xiàn)，對外部的依賴較重，無法做到開箱即用。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種分布式任務(wù)處理方法及系統(tǒng)、處理器，用以解決現(xiàn)有技術(shù)中存在的缺陷。

本發(fā)明實施例提供一種分布式任務(wù)處理方法，包括：

在獲取待處理任務(wù)之后，確定本地處理器需要處理的第一類任務(wù)數(shù)量；

若所述第一類任務(wù)數(shù)量滿足預(yù)設(shè)條件，則將所述待處理任務(wù)發(fā)送至存儲器進(jìn)行存儲，以供分布式處理集群中除所述本地處理器外的其他處理器從所述存儲器獲取所述待處理任務(wù)并處理；

所述預(yù)設(shè)條件基于所述第一類任務(wù)數(shù)量與所述分布式處理集群中除本地處理器外的其他處理器需要處理的第二任務(wù)數(shù)量之間的差值確定。

根據(jù)本發(fā)明一個實施例的分布式任務(wù)處理方法，所述將所述待處理任務(wù)發(fā)送至存儲器進(jìn)行存儲，之前還包括：

確定所述分布式處理集群中除所述本地處理器外每一其他處理器需要處理的第二類任務(wù)數(shù)量；

計算所述第一類任務(wù)數(shù)量與每一第二類任務(wù)數(shù)量之間的差值比率；

對于任一其他處理器，若所述任一其他處理器對應(yīng)的差值比率大于預(yù)設(shè)閾值，則判斷所述第一類任務(wù)數(shù)量滿足所述預(yù)設(shè)條件。

根據(jù)本發(fā)明一個實施例的分布式任務(wù)處理方法，所述確定所述分布式處理集群中除所述本地處理器外每一其他處理器需要處理的第二類任務(wù)數(shù)量，具體包括：

獲取所述存儲器中存儲的集群任務(wù)信息；所述集群任務(wù)信息由所述分布式處理集群中每一處理器上報至所述存儲器；

基于所述集群任務(wù)信息，確定每一第二類任務(wù)數(shù)量。

根據(jù)本發(fā)明一個實施例的分布式任務(wù)處理方法，所述計算所述第一類任務(wù)數(shù)量與每一第二類任務(wù)數(shù)量之間的差值比率，具體包括：

對于每一第二類任務(wù)數(shù)量，計算所述第一類任務(wù)數(shù)量與所述第二類任務(wù)數(shù)量之間的差值，并計算所述差值與所述第一類任務(wù)數(shù)量的比值，得到所述差值比率。

根據(jù)本發(fā)明一個實施例的分布式任務(wù)處理方法，還包括：

實時確定本地處理器需要處理的第三類任務(wù)數(shù)量；

若所述第三類任務(wù)數(shù)量不滿足預(yù)設(shè)條件，則輪詢所述存儲器，并從所述存儲器中獲取待處理任務(wù)；

對從所述存儲器中獲取的待處理任務(wù)進(jìn)行處理。