[發(fā)明專利]數(shù)據(jù)處理方法、裝置、調(diào)度服務(wù)器及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010161333.8
• 申請日: 2020-03-10
• 公開（公告）號: CN111459659A
• 公開（公告）日: 2020-07-28
• 發(fā)明（設(shè)計）人: 蔡高年
• 申請（專利權(quán)）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng);彭程

本發(fā)明實(shí)施例公開了一種數(shù)據(jù)處理方法、裝置、調(diào)度服務(wù)器及介質(zhì)，所述方法包括：接收終端發(fā)送的待處理任務(wù)，若待處理任務(wù)滿足預(yù)設(shè)拆分條件，則根據(jù)目標(biāo)拆分策略對待處理任務(wù)進(jìn)行拆分處理，得到至少一個子任務(wù)，為每個子任務(wù)添加標(biāo)識，并將添加標(biāo)識后的每個子任務(wù)發(fā)送至對應(yīng)的執(zhí)行服務(wù)器，接收每個子任務(wù)對應(yīng)的執(zhí)行服務(wù)器返回的處理結(jié)果，并根據(jù)標(biāo)識對每個子任務(wù)對應(yīng)的執(zhí)行服務(wù)器返回的處理結(jié)果進(jìn)行合并處理，得到針對待處理任務(wù)的目標(biāo)處理結(jié)果。通過實(shí)施上述方法，可以對數(shù)據(jù)進(jìn)行拆分處理，提升對于數(shù)據(jù)處理的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置、調(diào)度服務(wù)器及介質(zhì)。

背景技術(shù)

隨著計算機(jī)技術(shù)的發(fā)展，計算機(jī)可以用于處理多種類的任務(wù)，但隨著計算機(jī)性能提升的同時，任務(wù)的復(fù)雜度也與日俱增，因此可以采用計算機(jī)集群對任務(wù)進(jìn)行處理，對于一個龐大的聚合任務(wù)來說，直接將整個聚合任務(wù)一次性發(fā)布到計算機(jī)集群中，瞬間會占用大量資源，導(dǎo)致資源峰值，影響同時使用同個計算資源的其他任務(wù)，出現(xiàn)資源爭搶，嚴(yán)重情況會導(dǎo)致計算機(jī)集群宕機(jī)，在任務(wù)管理上由于任務(wù)粒度更大，不能更靈活更細(xì)粒度地管理任務(wù)，以便回收任務(wù)占用的資源。

這種聚合任務(wù)會導(dǎo)致一個超級龐大的聚合腳本，從而導(dǎo)致后續(xù)的腳本維護(hù)成本劇增，后續(xù)有新的業(yè)務(wù)統(tǒng)計邏輯，或者要變更原有計算邏輯，修改如此龐大的腳本會更容易出現(xiàn)問題，不滿足軟件設(shè)計的開閉原則，因此，如何提升針對占用資源較大的聚合任務(wù)的處理效率，成為亟待解決的問題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法、裝置、調(diào)度服務(wù)器及介質(zhì)，可以對數(shù)據(jù)進(jìn)行拆分處理，提升對于數(shù)據(jù)處理的效率。

第一方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理方法，所述方法包括：

接收終端發(fā)送的待處理任務(wù)；

若所述待處理任務(wù)滿足預(yù)設(shè)拆分條件，則根據(jù)目標(biāo)拆分策略對所述待處理任務(wù)進(jìn)行拆分處理，得到至少一個子任務(wù)，所述目標(biāo)拆分策略用于確定針對所述待處理任務(wù)的目標(biāo)拆分節(jié)點(diǎn)以及拆分處理得到的每個子任務(wù)與用于任務(wù)處理的執(zhí)行服務(wù)器之間的對應(yīng)關(guān)系；

為所述每個子任務(wù)添加標(biāo)識，并將添加標(biāo)識后的所述每個子任務(wù)發(fā)送至對應(yīng)的執(zhí)行服務(wù)器，以使得所述每個子任務(wù)對應(yīng)的執(zhí)行服務(wù)器對所述各個子任務(wù)進(jìn)行處理；

接收所述每個子任務(wù)對應(yīng)的執(zhí)行服務(wù)器返回的處理結(jié)果，所述每個子任務(wù)對應(yīng)的執(zhí)行服務(wù)器返回的處理結(jié)果中含有所述標(biāo)識；

根據(jù)所述標(biāo)識對所述每個子任務(wù)對應(yīng)的執(zhí)行服務(wù)器返回的處理結(jié)果進(jìn)行合并處理，得到針對所述待處理任務(wù)的目標(biāo)處理結(jié)果。

第二方面，本發(fā)明實(shí)施例提供了一種數(shù)據(jù)處理裝置，所述裝置包括：

接收模塊，用于接收終端發(fā)送的待處理任務(wù)；

拆分模塊，用于若所述待處理任務(wù)滿足預(yù)設(shè)拆分條件，則根據(jù)目標(biāo)拆分策略對所述待處理任務(wù)進(jìn)行拆分處理，得到至少一個子任務(wù)，所述目標(biāo)拆分策略用于確定針對所述待處理任務(wù)的目標(biāo)拆分節(jié)點(diǎn)以及拆分處理得到的每個子任務(wù)與用于任務(wù)處理的執(zhí)行服務(wù)器之間的對應(yīng)關(guān)系；

發(fā)送模塊，用于為所述每個子任務(wù)添加標(biāo)識，并將添加標(biāo)識后的所述每個子任務(wù)發(fā)送至對應(yīng)的執(zhí)行服務(wù)器，以使得所述每個子任務(wù)對應(yīng)的執(zhí)行服務(wù)器對所述各個子任務(wù)進(jìn)行處理；

所述接收模塊，還用于接收所述每個子任務(wù)對應(yīng)的執(zhí)行服務(wù)器返回的處理結(jié)果，所述每個子任務(wù)對應(yīng)的執(zhí)行服務(wù)器返回的處理結(jié)果中含有所述標(biāo)識；

合并模塊，用于根據(jù)所述標(biāo)識對所述每個子任務(wù)對應(yīng)的執(zhí)行服務(wù)器返回的處理結(jié)果進(jìn)行合并處理，得到針對所述待處理任務(wù)的目標(biāo)處理結(jié)果。