[發(fā)明專(zhuān)利]任務(wù)分片方法、任務(wù)分片裝置和業(yè)務(wù)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210361924.9
• 申請(qǐng)日: 2022-04-07
• 公開(kāi)（公告）號(hào): CN114745382A
• 公開(kāi)（公告）日: 2022-07-12
• 發(fā)明（設(shè)計(jì)）人: 朱禮華;馮志強(qiáng);郝巍;馬韜;龔海軍
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)郵政儲(chǔ)蓄銀行股份有限公司
• 主分類(lèi)號(hào): H04L67/10
• 分類(lèi)號(hào): H04L67/10;H04L41/12;H04L41/0894;G06F9/48
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 霍文娟

本申請(qǐng)?zhí)峁┝艘环N任務(wù)分片方法、任務(wù)分片裝置和業(yè)務(wù)系統(tǒng)，該方法包括：獲取待處理任務(wù)的任務(wù)信息，任務(wù)信息包括執(zhí)行機(jī)名信息、執(zhí)行機(jī)地址信息、路由規(guī)則信息、分片總數(shù)信息和分片類(lèi)型信息，路由規(guī)則信息為選擇用于處理待處理任務(wù)的執(zhí)行機(jī)的策略信息；在執(zhí)行機(jī)地址信息為空的情況下，獲取執(zhí)行機(jī)集群的執(zhí)行機(jī)地址信息，得到待用執(zhí)行機(jī)地址信息；根據(jù)分片類(lèi)型信息、路由規(guī)則信息和分片總數(shù)信息確定對(duì)應(yīng)的待用執(zhí)行機(jī)地址信息，得到目標(biāo)執(zhí)行機(jī)的地址信息，目標(biāo)執(zhí)行機(jī)與待處理任務(wù)的分片任務(wù)一一對(duì)應(yīng)；將分片任務(wù)發(fā)送至對(duì)應(yīng)的目標(biāo)執(zhí)行機(jī)進(jìn)行處理。該方法解決了現(xiàn)有技術(shù)中任務(wù)分配方法的路由策略不靈活的問(wèn)題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及軟件開(kāi)發(fā)技術(shù)領(lǐng)域，具體而言，涉及一種任務(wù)分片方法、任務(wù)分片裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、處理器和業(yè)務(wù)系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)的飛速發(fā)展，無(wú)論是互聯(lián)網(wǎng)應(yīng)用或者企業(yè)級(jí)應(yīng)用，都充斥著大量的批處理任務(wù)。我們常常需要一些任務(wù)調(diào)度服務(wù)總控幫助我們解決問(wèn)題。隨著微服務(wù)化架構(gòu)的逐步演進(jìn)，單體架構(gòu)逐漸演變?yōu)榉植际健⑽⒎?wù)架構(gòu)。在此的背景下，很多原先的任務(wù)調(diào)度平臺(tái)的路由分片方式已經(jīng)不能很好的滿足復(fù)雜且多變的業(yè)務(wù)場(chǎng)景的需求。

現(xiàn)有技術(shù)中，XXL-JOB是一個(gè)分布式任務(wù)調(diào)度平臺(tái)，其核心設(shè)計(jì)目標(biāo)是開(kāi)發(fā)迅速、學(xué)習(xí)簡(jiǎn)單、輕量級(jí)、易擴(kuò)展。現(xiàn)已開(kāi)放源代碼并接入多家公司線上產(chǎn)品線，開(kāi)箱即用。它的核心路由策略是執(zhí)行器(亦叫：執(zhí)行機(jī))集群部署時(shí)提供豐富的路由策略，包括：第一個(gè)、最后一個(gè)、輪詢、隨機(jī)、一致性HASH、最不經(jīng)常使用、最近最久未使用、失效重試轉(zhuǎn)移、忙碌轉(zhuǎn)移等；它的核心分片主要采用分片廣播任務(wù)和動(dòng)態(tài)分片。其中，分片廣播任務(wù)是在執(zhí)行器集群部署時(shí)，任務(wù)路由策略選擇“分片廣播”情況下，一次任務(wù)調(diào)度將會(huì)廣播觸發(fā)集群中所有執(zhí)行器執(zhí)行一次任務(wù)，可根據(jù)分片參數(shù)開(kāi)發(fā)分片任務(wù)；而動(dòng)態(tài)分片是分片廣播任務(wù)以執(zhí)行器為維度進(jìn)行分片，支持動(dòng)態(tài)擴(kuò)容執(zhí)行器集群從而動(dòng)態(tài)增加分片數(shù)量，協(xié)同進(jìn)行業(yè)務(wù)處理。

現(xiàn)有技術(shù)的缺點(diǎn)：

1、當(dāng)在復(fù)雜且多變的業(yè)務(wù)場(chǎng)景的情況下，現(xiàn)有的分布式任務(wù)調(diào)度平臺(tái)中的路由策略無(wú)法很好的適配；

2、當(dāng)在實(shí)際生產(chǎn)環(huán)境中執(zhí)行器的數(shù)量或者有很大的變動(dòng)等情況下，現(xiàn)有的執(zhí)行器組件的配置方式不是很靈活和方便。

3、目前采用更多的分片模式是XXL-JOB中的分片廣播任務(wù)和動(dòng)態(tài)分片模式，這種模式無(wú)法很好的滿足特殊業(yè)務(wù)場(chǎng)景下的任務(wù)分片。

在背景技術(shù)部分中公開(kāi)的以上信息只是用來(lái)加強(qiáng)對(duì)本文所描述技術(shù)的背景技術(shù)的理解，因此，背景技術(shù)中可能包含某些信息，這些信息對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)并未形成在本國(guó)已知的現(xiàn)有技術(shù)。

發(fā)明內(nèi)容

本申請(qǐng)的主要目的在于提供一種任務(wù)分片方法、任務(wù)分片裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、處理器和業(yè)務(wù)系統(tǒng)，以解決現(xiàn)有技術(shù)中任務(wù)分配方法的路由策略不靈活的問(wèn)題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種任務(wù)分片方法，包括：獲取待處理任務(wù)的任務(wù)信息，所述任務(wù)信息包括執(zhí)行機(jī)名信息、執(zhí)行機(jī)地址信息、路由規(guī)則信息、分片總數(shù)信息和分片類(lèi)型信息，所述路由規(guī)則信息為選擇用于處理所述待處理任務(wù)的執(zhí)行機(jī)的策略信息；在所述執(zhí)行機(jī)地址信息為空的情況下，獲取執(zhí)行機(jī)集群的執(zhí)行機(jī)地址信息，得到待用執(zhí)行機(jī)地址信息；根據(jù)所述分片類(lèi)型信息、所述路由規(guī)則信息和所述分片總數(shù)信息確定對(duì)應(yīng)的所述待用執(zhí)行機(jī)地址信息，得到目標(biāo)執(zhí)行機(jī)的地址信息，所述目標(biāo)執(zhí)行機(jī)與所述待處理任務(wù)的分片任務(wù)一一對(duì)應(yīng)；將所述分片任務(wù)發(fā)送至對(duì)應(yīng)的所述目標(biāo)執(zhí)行機(jī)進(jìn)行處理。