[發(fā)明專利]定時(shí)任務(wù)數(shù)據(jù)處理方法、裝置、電子設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202211320156.9
• 申請日: 2022-10-26
• 公開（公告）號: CN115640129A
• 公開（公告）日: 2023-01-24
• 發(fā)明（設(shè)計(jì)）人: 劉曉東
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/27;G06F11/07
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 李翠

1.一種定時(shí)任務(wù)數(shù)據(jù)處理方法，其特征在于，所述方法應(yīng)用于分布式系統(tǒng)中的執(zhí)行器節(jié)點(diǎn)，其中，所述分布式系統(tǒng)包括兩個(gè)或兩個(gè)以上的所述執(zhí)行器節(jié)點(diǎn)，所述方法包括：

向數(shù)據(jù)庫節(jié)點(diǎn)發(fā)送針對目標(biāo)定時(shí)任務(wù)的分片數(shù)據(jù)的獲取請求，以使得服務(wù)器在接收到所述獲取請求后，基于所述獲取請求判斷所述執(zhí)行器節(jié)點(diǎn)是否具有獲取所述分片數(shù)據(jù)的權(quán)限，并在所述執(zhí)行器節(jié)點(diǎn)具有獲取所述分片數(shù)據(jù)的權(quán)限時(shí)，向所述執(zhí)行器節(jié)點(diǎn)返回計(jì)數(shù)器的第一當(dāng)前值，其中，所述數(shù)據(jù)庫節(jié)將所述目標(biāo)定時(shí)任務(wù)的數(shù)據(jù)劃分為M個(gè)所述分片數(shù)據(jù)，M為大于2的自然數(shù)，所述計(jì)數(shù)器的第一當(dāng)前值指向M個(gè)所述分片數(shù)據(jù)中剩余未處理數(shù)據(jù)的首個(gè)所述分片數(shù)據(jù)；

接收所述數(shù)據(jù)庫節(jié)點(diǎn)返回的所述計(jì)數(shù)器的第一當(dāng)前值并持久化所述計(jì)數(shù)器的第一當(dāng)前值；

基于所述計(jì)數(shù)器的第一當(dāng)前值確定針對所述分片數(shù)據(jù)的獲取范圍；

基于所述獲取范圍確定所述計(jì)數(shù)器的第二當(dāng)前值，并將所述計(jì)數(shù)器的第二當(dāng)前值發(fā)送至所述數(shù)據(jù)庫節(jié)點(diǎn)，以使得所述分布式系統(tǒng)中的其他執(zhí)行器節(jié)點(diǎn)基于所述數(shù)據(jù)庫節(jié)點(diǎn)返回的所述計(jì)數(shù)器的第二當(dāng)前值，從所述計(jì)數(shù)器的第二當(dāng)前值指向的所述分片數(shù)據(jù)開始處理M個(gè)所述分片數(shù)據(jù)中剩余未處理數(shù)據(jù)；

處理所述獲取范圍指向的分片數(shù)據(jù)。

2.如權(quán)利要求1所述的方法，其特征在于，所述分布式系統(tǒng)還包括分布式鎖節(jié)點(diǎn)，所述方法還包括：

當(dāng)向所述數(shù)據(jù)庫節(jié)點(diǎn)發(fā)送針對目標(biāo)定時(shí)任務(wù)的分片數(shù)據(jù)的獲取請求時(shí)，向所述分布式鎖節(jié)點(diǎn)發(fā)送上鎖請求，以使所述分布式鎖節(jié)點(diǎn)接收到所述上鎖請求后，阻止所述數(shù)據(jù)庫節(jié)點(diǎn)響應(yīng)所述分布式系統(tǒng)中的其他執(zhí)行器節(jié)點(diǎn)發(fā)送的獲取請求。

3.如權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

當(dāng)將所述計(jì)數(shù)器的第二當(dāng)前值發(fā)送至所述數(shù)據(jù)庫節(jié)點(diǎn)時(shí)，向所述分布式鎖節(jié)點(diǎn)發(fā)送解鎖請求，以使所述分布式鎖節(jié)點(diǎn)接收到所述解鎖請求后，允許所述數(shù)據(jù)庫節(jié)點(diǎn)響應(yīng)所述分布式系統(tǒng)中的其他執(zhí)行器節(jié)點(diǎn)發(fā)送的獲取請求。

4.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

當(dāng)檢測到處理所述獲取范圍指向的分片數(shù)據(jù)出現(xiàn)異常時(shí)，確定異常分片數(shù)據(jù)；

將所述異常分片數(shù)據(jù)發(fā)送至所述數(shù)據(jù)庫節(jié)點(diǎn)，以使所述數(shù)據(jù)庫節(jié)點(diǎn)將所述異常分片數(shù)據(jù)插入到M個(gè)所述分片數(shù)據(jù)的底部，并作為第M+1所述分片數(shù)據(jù)。

5.如權(quán)利要求1所述的方法，其特征在于，所述基于所述計(jì)數(shù)器的第一當(dāng)前值確定針對所述分片數(shù)據(jù)的獲取范圍，包括：

確定所述執(zhí)行器節(jié)點(diǎn)的本機(jī)性能數(shù)據(jù)；

基于所述本機(jī)性能數(shù)據(jù)和所述計(jì)數(shù)器的第一當(dāng)前值確定針對所述分片數(shù)據(jù)的所述獲取范圍。

6.如權(quán)利要求5所述的方法，其特征在于，所述基于所述本機(jī)性能數(shù)據(jù)和所述計(jì)數(shù)器的第一當(dāng)前值確定針對所述分片數(shù)據(jù)的所述獲取范圍，包括：

基于所述本機(jī)性能數(shù)據(jù)確定所述分片數(shù)據(jù)的獲取數(shù)量；

將所述計(jì)數(shù)器的第一當(dāng)前值與所述分片數(shù)據(jù)的獲取數(shù)量相加，得到所述獲取范圍的上限，其中，所述獲取范圍的下限為所述計(jì)數(shù)器的第一當(dāng)前值。

7.如權(quán)利要求5所述的方法，其特征在于，所述本機(jī)性能數(shù)據(jù)包括所述執(zhí)行器節(jié)點(diǎn)的CPU使用率。