[發明專利]定時任務數據處理方法、裝置、電子設備和存儲介質

在審

• 申請號: 202211320156.9
• 申請日: 2022-10-26
• 公開（公告）號: CN115640129A
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 劉曉東
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/27;G06F11/07
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 李翠

本申請提供一種定時任務數據處理方法、裝置、電子設備和存儲介質，其中，定時任務數據處理方法包括：向數據庫節點發送針對目標定時任務的分片數據的獲取請求接收所述數據庫節點返回的所述計數器的第一當前值并持久化所述計數器的第一當前值；基于所述計數器的第一當前值確定針對所述分片數據的獲取范圍；基于所述獲取范圍確定所述計數器的第二當前值，并將所述計數器的第二當前值發送至所述數據庫節點；處理所述獲取范圍指向的分片數據等步驟。本申請能夠對大量定時任務數據進行處理，同時本申請具有可用性高、可擴展性高等優點。

技術領域

本申請涉及計算機領域，具體而言，涉及一種定時任務數據處理方法、裝置、電子設備和存儲介質。

背景技術

目前，定時任務數據的體量越來越大，針對海量的定時任務數據，如果采用單機設備處理，則需要通過擴展單機設備的物理硬件提高單機設備的性能，使單機設備的性能能夠滿足針對海量的定時任務數據的處理要求，例如，滿足執行速度等要求。然而通過單機設備的物理硬件提高單機設備的性能這一方式，由于受限于物理擴展瓶頸，其本身對數據的處理速度有限。另一方面，在單機設備出現數據處理異常時，異常數據會影響到下一個數據處理，即存在可用性低的缺點。再一方面，受限于物理擴展瓶頸，這一方式存在難以擴展的缺點，進而由于難以擴展，這一方式依然在數據特別大的情況下，其性能依然無法滿足處理要求。

發明內容

本申請實施例的目的在于提供一種定時任務數據處理方法、裝置、電子設備和存儲介質，用以在對大量定時任務數據進行處理。進一步地，本申請能夠克服以上至少一個技術問題之一。

第一方面，本發明提供一種定時任務數據處理方法，所述方法應用于分布式系統中的執行器節點，其中，所述分布式系統包括兩個或兩個以上的所述執行器節點，所述方法包括：

向數據庫節點發送針對目標定時任務的分片數據的獲取請求，以使得服務器在接收到所述獲取請求后，基于所述獲取請求判斷所述執行器節點是否具有獲取所述分片數據的權限，并在所述執行器節點具有獲取所述分片數據的權限時，向所述執行器節點返回計數器的第一當前值，其中，所述數據庫節將所述目標定時任務的數據劃分為M個所述分片數據，M為大于2的自然數，所述計數器的第一當前值指向M個所述分片數據中剩余未處理數據的首個所述分片數據；

接收所述數據庫節點返回的所述計數器的第一當前值并持久化所述計數器的第一當前值；

基于所述計數器的第一當前值確定針對所述分片數據的獲取范圍；

基于所述獲取范圍確定所述計數器的第二當前值，并將所述計數器的第二當前值發送至所述數據庫節點，以使得所述分布式系統中的其他執行器節點基于所述數據庫節點返回的所述計數器的第二當前值，從所述計數器的第二當前值指向的所述分片數據開始處理M個所述分片數據中剩余未處理數據；

處理所述獲取范圍指向的分片數據。

本申請第一方面能夠利用分布式系統中的兩個或兩個以上的執行器節點執行定時任務的數據，進而與現有技術單機設備處理定時任務的數據這一方式相比，具有更高的數據處理速度，從而具有更高的處理性能。另一方面，通過利用分布式系統中的兩個或兩個以上的執行器節點執行定時任務的數據，能夠動態匹配針對定時任務的數據的執行要求，其中，當針對定時任務的數據的執行要求提高時，能夠通過增加執行器節點的數量，匹配執行要求，且由于增加執行器節點的數量不受限于物理硬件瓶頸的限制，因此具有更優的可擴展性。

在可選的實施方式中，所述分布式系統還包括分布式鎖節點，所述方法還包括：

當向所述數據庫節點發送針對目標定時任務的分片數據的獲取請求時，向所述分布式鎖節點發送上鎖請求，以使所述分布式鎖節點接收到所述上鎖請求后，阻止所述數據庫節點響應所述分布式系統中的其他執行器節點發送的獲取請求。