[發明專利]批量數據處理方法、裝置、系統、計算機設備及計算機可讀存儲介質

在審

• 申請號: 202010123547.6
• 申請日: 2020-02-27
• 公開（公告）號: CN111414241A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 陳其強
• 申請（專利權）人: 平安銀行股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F9/52
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 武志峰

本申請實施例提供了一種批量數據處理方法、裝置、系統、計算機設備及計算機可讀存儲介質。屬于數據處理技術領域，進行批量數據處理時，調度控制中心所對應的計算機設備接收第一數據，獲取預先被標記為生效狀態的調度節點所對應的計算機設備作為第一類調度節點，發送第一數據至第一類調度節點，第一類調度節點按照第一預設分配算法分配第一數據至自身所調度的計算機設備所對應的處理節點，所述處理節點根據第一數據所對應的第一預設處理方式對第一數據進行處理。由于存在多個調度節點，每個調度節點及其所調度的處理節點組成的每個分組均可以獨立工作，批量數據在不同分組之間切換處理，對外服務不中斷，保證服務持續，提高了批量數據處理的效率。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種批量數據處理方法、裝置、系統、計算機設備及計算機可讀存儲介質。

背景技術

IT系統所包含的集群應用機器一般有兩種，分別用于處理實時聯機交易和異步批量交易。對于實時聯機交易需要在指定時間返回處理結果給前端系統，例如，客戶在網銀發起一筆轉賬交易，10秒內會告知客戶本次交易是成功還是失敗。對于一些大批量的交易，例如信用卡自動還款，在同一天可能涉及上百萬客戶批量扣款，此時比較適合采用異步批量交易處理，可以將交易明細數據生成批量文件，發給核心系統進行批量扣款。

對于實時聯機交易機器，各個機器節點相互獨立，沒有關聯，針對實時聯機交易機器傳統部署版本的方式，是在負載均衡設備中標記指定機器為不可用狀態，等待幾分鐘后這些機器的存量交易處理后就可以開始部署版本(部署版本指更新軟件系統)。由于每次只是部分機器停止服務，其他機器仍然在正常提供服務，所以系統是在持續提供服務，對外服務沒有發生中斷。

對于異步批量交易機器，請參閱圖1，圖1為本申請實施例提供的傳統技術中批量數據異步處理所涉及的異步批量交易機器工作流程的一個示意架構圖，需要有一個調度節點負責調度數據文件，將數據下派到處理節點進行處理，然后收集各個處理節點的處理結果，匯總處理結果返回給前端。由于需要調度節點和處理節點進行交互，由調度節點統一進行調度，如果需要在調度節點上部署版本，調度節點需要停止工作，處理節點也就無法正常工作，傳統方式所有批量交易機器需要同時停止服務，待調度節點上版本部署完成重新啟動服務后才能重新提供服務，系統在部署版本期間對外服務是完全中斷。

因此，傳統技術中，對于聯機批量文件的異步處理，對于計劃性停機，是停止對外提供服務的，例如，若要部署新版本，需要停機幾個小時等不等的時間，導致對外服務效率較低。

發明內容

本申請實施例提供了一種批量數據處理方法、裝置、系統、計算機設備及計算機可讀存儲介質，能夠解決傳統技術中批量文件異步處理中效率較低的問題。

第一方面，本申請實施例提供了一種應用于調度控制中心的批量數據處理方法，調度控制中心控制若干個調度節點，每個所述調度節點調度若干個處理節點，所述方法包括：接收外部數據源發送的第一數據；獲取預先被標記為生效狀態的調度節點作為第一類調度節點；按照第一預設發送方式發送所述第一數據至所述第一類調度節點，以使所述第一類調度節點按照第一預設分配算法分配所述第一數據至自身所調度的處理節點，以使所述處理節點根據所述第一數據所對應的第一預設處理方式對所述第一數據進行處理。

第二方面，本申請實施例還提供了一種應用于調度節點的批量數據處理方法，調度節點受控于調度控制中心，所述調度控制中心控制若干個調度節點，每個所述調度節點調度若干個處理節點，所述方法包括：發送訪問請求至所述調度控制中心所包含的互斥鎖，所述互斥鎖用于保證在同一時間只有一個所述調度節點處于生效狀態；判斷是否取得所述互斥鎖；若取得所述互斥鎖，接收所述調度控制中心發送的第二數據；按照第二預設分配算法分配所述第二數據至自身所調度的處理節點，以使所述處理節點根據所述第二數據所對應的第二預設處理方式對所述第二數據進行處理。