[發明專利]大批量數據處理方法、裝置、計算機設備及存儲介質

在審

• 申請號: 201910367480.8
• 申請日: 2019-05-05
• 公開（公告）號: CN110263048A
• 公開（公告）日: 2019-09-20
• 發明（設計）人: 孫強;唐龍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/951
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 林燕云

本發明實施例公開了一種大批量數據處理方法、裝置、計算機設備及存儲介質。本發明應用于大數據中的數據更新領域。該方法包括：從預設數據庫中獲取所有待處理批次數據并對每個待處理批次數據分配批次號；將其中一個批次號的待處理批次數據作為目標批次數據，對目標批次數據添加排他鎖并處理目標批次數據；若目標批次數據處理完成，獲取目標批次數據中的初始預設字段值并根據初始預設字段值將目標批次數據提交至預設數據庫以釋放排他鎖；根據批次號將下一批次號的待處理批次數據作為目標批次數據進行處理直至所有批次號的待處理批次數據全部處理完成。通過實施本發明實施例的方法可實現保證數據不會重復抓取以及漏處理，提高大批量數據的處理速度。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種大批量數據處理方法、裝置、計算機設備及存儲介質。

背景技術

隨著經濟與技術的發展，數據呈爆發式的增長，每天都會產生巨量的數據，每天都需要處理巨量的數據。特別是在催收領域中，催收數據具有數量級大、更新變化非常頻繁的特點，通過策略引擎對動態更新的催收數據進行處理可有效地控制風險。因此，現有的催收系統每日都需要處理大批量的數據，然而大批量的數據在數據庫中的讀寫耗時長，對服務器的壓力大，容易導致出現重復抓取數據以及漏處理數據的情況。

發明內容

本發明實施例提供了一種大批量數據處理方法、裝置、計算機設備及存儲介質，旨在解決處理大批量數據耗時長，且出現重復抓取以及漏處理的問題。

第一方面，本發明實施例提供了一種大批量數據處理方法，其包括：從預設數據庫中獲取所有待處理批次數據并對每個所述待處理批次數據分配批次號；將其中一個批次號的所述待處理批次數據作為目標批次數據，對所述目標批次數據添加排他鎖并處理所述目標批次數據；若所述目標批次數據處理完成，獲取所述目標批次數據中的初始預設字段值并根據所述初始預設字段值將所述目標批次數據提交至所述預設數據庫以釋放所述排他鎖；根據所述批次號將下一批次號的所述待處理批次數據作為目標批次數據進行處理直至所有批次號的所述待處理批次數據全部處理完成。

第二方面，本發明實施例還提供了一種大批量數據處理裝置，其包括：分配單元，用于從預設數據庫中獲取所有待處理批次數據并對每個所述待處理批次數據分配批次號；排他單元，用于將其中一個批次號的所述待處理批次數據作為目標批次數據，對所述目標批次數據添加排他鎖并處理所述目標批次數據；釋放單元，用于若所述目標批次數據處理完成，獲取所述目標批次數據中的初始預設字段值并根據所述初始預設字段值將所述目標批次數據提交至所述預設數據庫以釋放所述排他鎖；處理單元，用于根據所述批次號將下一批次號的所述待處理批次數據作為目標批次數據進行處理直至所有批次號的所述待處理批次數據全部處理完成。

第三方面，本發明實施例還提供了一種計算機設備，其包括存儲器及處理器，所述存儲器上存儲有計算機程序，所述處理器執行所述計算機程序時實現上述方法。

第四方面，本發明實施例還提供了一種計算機可讀存儲介質，所述存儲介質存儲有計算機程序，所述計算機程序當被處理器執行時可實現上述方法。

本發明實施例提供了一種大批量數據處理方法、裝置、計算機設備及存儲介質。其中，所述方法包括：從預設數據庫中獲取所有待處理批次數據并對每個所述待處理批次數據分配批次號；將其中一個批次號的所述待處理批次數據作為目標批次數據，對所述目標批次數據添加排他鎖并處理所述目標批次數據；若所述目標批次數據處理完成，獲取所述目標批次數據中的初始預設字段值并根據所述初始預設字段值將所述目標批次數據提交至所述預設數據庫以釋放所述排他鎖；根據所述批次號將下一批次號的所述待處理批次數據作為目標批次數據進行處理直至所有批次號的所述待處理批次數據全部處理完成。本發明實施例由于對待處理批次數據分配批次號并添加排他鎖，可實現保證數據不會重復抓取以及漏處理，提高大批量數據的處理速度。

附圖說明