[發明專利]基于分布式系統的數據處理方法、裝置、計算機設備

在審

• 申請號: 202010868600.5
• 申請日: 2020-08-26
• 公開（公告）號: CN112100186A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 汪中華;涂克東;林志明
• 申請（專利權）人: 金蝶軟件（中國）有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/2458;G06F16/27
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 方高明

本申請涉及一種基于分布式系統的數據處理方法、裝置、計算機設備和存儲介質。所述方法包括：接收數據刪除請求；所述數據刪除請求中包含對應的數據過濾條件；利用消息列隊分發所述數據過濾條件對應的數據刪除任務至對應的至少兩個線程；通過所述線程查詢對應的刪除數據；所述刪除數據包含級聯關系；根據所述級聯關系，檢測到所述級聯關系對應的每一層級中的數據均不為空時，以所述最小層級為起點，逐層執行數據批量刪除操作，直到將主表中的數據刪除后，得到數據刪除對應的處理結果，并將所述處理結果返回至所述數據刪除請求的所在端。采用本方法能夠高效穩定清除過期數據，節省存儲資源，有效提高數據的處理效率，同時也提高了系統運行性能。

技術領域

本申請涉及計算機技術領域，特別是涉及一種基于分布式系統的數據處理方法、裝置、計算機設備和存儲介質。

背景技術

隨著計算機技術的發展，互聯網的出現給現代生活帶來了極大的便利，在大型分布式集群系統中，通常需要對一些關系型數據進行持久化存儲，例如，智能核算調度的執行記錄數據。隨著業務的擴展，系統中存儲的執行記錄數據量巨大，部分客戶累計的數據量甚至過億，導致的問題是過期無價值的執行記錄會占用過多存儲資源，使得客戶打開調度執行記錄表系統運行緩慢，無法查看近期系統執行記錄的情況。

然而，目前的數據處理方式中，針對上述過期無價值的執行記錄占用過多存儲資源的情況時，通常通過系統數據庫管理人員對于過期無價值的執行記錄數據進行人工備份遷移，當業務發生變化時，需要修改SQL腳本之后，定期執行SQL腳本清理緩存數據，這種人工處理的方式，需要進行大量的重復工作，容易導致數據處理的效率較低。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提高數據處理效率的基于分布式系統的數據處理方法、裝置、計算機設備和存儲介質。

一種基于分布式系統的數據處理方法，所述方法包括：

接收數據刪除請求；所述數據刪除請求中包含對應的數據過濾條件；

利用消息列隊分發所述數據過濾條件對應的數據刪除任務至對應的至少兩個線程；

通過所述線程查詢對應的刪除數據；所述刪除數據包含級聯關系；

根據所述級聯關系，檢測到所述級聯關系對應的每一層級中的數據均不為空時，以所述最小層級為起點，逐層執行數據批量刪除操作，直到將主表中的數據刪除后，得到數據刪除對應的處理結果，并將所述處理結果返回至所述數據刪除請求的所在端。

在其中一個實施例中，所述通過所述線程查詢對應的刪除數據包括：

根據SQL語句中的查詢條件，基于對象關系映射關系框架從數據庫中查詢對應的刪除數據。

在其中一個實施例中，所述數據過濾條件包括數據的類型、數據的時間以及數據的功能；

所述根據SQL語句中的查詢條件，基于對象關系映射關系框架從數據庫中查詢對應的刪除數據，包括：

根據所述數據的類型、數據的時間以及數據的功能，通過設置關鍵字的取值范圍，利用物理分頁從數據庫中查詢對應的刪除數據。

在其中一個實施例中，所述根據所述級聯關系，檢測到所述級聯關系對應的每一層級中的數據均不為空時包括：

根據所述級聯關系，獲取所述刪除數據對應的主表標識，并判斷所述主表標識對應的主表數據是否為空；

當所述主表數據不為空時，則獲取所述主表中預設數量的數據，并根據所述主表標識查詢對應的第一分錄子表數據是否為空；

當所述第一分錄子表數據不為空時，則獲取所述第一分錄子表數據中預設數量的數據，并判斷所述第一分錄子表數據對應的下一層級數據是否為空，直至所述級聯關系對應的最小層級數據。