[發明專利]數據處理方法及系統、數據查詢方法及系統

有效

• 申請號: 202110291367.3
• 申請日: 2021-03-18
• 公開（公告）號: CN112860680B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 徐雪芳;謝梁洋;高國勇;楊偉麗
• 申請（專利權）人: 杭州云靈科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2453;G06F16/2455
• 代理公司: 杭州裕陽聯合專利代理有限公司 33289
• 代理人: 楊琪宇

本發明公開一種數據處理方法及系統，還公開一種數據查詢方法及系統，其中數據處理方法包括以下步驟：配置查詢維度、業務標識以及所述查詢維度和所述業務標識的映射數據；獲取包含業務標識的業務數據，并基于所述映射數據將所述業務數據作為相應查詢維度的待處理數據；基于查詢維度提取各待處理數據的唯一標識，并基于所述唯一標識為相應的待處理數據加鎖，獲得加鎖數據；基于查詢維度對所述加鎖數據進行處理，獲得相應的整合數據并將其存儲至目標數據庫后解鎖所述加鎖數據。本發明通過基于查詢維度所對應的唯一標識進行加鎖，保證避免數據處理過程中發生主鍵沖突，適用于待處理數據的種類繁多且各類數據之間關系復雜的場景。

技術領域

本發明涉及數據處理領域，尤其涉及一種基于查詢維度進行整合和存儲的數據處理技術。

背景技術

數據處理過程中往往采用鎖機制避免沖突，鎖具有多種粒度，如表級鎖、行級鎖，粒度越小鎖的開銷越大，并發能力越強，當待處理數據的數據量較大時，往往采用細粒度的鎖(行級)提高性能。

現今業務系統(記為源業務系統)往往按照業務類別將數據分類存儲于相應的數據庫(記為源數據庫)中，各類數據的數據量大且關聯關系復雜，即使采用細粒度的行級鎖，仍無法避免數據處理的過程中出現沖突。

發明內容

本發明針對待處理數據的種類繁多且各類數據之間關系復雜時，即使基于細粒度鎖進行數據處理仍會出現沖突的問題，提出一種基于唯一標識對待處理數據加鎖的數據處理技術，還提出一種基于該數據處理技術所實現的數據查詢技術。

為了解決上述技術問題，本發明通過下述技術方案得以解決：

一種數據處理方法，包括以下步驟：

配置查詢維度、業務標識以及所述查詢維度和所述業務標識的映射數據；

獲取包含業務標識的業務數據，并基于所述映射數據將所述業務數據作為相應查詢維度的待處理數據；

基于查詢維度提取各待處理數據的唯一標識，并基于所述唯一標識為相應的待處理數據加鎖，獲得加鎖數據；

基于查詢維度對所述加鎖數據進行處理，獲得相應的整合數據并將其存儲至目標數據庫后解鎖所述加鎖數據。

作為一種可實施方式：

基于查詢維度提取待處理數據的唯一標識，將所述唯一標識于預設的鎖列表中進行檢索，獲得檢索結果；

當檢索到所述唯一標識時，則將所述待處理數據作為等待數據；

當未檢索到所述唯一標識時，則為所述待處理數據加鎖，獲得加鎖數據，并將所述唯一標識添加至所述鎖列表中。

作為一種可實施方式：

當將所得整合數據存儲至目標數據庫后，基于唯一標識檢索與所述加鎖數據相關聯的等待數據，并為相應的加鎖數據解鎖；

當檢索到與所述加鎖數據相關聯的等待數據，則為所述等待數據加鎖，獲得新的加鎖數據；

當未檢索到與所述加鎖數據相關聯的等待數據，則于鎖列表中刪除所述加鎖數據所對應的唯一標識。

作為一種可實施方式：映射數據包括第一映射數據和第二映射數據；

所述第一映射數據包括相映射的查詢維度和主題列表，所述主題列表包括至少一個業務主題；

所述第二映射數據包括相映射的業務主題和標識列表，所述標識列表包括至少一個業務標識。

作為一種可實施方式：

獲得包含業務標識的業務數據；

基于所述業務標識從所述第二映射數據中提取與所述業務數據相匹配的業務主題；