[發明專利]數據處理方法、裝置、電子設備、系統和存儲介質

在審

• 申請號: 202110075368.4
• 申請日: 2021-01-20
• 公開（公告）號: CN113760532A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 馮志恒;周海陽;鄧朝昀;楊雙雙;石曉天
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F16/182;G06F16/22;G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種數據處理方法、裝置、電子設備、系統和存儲介質，該數據處理方法包括：從目標服務器集群中確定出數據分片存儲的第一目標服務器；生成該數據分片對應的任務，并為該任務獲取分布式鎖；在成功獲取分布式鎖時，執行該任務以將該數據分片寫入第一目標服務器，本發明實施例能夠避免任務并發度過大時過度占用集群資源而產生異常。

技術領域

本發明涉及計算機技術，尤其涉及一種數據處理方法、裝置、電子設備、系統和存儲介質。

背景技術

Clickhouse作為一款優秀的列式即席查詢引擎，因其查詢性能出色，運用越來越廣泛，Clickhouse不僅支持列式存儲，還支持向量化引擎、索引式查詢等。在使用Clickhouse作為聯機分析處理(Online Analytical Processing，OLAP)引擎時，經常需要將存在于外部服務器中的數據導入Clickhouse中。在實現本發明的過程中，發明人發現，目前常用的將外部服務器中的數據導入Clickhouse的方案，容易產生異常。

發明內容

本發明實施例提供一種數據處理方法、裝置、電子設備、系統和存儲介質，能夠減少異常的產生。

第一方面，本發明實施例提供一種數據處理方法，所述方法包括：

從目標服務器集群中確定出數據分片存儲的第一目標服務器；

生成所述數據分片對應的任務，并為所述任務獲取分布式鎖；

在成功獲取所述分布式鎖時，執行所述任務以將所述數據分片寫入所述第一目標服務器。

第二方面，本發明實施例提供一種數據處理裝置，所述裝置包括：

確定模塊，用于從目標服務器集群中確定出數據分片存儲的第一目標服務器；

獲取模塊，用于生成所述數據分片對應的任務，并為所述任務獲取分布式鎖；

執行模塊，用于在成功獲取所述分布式鎖時，執行所述任務以將所述數據分片寫入所述第一目標服務器。

第三方面，本發明實施例還提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如本發明實施例中任一所述的數據處理方法。

第四方面，本發明實施例還提供了一種數據處理系統，包括源服務器、目標服務器集群、Redis服務器以及用于執行本發明實施例中任一所述的數據處理方法的電子設備。

第五方面，本發明實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如本發明實施例中任一所述的數據處理方法。

本發明實施例中，可以從目標服務器集群中確定出數據分片存儲的第一目標服務器，生成數據分片對應的任務，并為該任務獲取分布式鎖，在成功獲取分布式鎖時，執行該任務以將數據分片寫入第一目標服務器。即本發明實施例中，每個數據分片有固定寫入的目標服務器，確保了同一數據分片寫入失敗重試時，仍能寫入同一目標服務器，且通過分布式鎖控制數據寫入任務，在成功獲取分布式鎖時，才執行對應的數據寫入任務，確保了目標服務器上每次只有一個任務執行寫入，避免了任務并發度過大時過度占用集群資源而產生的異常。

附圖說明

圖1是本發明實施例提供的數據處理方法的一個流程示意圖。

圖2是本發明實施例提供的數據處理方法的另一流程示意圖。

圖3是本發明實施例提供的數據處理裝置的一個結構示意圖。

圖4是本發明實施例提供的數據處理系統的一個結構示意圖。

圖5是本發明實施例提供的電子設備的一個結構示意圖。

具體實施方式