[發明專利]一種數據存儲方法和裝置

有效

• 申請號: 201610266838.4
• 申請日: 2016-04-26
• 公開（公告）號: CN107315693B
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 周鵬舉;常二鵬
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F12/0804
• 分類號: G06F12/0804
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫;陳蕾

本申請提供一種數據存儲方法和裝置，其中方法包括：根據待存儲的目標數據包含的數據主鍵，由存儲系統中獲取對應所述數據主鍵的存儲標識數值，按照預設的標識更新規則，更新所述存儲標識數值；將更新后的所述存儲標識數值與數據主鍵對應存儲至所述存儲系統；根據更新后的存儲標識數值以及預設的索引生成規則，計算對應本次數據存儲的數據索引，并將所述數據索引與待存儲的目標數據，對應存儲至所述存儲系統。本申請顯著提高了數據存取速度。

技術領域

本申請涉及網絡技術，特別涉及一種數據存儲方法和裝置。

背景技術

業務系統在處理業務的過程中，會產生多條業務數據，這些業務數據將由業務系統發送給后臺處理系統，由后臺處理系統根據這些數據進行一定的處理。相關技術中，所有業務數據可以并不是同時接收到的，后臺處理系統在每接收到一條業務數據時，可以先存儲起來，等所有業務數據都接收完成后再處理。而由于業務系統生成的數據量通常規模較大，后臺處理系統在臨時存儲時可以使用高性能分布式的緩存系統(例如tair)來存儲，待業務結束后完成對所有數據的接收時，再從緩存系統獲取所有業務數據進行處理。

相關技術中，可以按照如下方式在后臺處理系統與緩存系統之間進行數據的存儲和讀取：對于同一業務來說，生成的所有數據可以具有相同的key，比如數據中可以包括一個路徑ID，用于唯一標識一個業務的處理路徑。后臺處理系統可以在緩存系統中以該key與一個List對象對應存儲，該List對象包括所有的該業務的數據。每一次接收到一條新數據時，后臺處理系統需要根據key由緩存系統中取出List對象，將新數據合并入該List對象后，再將該List對象存儲回緩存系統。這種方式，由于業務數據越來越多，List對象越來越大，導致網絡傳輸速度變慢，數據存取速度降低，對后臺處理系統的內存占用也較大；并且，當緩存系統在數據存取中出現版本沖突時，需要重新執行一次數據的存取，而進一步降低了數據存取速度。

發明內容

有鑒于此，本申請提供一種數據存儲方法和裝置，以提高數據存取速度。

具體地，本申請是通過如下技術方案實現的：

第一方面，提供一種數據存儲方法，所述方法用于將待存儲的目標數據存儲至存儲系統，所述存儲系統用于存儲包括多個目標數據的數據集，所述多個目標數據具有相同的用于表示從屬所述數據集的數據主鍵；該方法包括：

根據待存儲的目標數據包含的數據主鍵，由存儲系統中獲取對應所述數據主鍵的存儲標識數值，按照預設的標識更新規則，更新所述存儲標識數值；

將更新后的所述存儲標識數值與數據主鍵對應存儲至所述存儲系統；

當所述存儲標識數值與數據主鍵存儲成功時，根據更新后的存儲標識數值以及預設的索引生成規則，計算對應本次數據存儲的數據索引，并將所述數據索引與待存儲的目標數據，對應存儲至所述存儲系統。

第二方面，提供一種數據存儲裝置，所述裝置用于將待存儲的目標數據存儲至存儲系統，所述存儲系統用于存儲包括多個目標數據的數據集，所述多個目標數據具有相同的用于表示從屬所述數據集的數據主鍵；該裝置包括：

標識更新模塊，用于根據待存儲的所述目標數據包含的數據主鍵，由存儲系統中獲取對應所述數據主鍵的存儲標識數值；按照預設的標識更新規則，更新所述存儲標識數值；

標識存儲模塊，用于將更新后的所述存儲標識數值與數據主鍵對應存儲至所述存儲系統；

數據存儲模塊，用于當所述存儲標識數值與數據主鍵存儲成功時，根據更新后的存儲標識數值以及預設的索引生成規則，計算對應本次數據存儲的數據索引，并將所述數據索引與待存儲的目標數據，對應存儲至所述存儲系統。