[發明專利]一種數據處理方法及裝置

有效

• 申請號: 201410515092.7
• 申請日: 2014-09-29
• 公開（公告）號: CN105447059B
• 公開（公告）日: 2019-10-01
• 發明（設計）人: 賈士博;熊勁;岳銀亮;劉揚寬
• 申請（專利權）人: 華為技術有限公司;中國科學院計算技術研究所
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/22
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

本發明實施例公開了一種數據處理方法及裝置，用于對熱數據進行熱度統計，并根據熱度統計的接管對數據進行重分布。本發明實施例方法包括：在與所述LSM Tree的第一目標層對應的存儲空間中確定待合并的第一數據，所述第一數據的鍵key值為第一key值；在與所述LSM Tree的第二目標層對應的存儲空間中確定key值為所述第一key值的第二數據；確定所述第一數據為最近接收的熱數據；從所述第二目標層對應的存儲空間中刪除所述第二數據；將所述第一數據從所述第一目標層對應的存儲空間遷移到所述第二目標層對應的存儲空間中；將所述第一數據重新寫入所述存儲系統的內存空間。

技術領域

本發明涉及計算機領域，尤其涉及一種數據處理方法及裝置。

背景技術

日志結構合并樹(LSM Tree，Log-structured merge-tree)是一種廣泛應用于數據存儲領域的結構。LSM Tree針對隨機I/O對持久化存儲的性能影響問題，做了如下設計：

1.數據分層放置：數據在最初時寫入的是存儲系統(以LSM Tree結構存儲數據的系統)中的內存空間，再從上到下逐漸寫入其他層次的硬盤驅動器(HDD，Hard Disk Drive)或固態硬盤(SSD，Solid State Drive)等持久化存儲空間中。

2.數據異地更新，將key-value結構的數據以log的方式寫入。

3.系統的后臺進程不斷地將數據從高層到低層(即從level0到level N)合并(merge)，將鍵(key)值相同的數據中的較舊的版本刪除，保留排序的新版本。數據隨著merge的進行，數據不斷由高層存儲空間向低層存儲空間移動。

在現有LSM Tree的存儲系統中，為了給新寫入的數據騰出存儲空間，會經常執行compact(即數據合并)機制，比較不同層次的存儲空間，將key值相同的數據中的舊數據刪除，并將key值相同的新數據移至下一層的存儲空間(如，若新數據原本在level 1，compact過后轉移至level 2)。

但在實際應用中，存在一些會被經常使用到的數據(稱為熱數據)，這些熱數據在進行compact時可能會被移動到較低層的存儲空間中，從而導致這些熱數據的讀取變得較為緩慢，進而影響到系統的整體性能。

發明內容

本發明實施例提供了一種數據處理方法及裝置，用于對熱數據進行熱度統計，并根據熱度統計的接管對數據進行重分布。

本發明實施例第一方面提供的數據處理方法，應用于按照日志結構合并樹LSMTree結構存儲數據的存儲系統中，所述方法包括：

在與所述LSM Tree的第一目標層對應的存儲空間中確定待合并的第一數據，所述第一數據的鍵key值為第一key值；

在與所述LSM Tree的第二目標層對應的存儲空間中確定key值為所述第一key值的第二數據，其中，在所述LSM Tree結構中，所述第二目標層的層級低于所述第一目標層的層級，所述第一目標層對應的存儲空間的訪問速度不低于所述第二目標層對應的存儲空間的訪問速度；

確定所述第一數據為最近接收的熱數據；

從所述第二目標層對應的存儲空間中刪除所述第二數據；

將所述第一數據從所述第一目標層對應的存儲空間遷移到所述第二目標層對應的存儲空間中；

將所述第一數據重新寫入所述存儲系統的內存空間。

結合第一方面，在第一種可能的實現方式中，所述確定所述第一數據為最近接收的熱數據包括：

在哈希鏈表查找所述第一key值，所述哈希鏈表用于根據接收的目標數據記錄并維護所述第一key值的熱度值，所述目標數據包括key值為所述第一key值的數據；