[發明專利]一種熱點數據識別方法及其裝置

有效

• 申請號: 201710046381.0
• 申請日: 2017-01-22
• 公開（公告）號: CN106709068B
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 張貴勇
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/2455
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本發明公開了一種熱點數據識別方法及其裝置，包括依據每個存儲數據塊在第一預設時間段內的訪問次數確定初始熱點隊列；每隔預設時間計算每個熱點數據塊在全部熱點數據塊中所占的權重及與熱點數據塊相關聯的數據塊集合中每個數據塊與熱點數據塊的關聯度；將每個熱點數據塊的權重與自身關聯的各個數據塊的關聯度分別相乘，得到各個數據塊的熱度預測值；將具有熱度預測值的全部數據塊依據自身熱度預測值進行排序，具有多個熱度預測值的數據塊以自身最高的熱度預測值為準；將排序結果中前預設個數的數據塊加入初始熱點隊列內得到當前熱點隊列。本發明能夠有效識別熱點數據，并盡可能避免由于突發性訪問而導致的短時間內數據重復升降級遷移的情況。

技術領域

本發明涉及熱點數據管理技術領域，特別是涉及一種熱點數據識別方法及其裝置。

背景技術

為了提高I/O性能，目前采用多級存儲介質存放不同訪問熱度的數據，將大量的、不常用的冷數據存放在讀寫速度慢，成本低的存儲介質中，將少量的、經常訪問的熱點數據存放著讀寫速度快的存儲介質中，既能降低存儲成本，又能提高I/O性能。

現有的熱點數據識別方法主要是將存儲區域劃分為若干數據塊，然后對數據塊進行訪問次數統計，統計某個時間段內的所有數據塊的訪問次數，根據訪問次數計算訪問頻率，并將訪問頻率高的數據，作為熱點數據塊，放入熱點隊列中，然后將熱點隊列中不經常訪問的數據塊進行降級遷移。

但是當出現突發性的訪問需求時，短時間會出現大量次數的訪問，這種情況下采用上述識別方法會將突發性訪問的數據塊標記為熱點數據，并放入熱點隊列中，但是，該數據塊可能僅訪問這一次后就不再訪問了，故這種情況下會造成短時間內數據重復升降級遷移，增加存儲系統的負擔，造成數據抖動。

因此，如何提供一種能夠有效識別熱點數據且克服數據抖動的熱點數據識別方法及其裝置是本領域技術人員目前需要解決的問題。

發明內容

本發明的目的是提供一種熱點數據識別方法及其裝置，能夠有效識別熱點數據，并盡可能避免由于突發性訪問而導致的短時間內數據重復升降級遷移的情況。

為解決上述技術問題，本發明提供了一種熱點數據識別方法，包括：

依據每個存儲數據塊在第一預設時間段內的訪問次數確定熱點數據塊，將熱點數據塊添加進初始熱點隊列內；

每隔預設時間計算每個所述熱點數據塊在全部熱點數據塊中所占的權重；并確定存儲系統中，與每個所述熱點數據塊相關聯的數據塊集合以及所述數據塊集合中每個數據塊與所述熱點數據塊的關聯度；

將所述熱點數據塊的權重分別和自身關聯的數據塊集合中的各個數據塊的關聯度相乘，得到各個數據塊的熱度預測值；

將具有熱度預測值的全部數據塊依據自身熱度預測值的從大到小進行排序，其中，具有多個熱度預測值的數據塊以自身最高的熱度預測值為準；

將排序結果中前預設個數的數據塊標記為熱點數據塊并加入所述初始熱點隊列內得到當前熱點隊列。

優選地，所述與每個所述熱點數據塊相關聯的數據塊集合內具體包含：

除各個熱點數據塊以外的、且與所述熱點數據塊相關聯的數據塊。

優選地，所述計算每個所述熱點數據塊在全部熱點數據塊中所占的權重的過程具體為：

統計所述熱點數據塊在第二預設時間段內的訪問次數；

將所述熱點數據塊的訪問次數與全部熱點數據塊的訪問次數之和作比，得到的比值即為所述熱點數據塊所占的權重。

優選地，一個數據塊與對應的熱點數據塊的關聯度具體為：

所述熱點數據塊在最近一次被訪問之前的第三預設時間段以及之后的第四預設時間段內該數據塊被訪問的次數。