[發明專利]一種數據處理方法、裝置、設備及介質

在審

• 申請號: 202011181171.0
• 申請日: 2020-10-29
• 公開（公告）號: CN112286459A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 張孫旻
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉曉菲

本申請公開了一種數據處理方法、裝置、設備、介質，該方法包括：將目標設備中各個存儲層上的已存儲數據劃分成大小相同的數據塊，并獲取各個所述數據塊的訪問信息；根據所述訪問信息中的訪問次數、最近訪問時間戳以及預設調整參數確定出各個所述數據塊的熱參數值；根據所述熱參數值分別確定出各個所述存儲層上的冷數據塊和熱數據塊；將當前存儲層上的所述熱數據塊遷移存儲到存儲性能比當前存儲層高一級的存儲層，并將當前存儲層上的所述冷數據塊遷移存儲到存儲性能比當前存儲層低一級的存儲層。這樣能夠提高數據讀取時在高存儲性能的存儲層中的命中率，滿足用戶操作數據的實時性，提高系統性能。

技術領域

本申請涉及計算機技術領域，特別涉及一種數據處理方法、裝置、設備、介質。

背景技術

在大數據時代，數據的存儲以及傳輸的速率對于存儲服務器能否正常快速的運轉起著重要的作用。現有的存儲系統一般采用多層存儲來降低傳輸的延遲性，例如，部分新的數據存儲在存儲系統的高性能存儲層，通常是緩存層，而舊數據會存到響應速度較低的存儲介質中，比如說硬盤中，硬盤還分為訪問速度較快的SSD(Solid State Disk，固態硬盤)和HDD(Hard Disk Drive，機械硬盤)盤中，這樣在訪問數據的時候，需要先從熱度較高的上層存儲單元(高速緩存)中尋找相應的數據，再往較低層的存儲單元進行尋找。由于較低層的存儲介質響應速率較慢，傳輸效率，命中率也比較低，可能會影響到用戶操作數據的實時性。所以如何將熱度高的數據分離出來存儲到存儲性能高的存儲層中就成為了本領域技術人員要解決的問題。

發明內容

有鑒于此，本申請的目的在于提供一種數據處理方法、裝置、設備、介質，能夠將熱數據存儲到存儲性能高的存儲層中，將冷數據存儲到存儲性能低的存儲層中，提高數據讀取時在高存儲性能的存儲層中的命中率，滿足用戶操作數據的實時性，提高系統性能。其具體方案如下：

第一方面，本申請公開了一種數據處理方法，包括：

將目標設備中各個存儲層上的已存儲數據劃分成大小相同的數據塊，并獲取各個所述數據塊的訪問信息，其中，所述目標設備包括多個存儲層，所述訪問信息包括過去預設時長之內的訪問次數和最近訪問時間戳；

根據所述訪問次數、所述最近訪問時間戳以及預設調整參數確定出各個所述數據塊的熱參數值，其中，所述熱參數值表示所述數據塊的熱度，所述熱參數值大小與數據塊的熱度呈正相關；

根據所述熱參數值分別確定出各個所述存儲層上的冷數據塊和熱數據塊；

將當前存儲層上的所述熱數據塊遷移存儲到存儲性能比當前存儲層高一級的存儲層，并將當前存儲層上的所述冷數據塊遷移存儲到存儲性能比當前存儲層低一級的存儲層。

可選地，所述將當前存儲層上的所述冷數據塊遷移存儲到存儲性能比當前存儲層低一級的存儲層之后，還包括：

更新所述冷數據塊和所述熱數據塊對應的元數據。

可選地，所述根據所述熱參數值分別確定出各個所述存儲層上的冷數據塊和熱數據塊，包括：

將當前存儲層上的數據塊的熱參數值按照從大到小順序進行排序，得到當前存儲層的熱參數值序列；

將所述熱參數值序列中最前面的第一預設數量個值對應的所述數據塊確定為熱數據塊，并將所述熱參數值序列中最后面的第一預設數量個值對應的所述數據塊確定為冷數據塊。

可選地，所述根據所述熱參數值分別確定出各個所述存儲層上的冷數據塊和熱數據塊，包括：

將當前存儲層上大于第一預設閾值的所述熱參數值對應的所述數據塊確定為當前存儲層上的預選熱數據塊，并將小于第二預設閾值的所述熱參數值對應的所述數據塊確定為當前存儲層上的預選冷數據塊，其中，所述第一預設閾值大于所述第二預設閾值；