[發明專利]一種基于時間滑動窗口的自適應分級存儲的方法

在審

• 申請號: 202010722766.6
• 申請日: 2020-07-24
• 公開（公告）號: CN111858469A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 陳宏宇;劉魁;曹亮
• 申請（專利權）人: 成都成信高科信息技術有限公司;成都信息工程大學
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F16/16;G06F16/172;G06F16/182
• 代理公司: 成都金英專利代理事務所(普通合伙) 51218
• 代理人: 袁英

本發明公開了一種基于時間滑動窗口的自適應分級存儲的方法，應用于分布式文件存儲系統，在分布式文件存儲系統中建立SSD?HDD的分層式存儲結構，文件根據系統制定的遷移策略在存儲結構中動態遷移，實現分級存儲；其中，文件的遷移策略為全局實時遷移策略和時間窗口遷移策略并行。本發明將全局監控和實時性監控結合，使用兩種并行的遷移策略，完善文件的遷移調控機制，從而提供實時性更強的文件升級。同時，根據業務行為日志分析業務數據訪問規律和設定的業務規則，利用機器學習算法預測業務數據訪問行為，自動將預測結果所需的業務數據提前預讀到緩存中。

技術領域

本發明涉及數據分級存儲技術方法，尤其涉及一種基于時間滑動窗口的自適應分級存儲的方法，屬于軟件技術領域。

背景技術

隨著網絡技術的發展，數據呈現迅猛的增長態勢，根據IDC的調查報告顯示，在目前的數據中80%的數據都是非結構化的數據，相較于結構化數據，非結構化數據的增長速度遠遠高于結構化數據的增長速度。對于激增的非結構化數據，上層應用提出了更高的存儲和訪問性能要求：高性能、低成本以及高可擴展。進一步地，分析文件訪問的局部性和不同存儲設備的特性后，構建一種多層級的數據分級存儲系統成為一種可行的解決方案，使用高性能設備存儲頻繁訪問的熱數據以保證性能，使用價格低廉的大容量存儲設備存儲不常訪問的冷數據以節約成本。

分級存儲系統中遷移策略是數據分級的關鍵，數據遷移策略將直接決定存儲系統中數據的存儲和訪問性能。現有的分級存儲方案中，大多數僅根據全局的、歷史的訪問情況以判斷文件的冷熱程度，缺乏更加實時性的文件訪問監控和分析，從而導致文件的遷移不及時，針對突發性頻繁訪問的文件無法及時進行遷移。

發明內容

為了解決文件的遷移不及時的問題，本發明提供了一種基于時間滑動窗口的自適應分級存儲的方法。

本發明的所采用的技術方案如下：

一種基于時間滑動窗口的自適應分級存儲的方法，應用于分布式文件存儲系統，其特征在于：在分布式文件存儲系統中建立SSD-HDD的分層式存儲結構，文件根據系統制定的遷移策略在存儲結構中動態遷移，實現分級存儲；其中，文件的遷移策略為全局實時遷移策略和時間窗口遷移策略并行，實時遷移策略執行全局數據訪問的監控，時間窗口遷移策略執行一小段時間內的數據訪問監控。

所述實時遷移策略包括如下步驟：

S11：在數據訪問發生時，實時記錄數據的訪問次數和間隔時間；

S12：判斷數據實時訪問頻率是否超過預設的閾值，若是，則加入到遷移隊列中；

S13：根據實時記錄的存儲池容量、IO隊列長度等因素自動調整訪問頻率策略中的參數。

所述時間窗口遷移策略包括如下步驟：

S21：使用哈希表的方式將數據的文件句柄、文件類型、訪問時間、操作類型、操作者ID等文件信息記錄在內存中；

S22：當時間窗口滑動則刪除過期數據；

S23：更新數據后，依據時間窗口內的遷移策略進行分析和決策，判斷文件當前是否存儲在適合的存儲層級，若不是，則將文件加入遷移隊列。

所述時間窗口遷移策略步驟S23還包括如下子步驟：

S231：依次解析訪問日志內容；

S232：使用哈希函數將文件句柄作為鍵，訪問時間的集合作為值，依次將訪問時間插入到集合中；

S233：判斷時間窗口內的訪問次數超過設定的閾值，若是，則進行文件的升級遷移；

S234：判斷集合中最遠一次訪問時間是否超過時間窗口大小，若是，則覆蓋記錄；