[發(fā)明專利]一種基于時(shí)間滑動(dòng)窗口的自適應(yīng)分級存儲的方法

在審

• 申請?zhí)枺?/td>: 202010722766.6
• 申請日: 2020-07-24
• 公開（公告）號: CN111858469A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 陳宏宇;劉魁;曹亮
• 申請（專利權(quán)）人: 成都成信高科信息技術(shù)有限公司;成都信息工程大學(xué)
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F16/16;G06F16/172;G06F16/182
• 代理公司: 成都金英專利代理事務(wù)所(普通合伙) 51218
• 代理人: 袁英

1.一種基于時(shí)間滑動(dòng)窗口的自適應(yīng)分級存儲的方法，應(yīng)用于分布式文件存儲系統(tǒng)，其特征在于：在分布式文件存儲系統(tǒng)中建立SSD-HDD的分層式存儲結(jié)構(gòu)，文件根據(jù)系統(tǒng)制定的遷移策略在存儲結(jié)構(gòu)中動(dòng)態(tài)遷移，實(shí)現(xiàn)分級存儲；其中，文件的遷移策略為全局實(shí)時(shí)遷移策略和時(shí)間窗口遷移策略并行。

2.根據(jù)權(quán)利要求1所述的一種基于時(shí)間滑動(dòng)窗口的自適應(yīng)分級存儲的方法，其特征在于，所述實(shí)時(shí)遷移策略包括如下步驟：

S11：在數(shù)據(jù)訪問發(fā)生時(shí)，實(shí)時(shí)記錄數(shù)據(jù)的訪問次數(shù)和間隔時(shí)間；

S12：判斷數(shù)據(jù)實(shí)時(shí)訪問頻率是否超過預(yù)設(shè)的閾值，若是，則加入到遷移隊(duì)列中；

S13：根據(jù)實(shí)時(shí)記錄的存儲池容量和IO隊(duì)列長度自動(dòng)調(diào)整訪問頻率策略中的參數(shù)。

3.根據(jù)權(quán)利要求1所述的一種基于時(shí)間滑動(dòng)窗口的自適應(yīng)分級存儲的方法，其特征在于，所述時(shí)間窗口遷移策略包括如下步驟：

S21：使用哈希表的方式將數(shù)據(jù)的文件信息記錄在內(nèi)存中；

S22：當(dāng)時(shí)間窗口滑動(dòng)則刪除過期數(shù)據(jù)；

S23：更新數(shù)據(jù)后，依據(jù)時(shí)間窗口內(nèi)的遷移策略進(jìn)行分析和決策，判斷文件當(dāng)前是否存儲在適合的存儲層級，若不是，則將文件加入遷移隊(duì)列。

4.根據(jù)權(quán)利要求3所述的一種基于時(shí)間滑動(dòng)窗口的自適應(yīng)分級存儲的方法，其特征在于，所述時(shí)間窗口遷移策略步驟S23還包括如下子步驟：

S231：依次解析訪問日志內(nèi)容；

S232：使用哈希函數(shù)將文件句柄作為鍵，訪問時(shí)間的集合作為值，依次將訪問時(shí)間插入到集合中；

S233：判斷時(shí)間窗口內(nèi)的訪問次數(shù)超過設(shè)定的閾值，若是，則進(jìn)行文件的升級遷移；

S234：判斷集合中最遠(yuǎn)一次訪問時(shí)間是否超過時(shí)間窗口大小，若是，則覆蓋記錄；

S235：判斷集合中最近一次訪問時(shí)間是否超過時(shí)間窗口大小，若是，則刪除記錄；

S236：當(dāng)內(nèi)存使用率超過設(shè)定的閾值，則遍歷哈希表，檢查并刪除過期記錄。

5.根據(jù)權(quán)利要求3所述的一種基于時(shí)間滑動(dòng)窗口的自適應(yīng)分級存儲的方法，其特征在于，所述時(shí)間窗口遷移策略S23后還包括如下步驟：

S31：獲取遷移完成后的各性能系統(tǒng)數(shù)據(jù)；

S32：分析和調(diào)整時(shí)間窗口大小或時(shí)間窗口內(nèi)的遷移策略參數(shù)。

6.根據(jù)權(quán)利要求3所述的一種基于時(shí)間滑動(dòng)窗口的自適應(yīng)分級存儲的方法，其特征在于，在時(shí)間滑動(dòng)窗口內(nèi)，根據(jù)業(yè)務(wù)行為日志分析、業(yè)務(wù)數(shù)據(jù)訪問規(guī)律和設(shè)定的業(yè)務(wù)規(guī)則，利用基于內(nèi)容或知識的推薦算法對下一步可能會(huì)被訪問的文件進(jìn)行預(yù)測。

7.根據(jù)權(quán)利要求6所述的一種基于時(shí)間滑動(dòng)窗口的自適應(yīng)分級存儲的方法，其特征在于，當(dāng)預(yù)測到文件的訪問后，系統(tǒng)根據(jù)預(yù)測結(jié)果，使用標(biāo)準(zhǔn)預(yù)讀接口將數(shù)據(jù)緩存；每個(gè)存儲節(jié)點(diǎn)僅使用一個(gè)后臺線程定時(shí)定量地進(jìn)行文件的緩存更新和緩存清除。

8.根據(jù)權(quán)利要求1所述的一種基于時(shí)間滑動(dòng)窗口的自適應(yīng)分級存儲的方法，其特征在于，當(dāng)系統(tǒng)收到遷移檢查信號時(shí)，將遷移隊(duì)列中的文件進(jìn)行相應(yīng)的升級或降級遷移。