[發明專利]一種智能存儲管理數據塊的異構存儲策略選舉方法、裝置

有效

• 申請號: 202010988256.3
• 申請日: 2020-09-18
• 公開（公告）號: CN112231294B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 周俊青;張東東
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/185;G06F16/17
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 孫玉營

1.一種智能存儲管理數據塊的異構存儲策略選舉方法，其特征在于，包括如下步驟：

獲取集群上的數據的各項指標數據；

根據獲取的各項指標數據推演計算預測數據指標的綜合終參；其中，綜合終參等于各項詳細指標乘各自權重后相加；

根據數據從冷到熱的異構策略獲取不同異構策略的平衡系數；

將數據指標的綜合終參與獲取的異構策略平衡系數進行比較；

根據比較結果確定異構策略；

將確定的異構策略與數據原有的異構策略進行對比，若一致，則保持不變，若不一致，輸出是否啟動數據自動遷移的預警信息;具體包括:

將確定的異構策略與數據原有的異構策略進行對比，若一致，則保持不變，若不一致，則發出黃色預警，提示管理員是否啟動數據自動遷移；

若啟動數據遷移,獲取發出紅色預警的時間x；

判斷數據自動遷移所需時間是否小于獲取的發出紅色預警的時間x，若是，發出紅色預警，調用數據塊自動遷移算法完成自動遷移數據塊，后關閉紅色預警。

2.根據權利要求1所述的智能存儲管理數據塊的異構存儲策略選舉方法，其特征在于，獲取集群上的數據的各項指標數據的步驟包括:

集群啟動時間點為time1，每隔設定的時間獲取一次集群上對應數據的數據熱度、數據大小、數據血緣、集群存算能力各項指標;

當前時間為timeN，即當前獲取的集群上的數據的各項指標數據有N組。

3.根據權利要求2所述的智能存儲管理數據塊的異構存儲策略選舉方法，其特征在于，獲取集群上對應數據的數據熱度、數據大小、數據血緣、集群存算能力各項指標的步驟包括：

通過集群數據庫中AccessCount表獲取當前數據熱度指標文件訪問頻率，通過YARN任務平臺中JOB執行情況獲取計算任務調用頻率；

通過數據大小獲取當前數據大小詳細指標文件字節長短和存儲格式；

通過集群存儲、計算性能測試指標獲取當前集群存算能力詳細指標；

通過大數據血緣關系獲取當前數據血緣詳細指標。

4.根據權利要求3所述的智能存儲管理數據塊的異構存儲策略選舉方法，其特征在于，根據獲取的各項指標數據推演計算預測數據指標的綜合終參的步驟包括：

根據獲取的各項指標數據計算（N+M）組各項詳細指標數據的數據熱度終參、數據大小終參、集群存儲能力終參、集群計算能力終參、集群存算能力終參、數據血緣終參；

根據計算的（N+M）組各項指標數據的終參得到每個時間的綜合終參；

調用BP神經網絡算法，輸入time1-timeN每個時間的綜合終參、數據熱度終參、數據大小終參、集群存算能力終參、數據血緣終參，以及time（N+1）的數據熱度終參、數據大小終參數、集群存算能力終參、數據血緣終參，預測time（N+1）的綜合終參；

循環計算time（N+x）綜合終參，其中，1xM+1。

5.一種智能存儲管理數據塊的異構存儲策略選舉裝置，其特征在于，包括指標數據獲取模塊、計算模塊、平衡系數獲取模塊、比較模塊、異構策略選取模塊、異構策略對比模塊、輸出模塊；

指標數據獲取模塊，用于獲取集群上的數據的各項指標數據；

計算模塊，用于根據獲取的各項指標數據推演計算預測數據指標的綜合終參；

平衡系數獲取模塊，用于根據數據從冷到熱的異構策略獲取不同異構策略的平衡系數；

比較模塊，用于將數據指標的綜合終參與獲取的異構策略平衡系數進行比較；

異構策略選取模塊，用于根據比較結果確定異構策略；

異構策略對比模塊，用于將確定的異構策略與數據原有的異構策略進行對比，若一致，則保持不變；

輸出模塊，用于若異構策略對比模塊對比不一致，輸出是否啟動數據自動遷移的預警信息；

該裝置還包括時間獲取模塊、判斷模塊和遷移模塊；

時間獲取模塊，用于獲取發出紅色預警的時間x；

判斷模塊，用于判斷數據自動遷移所需時間是否小于獲取的發出紅色預警的時間x，若是，輸出模塊發出紅色預警；

遷移模塊，用于當輸出模塊輸出紅色預警時，調用數據塊自動遷移算法完成自動遷移數據塊，數據遷移完成后關閉紅色預警。