[發明專利]一種智能存儲管理數據塊的異構存儲策略選舉方法、裝置

有效

• 申請號: 202010988256.3
• 申請日: 2020-09-18
• 公開（公告）號: CN112231294B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 周俊青;張東東
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/185;G06F16/17
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 孫玉營

本發明提供一種智能存儲管理數據塊的異構存儲策略選舉方法、裝置，所述方法包括如下步驟：獲取集群上的數據的各項指標數據；根據獲取的各項指標數據推演計算預測數據指標的綜合終參；根據數據從冷到熱的異構策略獲取不同異構策略的平衡系數；將數據指標的綜合終參與獲取的異構策略平衡系數進行比較；根據比較結果確定異構策略；將確定的異構策略與數據原有的異構策略進行對比，若一致，則保持不變，若不一致，輸出是否啟動數據自動遷移的預警信息。用于為生產環境中HDFS SSM智能存儲核心技術數據熱度感知數據塊選舉、推薦、預測最合適的異構策略，為HDFS此領域技術革新提供評估結果，提高企業平臺存儲利用率。

技術領域

本發明涉及異構存儲策略選舉技術領域，具體涉及一種智能存儲管理數據塊的異構存儲策略選舉方法、裝置。

背景技術

智能存儲管理Smart Storage Management(簡稱SSM)，提出面向分布式存儲的智能管理架構，提供面向新型存儲設備、高速網絡、新計算的存儲優化與數據優化解決方案，實現了端到端的數據管理服務。Hadoop社區在HDFS-7343(HDFS smart storagemanagement)以及相關JIRA中提出了HDFS智能存儲管理的設計，提供一個全面而靈活的存儲策略引擎，把文件屬性、元數據、數據溫度、存儲類型、EC編解碼器、可用的硬件功能、用戶、應用程序首選項等考慮在內，以方便、智能和有效地使用糾刪碼、副本或其他存儲策略，以及HDFS緩存工具、HSM產品和各種工具大型集群中的均衡器、移動器、磁盤均衡器等，未實現未發布。智能存儲的核心技術是數據熱度感知，數據熱度將有助于找出甚至預測數據訪問模式，從而能夠針對熱數據進行相應地優化處理，特別是在新型存儲設備上將獲得更高的收益。同時，該技術也有助于利用大量的存儲密集型設備或系統來存儲冷數據，從而減輕集群性能的下降，降低存儲成本。在智能存儲管理系統中通過文件元數據信息獲取數據熱度，作為存儲管理的指標之一。

Hadoop社區在HDFS-2832(Enable support for heterogeneous storages inHDFS-DN as a collection of storages)以及相關JIRA中提出了啟用對HDFS-DN中的異構存儲(作為存儲集合)的支持，新增存儲目錄列表的異構存儲支持，將DataNode支持單一存儲策略更改為支持多種存儲策略的集合，發布在Hadoop2.3.0版本；在HDFS-5682(Heterogeneous Storage phase 2-APIs to expose Storage Types)以及相關JIRA中跟蹤異構存儲工作的第二階段，該階段涉及將存儲類型公開給應用程序，并為管理員添加配額管理支持，此階段還將包括針對管理員、用戶的工具支持，發布在Hadoop2.7.0版本；在HDFS-5851(Support memory as a storage medium)以及相關JIRA中提出了HDFS提供支持內存作為存儲介質，以實現快速寫入吞吐量，未實現未發布；在HDFS-6584(SupportArchival Storage)以及相關JIRA中提出了HDFS提供支持檔案存儲，將更多節點添加到冷存儲可以獨立于群集中的計算容量來擴展存儲，發布在Hadoop2.6.0版本；在HDFS-4949(Centralized cache management in HDFS)以及相關JIRA中提出了HDFS中的集中式緩存管理，發布在Hadoop2.3.0版本；在HDFS-13069(Enable HDFS to cache data read fromexternal storage systems)以及相關JIRA中提出了啟用HDFS緩存從外部存儲系統讀取的數據，即使用提供的存儲(HDFS-9806)，HDFS可以處理存儲在外部存儲系統中的數據，當對外部存儲的訪問帶寬有限/延遲較高時，在HDFS中本地緩存此數據可以加快對數據的后續訪問，將外部數據緩存在本地磁盤和SSD上，從而加速遠程數據讀取，未實現未發布；在HDFS-7343(HDFS smart storage management)以及相關JIRA中提出了HDFS智能存儲管理的設計，提供一個全面而靈活的存儲策略引擎，把文件屬性、元數據、數據溫度、存儲類型、EC編解碼器、可用的硬件功能、用戶、應用程序首選項等考慮在內，以方便、智能和有效地使用糾刪碼、副本或其他存儲策略，以及HDFS緩存工具、HSM產品和各種工具大型集群中的均衡器、移動器、磁盤均衡器等，未實現未發布。在實時監控系統的場景下，通常只會關注最新時間段的業務數據，根據業務需求可以是最近30分鐘、最近1小時、甚至于最近幾個小時的數據，這部分被關注的數據可以稱之為熱數據，當熱數據失去時效性后，稱之為冷數據。隨著時間的推移，熱數據會變為冷數據，最新接收到的數據變為熱數據。根據熱、冷數據特點，冷數據最佳存儲策略為糾刪碼存儲，熱數據最佳存儲策略為三副本存儲。