[發明專利]分級存儲方法

有效

• 申請號: 201210539437.3
• 申請日: 2012-12-13
• 公開（公告）號: CN103150263A
• 公開（公告）日: 2013-06-12
• 發明（設計）人: 張森林;馮圣中
• 申請（專利權）人: 深圳先進技術研究院
• 主分類號: G06F12/08
• 分類號: G06F12/08
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙) 44316
• 代理人: 宋鷹武

技術領域

本發明涉及一種計算機領域的存儲技術，尤其涉及一種分級存儲方法。

背景技術

隨著數據量的劇增，傳統的存儲系統由于其物理組成的限制及功能上的局限，造成了存儲系統瓶頸的出現，已不能完全滿足海量數據存儲的需要，于是集群存儲應運而生。集群存儲，是指由若干個“通用存儲設備”組成的用于存儲的集群，相對傳統的存儲系統，它有擴展性強、容易管理、性能優越的特點。集群存儲的核心是其分布式的存儲系統，一般擁有統一的命名空間，能夠將集群中的所有操作統一調度和分發，協調眾多存儲設備一起工作。近年來，集群存儲在并行I/O方面取得了顯著成效，尤其是處理工作流、讀密集型和大型文件的訪問，更是得心應手。hadoop集群就是這樣一種存儲海量數據的集群，它擁有集群存儲的大部分優點。

數據調度的目的是，利用最少的資源，占用最少的時間，完成指定的批量任務。hadoop集群中的數據調度，主要牽涉到數據分片與負載均衡技術。其中，數據分片，是將較大的文件分成較小的數據片，這些數據片會分布在不同的服務器節點上，在處理大任務時，可以先將其分割成小任務，在各個節點上并發執行，然后合并成最終的結果輸出。負載均衡，是為了緩解個別過載服務器的壓力，需要將部分負載轉移到其他負載輕的節點上，這牽涉到了集群在線擴展和數據的遷移。

當前hadoop集群中的服務器，多配備容量大、價格低的SATA硬盤，處理能力偏低且服務器分散。

發明內容

本發明為解決上述技術問題，提供一種成本低、自動化程度高的分級存儲方法，所述方法包括以下步驟：

存儲自動分級：集群啟動，自動識別不同類型的主機所處于的存儲層次；

定向存取：選擇距離近、存儲層次高、負載輕的節點用于數據的存儲和讀取；

尋找熱數據：記錄文件中各數據塊的訪問信息，判斷遷移時機，當遷移時機到來時，根據所述記錄信息，得出每個訪問數據塊的價值，按照價值從高到低形成隊列；

數據塊遷移：將價值高的數據塊遷移到存儲層次高的存儲層，將價值低的數據塊遷移到存儲層次低的存儲層。

優選地，所述方法還包括：自適應調整：數據遷移完成后，更新數據塊相關信息，重新啟動監控。

優選地，根據主機名將不同類型的主機劃分為不同的存儲層次。

優選地，在存儲自動分級時，所述存儲層次至少包括2級，存儲層次的劃分標準為：存儲層次越高，訪問性能越好，處理用戶請求的響應時間越短。

優選地，通過信息估值模型處理所述記錄信息，所述數據塊訪問信息包括訪問用戶、訪問時間以及數據塊信息。

優選地，通過隊列過濾模型和路徑匹配模型，在信息估值模型處理后得到的數據塊值隊列的基礎上，形成具體的數據遷移任務，利用遷移控制模型完成數據遷移。

優選地，所述隊列過濾模型為：根據閾值過濾掉不需要遷移的數據分段，過濾后形成的隊列中的所有數據分段都已經確定遷移方向，閾值反映了本存儲層次上前一次的遷移結果。

優選地，所述路徑匹配模型為：在隊列中所有的塊都確定了遷移方向后，確定距離較近的遷移源和遷移目標，遷移源優先選擇剩余空間較少、負載輕的節點，遷移目標優先選擇負載輕的節點。

優選地，所述遷移控制模型為：進行遷移速率控制，使用多線程分批次執行所述數據遷移任務，降低遷移過程對集群中節點訪問性能的影響。

優選地，所述更新數據塊相關信息，重新啟動監控的步驟具體為：

存儲數據塊的估值結果，以備下一次估值時使用；

對于已經被刪除的數據塊，在系統所保留的訪問記錄中刪除；

根據遷移的實際情況進行各存儲層次的閾值更新；

喚醒監視進程，等待下一次數據遷移的到來。

本發明的分層存儲方法在集群實現分級存儲技術，使用最小的成本達到最佳的性能，對集群的數據調度策略進行了優化。

附圖說明

圖1為本發明一實施例分級存儲方法流程示意圖。

具體實施方式

下面將結合附圖以及具體實施例來對本發明作進一步詳細說明。

如圖1所示，為本發明一實施例分級存儲方法流程示意圖，本發明分級存儲的方法包括以下步驟：

步驟S1：存儲自動分級。