[發明專利]一種高效、低功耗的離線存儲系統及方法

在審

• 申請號: 201510013550.1
• 申請日: 2015-01-12
• 公開（公告）號: CN104598568A
• 公開（公告）日: 2015-05-06
• 發明（設計）人: 張在貴;姜偉麗;郭鵬;張立強
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F3/06;G06F12/08
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

技術領域

本發明涉及計算機應用技術領域，適用于文件系統支持元數據集群的情況，能夠在元數據集群范圍內平衡負載，提高元數據集群處理數據的效率，具體地說，特別涉及一種高效、低功耗的離線存儲系統及方法。

背景技術

隨著數據量的日益增大，需要歸檔的數據也越來越多，某些應用場景下，每天可能會產生數TB的數據，而需要歸檔的數據也在TB級別。而目前的帶庫歸檔系統性能偏低，僅在MB/s級別，每天能夠歸檔的數據量遠遠不能滿足需求。

使用磁盤存儲系統，尤其是利用Lustre集群文件系統，能夠實現GB級的數據帶寬和數百PB的系統容量，將磁盤介質的集群存儲系統作為離線存儲系統能夠極大的提高歸檔效率。

Lustre集群文件系統是美國能源部開發的一種Linux集群并行文件系統。該系統已推出1.0的發布版本，是第一個基于對象存儲設備的，開源的并行文件系統。可以說，Lustre?集群文件系統是目前開源社區中最成熟、應用最廣泛的集群文件系統，通過聚合多個存儲設備，利用Infiniband、萬兆等高速網絡技術，能夠實現很高的聚合帶寬，并具有很高的擴展性，能夠支持EB級的系統容量擴展。

Lustre集群文件系統由客戶端、兩個數據管理節點設備池通過高速的以太網或QWS?Net連接構成。數據管理節點設備包括MDS?（Metadata?Server）和MDT（Metadata?Target）。其中，MDS存儲了文件系統的基本信息，負責管理整個系統的命名空間，維護整個文件系統的目錄結構、用戶權限，并負責維護文件系統數據的一致性；MDT存儲了MDS上元數據的文件名、目錄、權限和文件布局。Lustre集群文件系統可以支持1000個客戶端節點的?I/O?請求，兩個MDS?采用共享存儲設備的?Active-Standby方式的容錯機制，存儲設備跟普通的、基于塊的集成驅動器電子裝置IDE存儲設備不同，是基于對象的智能存儲設備。

Lustre集群文件系統的架構中，元數據處理節點與數據處理節點相互獨立，元數據節點用于文件系統的命名空間管理，負責處理、保存和維護文件的元數據信息，例如文件名、文件屬性等；數據節點負責實際數據的存儲。實際的生產中，lustre集群文件系統的架構的數據處理節點OSS和數據存儲節點OST通常是兩個獨立的設備，數據存儲節點OST利用RAID等技術保證數據的安全性，例如磁盤陣列，而數據處理節點OSS通過高性能的網絡提供高帶寬。通常情況下一個數據處理節點OSS能夠管理32個數據存儲節點OST。

Lustre集群文件系統的文件元數據中包括一個重要的屬性：文件條帶布局，利用該屬性用戶可以指定或者查詢到文件數據的實際存放位置，也就是文件數據所在的數據節點OST。

但是，相對于帶庫，磁盤介質在power?on情況下的使用壽命要短很多，僅在1400天左右。在超出使用壽命后，磁盤的故障率會明顯增加，從而導致數據的丟失，嚴重影響數據安全和設備正常使用。

為了解決這一問題，亟待提出一種新的基于Lustre集群存儲系統特征的方法。以期在實現高效歸檔同時，實現低功耗，并極大延長磁盤使用壽命。

發明內容

本發明為了彌補現有技術的缺陷，提供了一種能夠延長磁盤壽命的高效、低功耗的離線存儲系統及方法。

本發明是通過如下技術方案實現的：

一種高效、低功耗的離線存儲系統，采用Lustre集群文件系統，其特征在于：所述Lustre集群文件系統采用數據處理節點OSS與數據存儲節點OST分離的架構，所述數據處理節點OSS與數據存儲節點OST以主備模式共享后端存儲空間，每對數據處理節點OSS以雙活模式共享一部分數據存儲節點OST，以實現系統的高可用HA；采用數據管理節點監控系統中數據存儲節點OST的容量占用率，并對數據存儲節點OST進行上電和下電操作，所述數據管理節點設備包括MDS和MDT。

本發明高效、低功耗的離線存儲方法，其特征在于：所述離線存儲系統使用時，每對數據處理節點OSS只有2個數據存儲節點OST上電，其他磁盤陣列下電，數據管理節點處于常上電狀態；利用lustre集群文件系統的條帶設置指令，將歸檔數據定位到上電的數據存儲節點OST中；數據管理節點監控到正在使用的數據存儲節點OST系統容量使用完時，對下一組數據存儲節點OST進行上電操作，并將歸檔操作利用lustre集群文件系統的條帶設置指令定位到新上電的數據存儲節點OST上，然后對容量使用完的存儲節點OST進行下電操作。