[發明專利]一種面向高性能計算及大數據的智能存儲系統

在審

• 申請號: 202010691193.5
• 申請日: 2020-07-17
• 公開（公告）號: CN111831230A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 李建彬;張彥朝;朱昊
• 申請（專利權）人: 華北電力大學
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 張文寶

1.一種面向高性能計算及大數據的智能存儲系統，其特征在于，包括：

(1)首先建立智能存儲系統的框架結構，智能存儲引擎技術是一種對文件、對象統一存儲、智能管理、智能調度的智能存儲技術，它首先能將由磁盤形成的資源池分為S3與NAS兩個不同的存儲空間，該S3存儲空間主要提供對象共享的服務；NAS存儲空間主要提供NFS、CIFS的文件共享服務，同時S3、NAS兩個不同的存儲空間還能實現空間的共享，通過支持NAS和S3數據的互相訪問，使用戶能根據業務需求，選擇不同的協議進行數據的寫入、讀出，不同協議數據相互訪問；本系統支持選擇NAS或S3協議進行數據讀寫，并支持其數據之間的相互訪問，利用不同協議的優勢，最大化的提升讀寫性能；并具備快照、壓縮、重復數據刪除、副本、塊大小可調整之存儲高級功能選項，由智能存儲引擎技術為核心還能夠為系統提供網關服務、卷管理、用戶管理、服務管理、共享管理、資源池管理、磁盤管理、日志管理、系統監控的多種智能管理和服務組件；

(2)基于上述一建立智能存儲系統的智能存儲引擎技術，采用智能存儲引擎層數據處理，同一個業務池產生的數據經過智能存儲引擎的處理，智能存儲引擎使用存儲池的概念來管理物理存儲，為了處理多個設備并提供數據冗余，引入了卷管理器的概念來提供單個設備的表示，就不必利用多個設備；智能存儲引擎將設備聚合到一個存儲池中，而不是強制創建虛擬卷；存儲池描述了包括設備布局、數據冗余存儲的物理特征，并充當可以創建文件系統的任意數據存儲設備；文件系統不再局限于單個設備，允許它們與池中的所有文件系統共享磁盤空間；不再需要預先確定文件系統的大小，因為文件系統會在分配給存儲池的磁盤空間內自動增長；當添加新存儲時，池中的所有文件系統都可以立即使用額外的磁盤空間，而無需進行額外的工作；在許多方面，存儲池的工作類似于虛擬內存系統:當將內存DIMM添加到系統中時，操作系統不會強制采用運行命令來配置內存并將其分配給各個進程；系統上的所有進程都會自動使用額外的內存，具體包括：

2.1數據處理

在數據寫入時，并不會過量寫入，總是在指針指向變更數據之前被寫入到一個新塊和校驗和中；舊的數據可能被保存下來，在發生變更的過程到，同時負載被平攤到所有的磁盤上；文件寫入是交易型的操作，要么將所有數據寫入到磁盤，要么什么都不寫入；當額外的存儲設備被加入到存儲池中的時候，條帶寬度會自動擴展以包含額外加入的存儲設備，即磁盤之類；這使得存儲池中的所有磁盤都被用到，同時負載被平攤到所有的磁盤上；

2.2優化數據存儲空間

數據在通過智能存儲引擎技術寫入物理存儲設備添加到存儲池中，將在該共享的存儲池中分配存儲空間；當S3、NAS要使用分配的存儲空間時，可以通過向存儲池中添加新的存儲設備來增加空間；文件系統會在分配給存儲池的磁盤空間內自動增長；當添加新存儲時，存儲池中的所有文件系統都可以立即使用額外的磁盤空間，當將內存DIMM添加到系統中時，操作系統不會強制運行命令來配置內存，并將其分配給各個進程，系統上的所有進程都會自動使用額外的內存；

2.3數據安全保護

1)快速創建快照，方便數據回滾：由于智能存儲引擎在讀寫操作中已經存儲了所有構建快照的數據，所以快照的創建非?？?，可克隆快照，也可以被創建；結果就是兩個獨立的文件系統共享一些列的塊；當任何一個克隆版本的文件系統被改變時，新的數據塊為了反映這些改變而創建，但是不管有多少克隆版本的存在，未改變的塊仍然在其他的克隆版本中共享；所述塊(block)由一個或多個sector(扇區)組成，文件系統中最小的操作單位；OS的虛擬文件系統從硬件設備上讀取一個塊(block)，實際為從硬件設備讀取一個或多個sector(扇區)，sector是硬件、磁盤上的最小的操作單位,是操作系統和塊設備(硬件、磁盤)之間傳送數據的單位；

每次的寫入或者是更新均不會影響到磁盤上已有的數據，可以記錄下每次寫入/更新的操作內容，這是實現快照功能的基礎，實際的快照功能實現只是在其中選擇一個從智能存儲引擎角度角度而言完整的事務作為快照點；由于智能存儲引擎延遲合并了寫入，并且判斷出是對于舊有整個block的更新，所以就不需要讀取舊有的數據，更新舊有元數據就可以了；

2)多副本冗余機制：智能存儲為塊存儲提供多副本冗余機制，用戶可以設置最多三份的數據存儲的份數，默認會為文件系統的元數據在資源池的多塊磁盤上存儲多份，避免這些關鍵數據的損壞帶來的更為嚴重的后果；

3)多重校驗機制：對文件和對象存儲提供條帶、鏡像、單重校驗、雙重校驗、三重校驗5種級別的數據冗余性；檢測到壞的數據塊時，智能存儲會從另一個冗余副本中提取正確的數據，而且會用正確的數據替換錯誤的數據；

4)元數據效驗和數據一致性支持：智能存儲文件系統采用了256位校驗和，當向磁盤寫入數據的時候，校驗和就會被作為元數據與它相關的數據分開保存；這種校驗和可以檢測出錯位寫、誤讀取和誤寫入、DMA奇偶錯誤、驅動器bug、意外過量寫入以及常見的物理存儲的衰減(bit rot)；

所有數據和元數據都使用用戶可選擇的校驗和算法進行驗證，由于卷管理層和傳統文件系統設計的需要，提供校驗和驗證的傳統文件系統在每個塊的基礎上執行校驗和驗證；校驗和的存儲方式可以檢測到這些故障，并可以從故障中恢復；所有校驗和驗證和數據恢復都在文件系統層執行，對應用程序是透明的；

2.4分布式文件系統數據管理

通過底層硬件構建的大規模的、具有高可用性、高可擴展性、高性能的分布式存儲系統，對集群數據進行管理；系統的某個部件失效后，系統依然可以提供正常服務能力；可用設備部件和數據的冗余來提高可用性；系統可靈活的應對集群的伸縮，可任意添加或刪除存儲節點和存儲設備；系統的性能隨集群的增加而線性增加。