[發明專利]一種面向高性能計算及大數據的智能存儲系統

在審

• 申請號: 202010691193.5
• 申請日: 2020-07-17
• 公開（公告）號: CN111831230A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 李建彬;張彥朝;朱昊
• 申請（專利權）人: 華北電力大學
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京眾合誠成知識產權代理有限公司 11246
• 代理人: 張文寶

本發明公開了屬于計算機應用技術領域的一種面向高性能計算及大數據的智能存儲系統。建立智能存儲系統的框架結構，智能存儲引擎技術是一種對文件、對象統一存儲、智能管理、智能調度的新型智能存儲技術，它首先能將由磁盤形成的資源池分為S3與NAS兩個不同的存儲空間，這里S3空間主要可提供對象共享的服務，NAS存儲空間主要提供NFS、CIFS的文件共享服務，本系統支持選擇NAS或S3協議進行數據讀寫，并支持其數據之間的相互訪問，利用不同協議的優勢，最大化的提升讀寫性能；并具備快照、壓縮、重復數據刪除、副本、塊大小可調整等存儲高級功能選項，充分利用快速部署、零運維的優勢，滿足企業業務存儲快速智能化的需求。

技術領域

本發明屬于計算機應用技術領域，特別涉及一種面向高性能計算及大數據的智能存儲系統。

背景技術

隨著大數據時代的到來，隨著企業規模的擴大、自身業務的增長，企業需要從用戶業務、數據、服務等不同的維度對存儲資源進行統一的規劃、管理和計量。企業的數據量的存儲需求迅速增長，存儲技術越來越受到業界關注，使越來越多的企業把數據存儲作為重要項目來管理，對存儲管理而言，虛擬化是一種具有廣闊前景的解決方案。存儲虛擬化技術解決了存儲設備管理效率的問題，不同類型的存儲資源整合問題，異構存儲系統的兼容性、擴展性、可靠性、容錯容災等問題。存儲虛擬化技術具有提高動態適應能力。它將存儲資源統一集中到一個大容量的資源池，無需中斷應用即可改變存儲系統和實現數據移動，對存儲系統能夠實現單點統一管理。圖1是基于存儲設備的存儲虛擬化的技術架構圖，是在存儲控制器上添加虛擬化功能，它的目的是面向用戶的應用進行優化，可以把用戶不同的存儲系統融合成單一的平臺，解決數據管理難題，并通過分級存儲實現信息的生命周期管理，從而進一步優化應用環境。這種技術主要用在同一存儲設備內部，進行數據保護和數據遷移。它的優勢是與主機無關，不占用主機資源，數據管理功能豐富。但也存在缺點：第一，一般只能實現對本設備內磁盤的虛擬化；第二，不同廠商的數據管理功能不能互操作；第三，多套存儲設備需配置多套數據管理軟件，成本較高。

發明內容

本發明的目的是提出一種面向高性能計算及大數據的智能存儲系統，其特征在于，包括：

(1)首先建立智能存儲系統的框架結構，

智能存儲引擎技術是一種對文件、對象統一存儲、智能管理、智能調度的新型智能存儲技術，它首先能將由磁盤形成的資源池分為S3與NAS兩個不同的存儲空間，這里S3空間主要可提供對象共享的服務，NAS存儲空間主要提供NFS、CIFS的文件共享服務，同時S3、NAS兩個不同的存儲空間還可實現空間的共享，通過支持NAS和S3數據的互相訪問，使用戶可以根據業務需求，選擇不同的協議進行數據的寫入讀出，不同協議數據可以相互訪問；本系統支持選擇NAS或S3協議進行數據讀寫，并支持其數據之間的相互訪問，利用不同協議的優勢，最大化的提升讀寫性能。并具備快照、壓縮、重復數據刪除、副本、塊大小可調整等存儲高級功能選項，由智能存儲引擎技術為核心還可可以為系統提供網關服務、卷管理、用戶管理、服務管理、共享管理、資源池管理、磁盤管理、日志管理、系統監控的多種智能管理和服務組件。

(2)基于上述(1)建立智能存儲系統的框架結構，智能存儲引擎技術采用智能存儲引擎層數據處理，同一個業務池產生的數據經過智能存儲引擎的處理，智能存儲引擎使用存儲池的概念來管理物理存儲，為了處理多個設備并提供數據冗余，引入了卷管理器的概念來提供單個設備的表示，就不必利用多個設備；智能存儲引擎將設備聚合到一個存儲池中，而不是強制創建虛擬卷；存儲池描述了包括設備布局、數據冗余存儲的物理特征，并充當可以創建文件系統的任意數據存儲設備；文件系統不再局限于單個設備，允許它們與池中的所有文件系統共享磁盤空間；不再需要預先確定文件系統的大小，因為文件系統會在分配給存儲池的磁盤空間內自動增長；當添加新存儲時，池中的所有文件系統都可以立即使用額外的磁盤空間，而無需進行額外的工作；在許多方面，存儲池的工作類似于虛擬內存系統:當將內存DIMM添加到系統中時，操作系統不會強制采用運行命令來配置內存并將其分配給各個進程；系統上的所有進程都會自動使用額外的內存，具體包括：