[發(fā)明專利]一種面向高性能計(jì)算及大數(shù)據(jù)的智能存儲系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010691193.5
• 申請日: 2020-07-17
• 公開（公告）號: CN111831230A
• 公開（公告）日: 2020-10-27
• 發(fā)明（設(shè)計(jì)）人: 李建彬;張彥朝;朱昊
• 申請（專利權(quán)）人: 華北電力大學(xué)
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京眾合誠成知識產(chǎn)權(quán)代理有限公司 11246
• 代理人: 張文寶

1.一種面向高性能計(jì)算及大數(shù)據(jù)的智能存儲系統(tǒng)，其特征在于，包括：

(1)首先建立智能存儲系統(tǒng)的框架結(jié)構(gòu)，智能存儲引擎技術(shù)是一種對文件、對象統(tǒng)一存儲、智能管理、智能調(diào)度的智能存儲技術(shù)，它首先能將由磁盤形成的資源池分為S3與NAS兩個(gè)不同的存儲空間，該S3存儲空間主要提供對象共享的服務(wù)；NAS存儲空間主要提供NFS、CIFS的文件共享服務(wù)，同時(shí)S3、NAS兩個(gè)不同的存儲空間還能實(shí)現(xiàn)空間的共享，通過支持NAS和S3數(shù)據(jù)的互相訪問，使用戶能根據(jù)業(yè)務(wù)需求，選擇不同的協(xié)議進(jìn)行數(shù)據(jù)的寫入、讀出，不同協(xié)議數(shù)據(jù)相互訪問；本系統(tǒng)支持選擇NAS或S3協(xié)議進(jìn)行數(shù)據(jù)讀寫，并支持其數(shù)據(jù)之間的相互訪問，利用不同協(xié)議的優(yōu)勢，最大化的提升讀寫性能；并具備快照、壓縮、重復(fù)數(shù)據(jù)刪除、副本、塊大小可調(diào)整之存儲高級功能選項(xiàng)，由智能存儲引擎技術(shù)為核心還能夠?yàn)橄到y(tǒng)提供網(wǎng)關(guān)服務(wù)、卷管理、用戶管理、服務(wù)管理、共享管理、資源池管理、磁盤管理、日志管理、系統(tǒng)監(jiān)控的多種智能管理和服務(wù)組件；

(2)基于上述一建立智能存儲系統(tǒng)的智能存儲引擎技術(shù)，采用智能存儲引擎層數(shù)據(jù)處理，同一個(gè)業(yè)務(wù)池產(chǎn)生的數(shù)據(jù)經(jīng)過智能存儲引擎的處理，智能存儲引擎使用存儲池的概念來管理物理存儲，為了處理多個(gè)設(shè)備并提供數(shù)據(jù)冗余，引入了卷管理器的概念來提供單個(gè)設(shè)備的表示，就不必利用多個(gè)設(shè)備；智能存儲引擎將設(shè)備聚合到一個(gè)存儲池中，而不是強(qiáng)制創(chuàng)建虛擬卷；存儲池描述了包括設(shè)備布局、數(shù)據(jù)冗余存儲的物理特征，并充當(dāng)可以創(chuàng)建文件系統(tǒng)的任意數(shù)據(jù)存儲設(shè)備；文件系統(tǒng)不再局限于單個(gè)設(shè)備，允許它們與池中的所有文件系統(tǒng)共享磁盤空間；不再需要預(yù)先確定文件系統(tǒng)的大小，因?yàn)槲募到y(tǒng)會在分配給存儲池的磁盤空間內(nèi)自動增長；當(dāng)添加新存儲時(shí)，池中的所有文件系統(tǒng)都可以立即使用額外的磁盤空間，而無需進(jìn)行額外的工作；在許多方面，存儲池的工作類似于虛擬內(nèi)存系統(tǒng):當(dāng)將內(nèi)存DIMM添加到系統(tǒng)中時(shí)，操作系統(tǒng)不會強(qiáng)制采用運(yùn)行命令來配置內(nèi)存并將其分配給各個(gè)進(jìn)程；系統(tǒng)上的所有進(jìn)程都會自動使用額外的內(nèi)存，具體包括：

2.1數(shù)據(jù)處理

在數(shù)據(jù)寫入時(shí)，并不會過量寫入，總是在指針指向變更數(shù)據(jù)之前被寫入到一個(gè)新塊和校驗(yàn)和中；舊的數(shù)據(jù)可能被保存下來，在發(fā)生變更的過程到，同時(shí)負(fù)載被平攤到所有的磁盤上；文件寫入是交易型的操作，要么將所有數(shù)據(jù)寫入到磁盤，要么什么都不寫入；當(dāng)額外的存儲設(shè)備被加入到存儲池中的時(shí)候，條帶寬度會自動擴(kuò)展以包含額外加入的存儲設(shè)備，即磁盤之類；這使得存儲池中的所有磁盤都被用到，同時(shí)負(fù)載被平攤到所有的磁盤上；

2.2優(yōu)化數(shù)據(jù)存儲空間

數(shù)據(jù)在通過智能存儲引擎技術(shù)寫入物理存儲設(shè)備添加到存儲池中，將在該共享的存儲池中分配存儲空間；當(dāng)S3、NAS要使用分配的存儲空間時(shí)，可以通過向存儲池中添加新的存儲設(shè)備來增加空間；文件系統(tǒng)會在分配給存儲池的磁盤空間內(nèi)自動增長；當(dāng)添加新存儲時(shí)，存儲池中的所有文件系統(tǒng)都可以立即使用額外的磁盤空間，當(dāng)將內(nèi)存DIMM添加到系統(tǒng)中時(shí)，操作系統(tǒng)不會強(qiáng)制運(yùn)行命令來配置內(nèi)存，并將其分配給各個(gè)進(jìn)程，系統(tǒng)上的所有進(jìn)程都會自動使用額外的內(nèi)存；

2.3數(shù)據(jù)安全保護(hù)

1)快速創(chuàng)建快照，方便數(shù)據(jù)回滾：由于智能存儲引擎在讀寫操作中已經(jīng)存儲了所有構(gòu)建快照的數(shù)據(jù)，所以快照的創(chuàng)建非常快，可克隆快照，也可以被創(chuàng)建；結(jié)果就是兩個(gè)獨(dú)立的文件系統(tǒng)共享一些列的塊；當(dāng)任何一個(gè)克隆版本的文件系統(tǒng)被改變時(shí)，新的數(shù)據(jù)塊為了反映這些改變而創(chuàng)建，但是不管有多少克隆版本的存在，未改變的塊仍然在其他的克隆版本中共享；所述塊(block)由一個(gè)或多個(gè)sector(扇區(qū))組成，文件系統(tǒng)中最小的操作單位；OS的虛擬文件系統(tǒng)從硬件設(shè)備上讀取一個(gè)塊(block)，實(shí)際為從硬件設(shè)備讀取一個(gè)或多個(gè)sector(扇區(qū))，sector是硬件、磁盤上的最小的操作單位,是操作系統(tǒng)和塊設(shè)備(硬件、磁盤)之間傳送數(shù)據(jù)的單位；

每次的寫入或者是更新均不會影響到磁盤上已有的數(shù)據(jù)，可以記錄下每次寫入/更新的操作內(nèi)容，這是實(shí)現(xiàn)快照功能的基礎(chǔ)，實(shí)際的快照功能實(shí)現(xiàn)只是在其中選擇一個(gè)從智能存儲引擎角度角度而言完整的事務(wù)作為快照點(diǎn)；由于智能存儲引擎延遲合并了寫入，并且判斷出是對于舊有整個(gè)block的更新，所以就不需要讀取舊有的數(shù)據(jù)，更新舊有元數(shù)據(jù)就可以了；

2)多副本冗余機(jī)制：智能存儲為塊存儲提供多副本冗余機(jī)制，用戶可以設(shè)置最多三份的數(shù)據(jù)存儲的份數(shù)，默認(rèn)會為文件系統(tǒng)的元數(shù)據(jù)在資源池的多塊磁盤上存儲多份，避免這些關(guān)鍵數(shù)據(jù)的損壞帶來的更為嚴(yán)重的后果；

3)多重校驗(yàn)機(jī)制：對文件和對象存儲提供條帶、鏡像、單重校驗(yàn)、雙重校驗(yàn)、三重校驗(yàn)5種級別的數(shù)據(jù)冗余性；檢測到壞的數(shù)據(jù)塊時(shí)，智能存儲會從另一個(gè)冗余副本中提取正確的數(shù)據(jù)，而且會用正確的數(shù)據(jù)替換錯誤的數(shù)據(jù)；

4)元數(shù)據(jù)效驗(yàn)和數(shù)據(jù)一致性支持：智能存儲文件系統(tǒng)采用了256位校驗(yàn)和，當(dāng)向磁盤寫入數(shù)據(jù)的時(shí)候，校驗(yàn)和就會被作為元數(shù)據(jù)與它相關(guān)的數(shù)據(jù)分開保存；這種校驗(yàn)和可以檢測出錯位寫、誤讀取和誤寫入、DMA奇偶錯誤、驅(qū)動器bug、意外過量寫入以及常見的物理存儲的衰減(bit rot)；

所有數(shù)據(jù)和元數(shù)據(jù)都使用用戶可選擇的校驗(yàn)和算法進(jìn)行驗(yàn)證，由于卷管理層和傳統(tǒng)文件系統(tǒng)設(shè)計(jì)的需要，提供校驗(yàn)和驗(yàn)證的傳統(tǒng)文件系統(tǒng)在每個(gè)塊的基礎(chǔ)上執(zhí)行校驗(yàn)和驗(yàn)證；校驗(yàn)和的存儲方式可以檢測到這些故障，并可以從故障中恢復(fù)；所有校驗(yàn)和驗(yàn)證和數(shù)據(jù)恢復(fù)都在文件系統(tǒng)層執(zhí)行，對應(yīng)用程序是透明的；

2.4分布式文件系統(tǒng)數(shù)據(jù)管理

通過底層硬件構(gòu)建的大規(guī)模的、具有高可用性、高可擴(kuò)展性、高性能的分布式存儲系統(tǒng)，對集群數(shù)據(jù)進(jìn)行管理；系統(tǒng)的某個(gè)部件失效后，系統(tǒng)依然可以提供正常服務(wù)能力；可用設(shè)備部件和數(shù)據(jù)的冗余來提高可用性；系統(tǒng)可靈活的應(yīng)對集群的伸縮，可任意添加或刪除存儲節(jié)點(diǎn)和存儲設(shè)備；系統(tǒng)的性能隨集群的增加而線性增加。