[發(fā)明專利]一種生物信息學(xué)高性能計算平臺的存儲配置以及優(yōu)化策略

在審

• 申請?zhí)枺?/td>: 201410203845.0
• 申請日: 2014-05-15
• 公開（公告）號: CN103984507A
• 公開（公告）日: 2014-08-13
• 發(fā)明（設(shè)計）人: 金蓮
• 申請（專利權(quán)）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F19/24
• 代理公司: 濟南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 張靖

1.一種生物信息學(xué)高性能計算平臺的存儲配置以及優(yōu)化策略，其特征在于：先確定適用于生物信息學(xué)平臺的的存儲方案配置，再確定存儲空間，存儲節(jié)點內(nèi)和計算節(jié)點的網(wǎng)絡(luò)鏈接方式，磁盤配額的設(shè)定，磁盤區(qū)間劃分；對于存儲性能優(yōu)化方面使用自動精簡存儲容量、重復(fù)數(shù)據(jù)刪除、選擇性數(shù)據(jù)壓縮方法對存儲系統(tǒng)進行優(yōu)化。

2.根據(jù)權(quán)利要求1所述的一種生物信息學(xué)高性能計算平臺的存儲配置以及優(yōu)化策略，其特征在于：選用可擴展性的并行文件系統(tǒng)Lustre，所述存儲配置以及優(yōu)化策略實現(xiàn)步驟如下：

1）首先進行元數(shù)據(jù)服務(wù)環(huán)境的搭建，包括元數(shù)據(jù)服務(wù)器和元數(shù)據(jù)存儲兩部分，?

2）搭建對象存儲服務(wù)環(huán)境：對象存儲服務(wù)環(huán)境的功能組件是對象存儲服務(wù)器和對象存儲設(shè)備，其中，對象存儲服務(wù)器接收和處理客戶端的數(shù)據(jù)對象請求；對象存儲設(shè)備保存Lustre文件系統(tǒng)的數(shù)據(jù)對象；對象存儲服務(wù)環(huán)境采用I/O節(jié)點配合FC?SAN存儲環(huán)境的方式，計算文件系統(tǒng)和數(shù)據(jù)文件系統(tǒng)配置不同的節(jié)點數(shù)目，生物信息學(xué)計算的存儲，按照1:1的比例分配計算文件系統(tǒng)和數(shù)據(jù)文件系統(tǒng)的比例；計算文件系統(tǒng)配置raid5，數(shù)據(jù)文件系統(tǒng)配置raid6；機器的配置要滿足：CPU高主頻，不少于8個物理核心，內(nèi)存每核不低于4GB；

3）配置網(wǎng)絡(luò)：IO節(jié)點配置IB?HCA卡，IO節(jié)點和SAN存儲系統(tǒng)通過光纖網(wǎng)絡(luò)互連，IO節(jié)點和計算節(jié)點間通過IB交換機互連；

4）劃分磁盤配額，將常用的共有數(shù)據(jù)劃分一塊空間，不同的課題組按照使用人數(shù)以及測序的頻率等劃分配額；

5）優(yōu)化存儲系統(tǒng)，針對不同情況分別采取下述存儲系統(tǒng)優(yōu)化方法：

a)自動精簡存儲容量：對于存儲系統(tǒng)中存儲著大量內(nèi)容為空的文件，采用Linux?自帶的find命令和rm?命令組合解決；

b?)?存儲系統(tǒng)中的數(shù)據(jù)副本，通過下述兩個方法來刪除重復(fù)數(shù)據(jù)：

第一個方法通過ls?-alR?directory?>>?tmpfile?命令將某個具體目錄及其遞歸目錄下的所有文件信息寫入到臨時文件中，然后通過掃描臨時文件，對于相同大小的文件采用兩個步驟來操作，一是讀取它們的文件名看是否相同，如果相同則刪除重復(fù)文件;?二是如果文件名不同但是大小相同則讀取它們的一個固定的偏移量32?字節(jié)，判斷它們是否相同，如果相同則刪除其中的副本；

第二個方法通過簡化多余目錄來減少存儲空間；

c?)?選擇性數(shù)據(jù)壓縮：存儲系統(tǒng)中存在著大量的文件，其中大部分文件都是沒有經(jīng)過壓縮的，且存在著壓縮空間，利用現(xiàn)有的技術(shù)(?Linux?下tar)?，采用選擇性的壓縮，來減少存儲空間。

3.根據(jù)權(quán)利要求2所述的一種生物信息學(xué)高性能計算平臺的存儲配置以及優(yōu)化策略，其特征在于：在所述步驟1）中元數(shù)據(jù)服務(wù)環(huán)境的搭建，Lustre文件系統(tǒng)通過雙機熱備方式實現(xiàn)元數(shù)據(jù)服務(wù)的高可靠運行，計算文件系統(tǒng)和數(shù)據(jù)文件系統(tǒng)分別配置兩臺元數(shù)據(jù)服務(wù)器。

4.根據(jù)權(quán)利要求2或3所述的一種生物信息學(xué)高性能計算平臺的存儲配置以及優(yōu)化策略，其特征在于：在所述步驟5）中存儲系統(tǒng)優(yōu)化方法c)?選擇性數(shù)據(jù)壓縮中，在壓縮前采用一個過濾方法，過濾掉所有的多媒體文件，然后再進行壓縮。