[發(fā)明專(zhuān)利]面向高能物理IO密集型的可計(jì)算存儲(chǔ)系統(tǒng)及服務(wù)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111136923.6
• 申請(qǐng)日: 2021-09-27
• 公開(kāi)（公告）號(hào): CN113901016A
• 公開(kāi)（公告）日: 2022-01-07
• 發(fā)明（設(shè)計(jì)）人: 程耀東;李海波;程垚松;畢玉江;張敏行
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院高能物理研究所
• 主分類(lèi)號(hào): G06F16/182
• 分類(lèi)號(hào): G06F16/182;G06F16/172;G06F16/16;G06F16/27
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理有限公司 11200
• 代理人: 司立彬

1.一種面向高能物理IO密集型的可計(jì)算存儲(chǔ)服務(wù)方法，其步驟包括：

1)利用元數(shù)據(jù)解析模塊對(duì)客戶端發(fā)來(lái)的文件訪問(wèn)請(qǐng)求進(jìn)行解析過(guò)濾，刪除請(qǐng)求文件的邏輯地址中除調(diào)用可計(jì)算存儲(chǔ)功能所需參數(shù)之外的參數(shù)，并將修改后的該文件訪問(wèn)請(qǐng)求轉(zhuǎn)發(fā)給分布式存儲(chǔ)系統(tǒng)中的元數(shù)據(jù)服務(wù)進(jìn)程MGM，使其能夠正確獲得文件信息，并將文件所在物理地址、文件大小信息傳遞回客戶端，用于客戶端根據(jù)返回信息重定向發(fā)送文件訪問(wèn)請(qǐng)求到分布式存儲(chǔ)系統(tǒng)中存儲(chǔ)所請(qǐng)求文件所在FST服務(wù)器的存儲(chǔ)服務(wù)進(jìn)程FST；

2)存儲(chǔ)服務(wù)解析模塊根據(jù)自客戶端重定向后傳遞過(guò)來(lái)的文件訪問(wèn)請(qǐng)求調(diào)用存儲(chǔ)計(jì)算功能模塊中的對(duì)應(yīng)方法對(duì)數(shù)據(jù)進(jìn)行處理；

3)存儲(chǔ)計(jì)算功能模塊對(duì)數(shù)據(jù)處理完成后生成一個(gè)文件發(fā)送給存儲(chǔ)服務(wù)解析模塊；然后存儲(chǔ)服務(wù)解析模塊調(diào)用元數(shù)據(jù)注冊(cè)模塊，將該文件注冊(cè)回分布式存儲(chǔ)系統(tǒng)中，實(shí)現(xiàn)FST服務(wù)器本地?cái)?shù)據(jù)庫(kù)與分布式存儲(chǔ)系統(tǒng)元數(shù)據(jù)庫(kù)間的同步。

2.如權(quán)利要求1所述的方法，其特征在于，步驟2)中，存儲(chǔ)服務(wù)解析模塊對(duì)重定向后傳遞過(guò)來(lái)的文件訪問(wèn)請(qǐng)求進(jìn)行解析，得到文件邏輯地址、物理地址、文件大小、發(fā)出請(qǐng)求的對(duì)象信息以及可計(jì)算存儲(chǔ)功能所需參數(shù)；然后根據(jù)解析信息調(diào)用存儲(chǔ)計(jì)算功能模塊中的對(duì)應(yīng)方法對(duì)請(qǐng)求的對(duì)象信息進(jìn)行處理。

3.如權(quán)利要求2所述的方法，其特征在于，所述可計(jì)算存儲(chǔ)功能所需參數(shù)用于設(shè)定數(shù)據(jù)處理方式；所述數(shù)據(jù)處理方式包括數(shù)據(jù)壓縮、解壓、分割、格式轉(zhuǎn)換、事例篩查、噪聲過(guò)濾。

4.如權(quán)利要求1或2或3所述的方法，其特征在于，所述元數(shù)據(jù)注冊(cè)模塊首先在分布式存儲(chǔ)系統(tǒng)中注冊(cè)一個(gè)空的文件并分配一個(gè)相對(duì)存儲(chǔ)路徑；然后將存儲(chǔ)計(jì)算功能模塊生成的文件存儲(chǔ)在本地?cái)?shù)據(jù)盤(pán)中,文件名為該相對(duì)存儲(chǔ)路徑加絕對(duì)路徑前綴；然后將文件信息寫(xiě)入FST服務(wù)器的本地?cái)?shù)據(jù)庫(kù)中，再將本地?cái)?shù)據(jù)庫(kù)中的記錄與分布式存儲(chǔ)系統(tǒng)元數(shù)據(jù)庫(kù)進(jìn)行同步，完成文件注冊(cè)流程。

5.如權(quán)利要求1所述的方法，其特征在于，所述文件訪問(wèn)請(qǐng)求包含發(fā)出請(qǐng)求的對(duì)象信息、請(qǐng)求文件的邏輯地址、請(qǐng)求的操作類(lèi)型和請(qǐng)求發(fā)起時(shí)間。

6.一種面向高能物理IO密集型的可計(jì)算存儲(chǔ)系統(tǒng)，其特征在于，包括元數(shù)據(jù)解析模塊、存儲(chǔ)服務(wù)解析模塊、存儲(chǔ)計(jì)算功能模塊和元數(shù)據(jù)注冊(cè)模塊；其中，

元數(shù)據(jù)解析模塊，用于對(duì)客戶端發(fā)來(lái)的文件訪問(wèn)請(qǐng)求進(jìn)行解析過(guò)濾，刪除請(qǐng)求文件的邏輯地址中除調(diào)用可計(jì)算存儲(chǔ)功能所需參數(shù)之外的參數(shù)，并將修改后的該文件訪問(wèn)請(qǐng)求轉(zhuǎn)發(fā)給分布式存儲(chǔ)系統(tǒng)中的元數(shù)據(jù)服務(wù)進(jìn)程MGM，使其能夠正確獲得文件信息，并將文件所在物理地址、文件大小信息傳遞回客戶端，用于客戶端根據(jù)返回信息重定向發(fā)送文件訪問(wèn)請(qǐng)求到分布式存儲(chǔ)系統(tǒng)中存儲(chǔ)所請(qǐng)求文件所在FST服務(wù)器的存儲(chǔ)服務(wù)進(jìn)程FST；

存儲(chǔ)服務(wù)解析模塊，運(yùn)行于FST服務(wù)器，用于根據(jù)自客戶端重定向后傳遞過(guò)來(lái)的文件訪問(wèn)請(qǐng)求調(diào)用存儲(chǔ)計(jì)算功能模塊中的對(duì)應(yīng)方法對(duì)數(shù)據(jù)進(jìn)行處理，在對(duì)數(shù)據(jù)處理完成后生成一個(gè)文件發(fā)送給存儲(chǔ)服務(wù)解析模塊；存儲(chǔ)服務(wù)解析模塊調(diào)用元數(shù)據(jù)注冊(cè)模塊，將該文件注冊(cè)回分布式存儲(chǔ)系統(tǒng)中以獲取系統(tǒng)內(nèi)的邏輯地址，實(shí)現(xiàn)FST服務(wù)器本地?cái)?shù)據(jù)庫(kù)與分布式存儲(chǔ)系統(tǒng)元數(shù)據(jù)庫(kù)間的同步；

存儲(chǔ)計(jì)算功能模塊，包括多個(gè)數(shù)據(jù)處理方法，不同數(shù)據(jù)處理方法與文件訪問(wèn)請(qǐng)求中的不同參數(shù)對(duì)應(yīng)；

元數(shù)據(jù)注冊(cè)模塊，將存儲(chǔ)計(jì)算功能模塊生成的文件注冊(cè)回分布式存儲(chǔ)系統(tǒng)的元數(shù)據(jù)庫(kù)中，完成存儲(chǔ)計(jì)算流程。

7.如權(quán)利要求6所述的可計(jì)算存儲(chǔ)系統(tǒng)，其特征在于，所述存儲(chǔ)服務(wù)解析模塊對(duì)重定向后傳遞過(guò)來(lái)的文件訪問(wèn)請(qǐng)求進(jìn)行解析，得到文件邏輯地址、物理地址、文件大小、發(fā)出請(qǐng)求的對(duì)象信息以及可計(jì)算存儲(chǔ)功能所需參數(shù)；然后根據(jù)解析信息調(diào)用存儲(chǔ)計(jì)算功能模塊中的對(duì)應(yīng)方法對(duì)請(qǐng)求的對(duì)象信息進(jìn)行處理；所述文件訪問(wèn)請(qǐng)求包含發(fā)出請(qǐng)求的對(duì)象信息、請(qǐng)求文件的邏輯地址、請(qǐng)求的操作類(lèi)型和請(qǐng)求發(fā)起時(shí)間。

8.如權(quán)利要求7所述的可計(jì)算存儲(chǔ)系統(tǒng)，其特征在于，所述可計(jì)算存儲(chǔ)功能所需參數(shù)用于設(shè)定數(shù)據(jù)處理方式；所述數(shù)據(jù)處理方式包括數(shù)據(jù)壓縮、解壓、分割、格式轉(zhuǎn)換、事例篩查、噪聲過(guò)濾。