[發(fā)明專利]一種提升文件存儲NAS讀寫吞吐能力的方法、系統(tǒng)及存儲器

有效

• 申請?zhí)枺?/td>: 202110701856.1
• 申請日: 2021-06-23
• 公開（公告）號: CN113485978B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計）人: 谷正亮
• 申請（專利權(quán)）人: 華泰證券股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/172;G06F9/54
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司 32224
• 代理人: 許婉靜

1.一種提升文件存儲NAS讀寫吞吐能力的方法，其特征在于，所述方法包括：

獲取用戶的上傳請求，請求內(nèi)容包括系統(tǒng)標(biāo)識和文件信息，所述系統(tǒng)標(biāo)識包括文件的名稱、文件的類型、文件開始上傳的起始時間；

通過系統(tǒng)標(biāo)識生成待寫入NAS的路徑和唯一的文件標(biāo)識ID；

讀取文件流；

判斷所述文件信息的大小，若文件信息的大小在設(shè)定的范圍內(nèi)，則以文件標(biāo)識ID為主鍵，將文件信息寫入到分布式緩存中；若文件信息的大小超過設(shè)定的范圍，則直接將文件流寫入NAS，將文件元數(shù)據(jù)信息寫入數(shù)據(jù)庫；

以文件標(biāo)識ID為主鍵，設(shè)置分布式緩存中文件標(biāo)識ID的過期時間；

在分布式緩存中設(shè)置待處理列隊，放入文件標(biāo)識ID；

將文件標(biāo)識ID和待寫入NAS的路徑，以及具體的文件流序列化格式后，寫入消息中間件中；

將處理結(jié)果信息返回給用戶；

讀取消息中間件中的消息并將讀取的消息反序列化，將文件的內(nèi)容寫入NAS，將元數(shù)據(jù)寫入數(shù)據(jù)庫，所述文件的內(nèi)容和所述元數(shù)據(jù)均寫入成功后，刪除分布式緩存中待處理隊列中所述文件的標(biāo)識ID；

獲取用戶下載請求，直接從分布式緩存中根據(jù)文件標(biāo)識ID讀取文件元數(shù)據(jù)信息和文件內(nèi)容，讀取文件數(shù)據(jù)返回；若間隔時間過長，緩存中數(shù)據(jù)已消失，則直接從NAS中讀取返回。

2.根據(jù)權(quán)利要求1所述的一種提升文件存儲NAS讀寫吞吐能力的方法，其特征在于，異步程序若寫入消息失敗，則返回告警信息給維護人員，并分析失敗原因。

3.根據(jù)權(quán)利要求1所述的一種提升文件存儲NAS的讀寫吞吐能力的方法，其特征在于，異步程序讀取消息中間件中的消息，將文件的內(nèi)容寫入NAS，將元數(shù)據(jù)寫入數(shù)據(jù)庫，刪除分布式緩存中待處理隊列中所述文件的標(biāo)識ID后，判斷分布式緩存中待處理隊列集合的大小，若集合隊列的大小超過設(shè)定值，則返回告警信息給維護人員，并分析失敗原因。

4.根據(jù)權(quán)利要求1所述的一種提升文件存儲NAS讀寫吞吐能力的方法，其特征在于，獲取用戶的下載請求，從分布式緩存中根據(jù)文件標(biāo)識ID讀取文件元數(shù)據(jù)信息和文件內(nèi)容，讀取文件數(shù)據(jù)返回；若間隔時間大于設(shè)定值，緩存中數(shù)據(jù)已消失，則直接從NAS中讀取返回。

5.根據(jù)權(quán)利要求1所述的一種提升文件存儲NAS讀寫吞吐能力的方法，其特征在于，所述文件流寫入分布式緩存中的方式為分段迭代寫入。

6.根據(jù)權(quán)利要求1所述的一種提升文件存儲NAS讀寫吞吐能力的方法，其特征在于，所述文件標(biāo)識ID是系統(tǒng)標(biāo)識通過加密算法生成。

7.根據(jù)權(quán)利要求1所述的一種提升文件存儲NAS讀寫吞吐能力的方法，其特征在于，所述消息中間件的策略設(shè)置為主備消息所在的節(jié)點都完成應(yīng)答。