[發(fā)明專利]小文件讀取方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910965269.6
• 申請(qǐng)日: 2019-10-11
• 公開(kāi)（公告）號(hào): CN110795030A
• 公開(kāi)（公告）日: 2020-02-14
• 發(fā)明（設(shè)計(jì)）人: 盧行;單春鑫
• 申請(qǐng)（專利權(quán)）人: 新華三大數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 11415 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 高萍

本發(fā)明提供一種小文件讀取方法及裝置，應(yīng)用于分布式存儲(chǔ)系統(tǒng)包括的網(wǎng)關(guān)服務(wù)器，所述分布式存儲(chǔ)系統(tǒng)還包括存儲(chǔ)服務(wù)器和內(nèi)存模塊，所述內(nèi)存模塊用于緩存預(yù)先從所述存儲(chǔ)服務(wù)器加載的小文件，所述方法包括：接收客戶端設(shè)備發(fā)送的讀請(qǐng)求，所述讀請(qǐng)求包括待讀取小文件的標(biāo)識(shí)；根據(jù)所述待讀取小文件的標(biāo)識(shí)，從所述內(nèi)存模塊中讀取所述待讀取小文件；向所述客戶端設(shè)備發(fā)送讀響應(yīng)，所述讀響應(yīng)包括所述待讀取小文件。本發(fā)明中，存儲(chǔ)服務(wù)器無(wú)需采用全閃存存儲(chǔ)介質(zhì)，可有效降低分布式存儲(chǔ)系統(tǒng)成本，同時(shí)，提升分布式存儲(chǔ)系統(tǒng)并發(fā)處理能力。

技術(shù)領(lǐng)域

本發(fā)明涉及存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及一種小文件讀取方法及裝置。

背景技術(shù)

在基于海量小文件的純讀應(yīng)用場(chǎng)景(比如，視頻渲染)下，對(duì)分布式存儲(chǔ)系統(tǒng)的并發(fā)讀取性能要求非常高。為了滿足超高并發(fā)訪問(wèn)需求，分布式存儲(chǔ)系統(tǒng)通常采用對(duì)象存儲(chǔ)服務(wù)，且系統(tǒng)中的存儲(chǔ)服務(wù)器均采用全閃存存儲(chǔ)介質(zhì)，以盡量滿足用戶的超高并發(fā)需求。但是，全閃存存儲(chǔ)介質(zhì)價(jià)格昂貴，且并不能極大提升分布式存儲(chǔ)系統(tǒng)的并發(fā)讀取性能。

發(fā)明內(nèi)容

本發(fā)明為了解決現(xiàn)有小文件讀取過(guò)程中分布式存儲(chǔ)系統(tǒng)的并發(fā)讀取性能不高的問(wèn)題，提出一種小文件讀取方法及裝置，用以提升小文件讀取過(guò)程中分布式存儲(chǔ)系統(tǒng)的并發(fā)讀取性能。

為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供了如下技術(shù)方案：

第一方面，本發(fā)明提供一種小文件讀取方法，應(yīng)用于分布式存儲(chǔ)系統(tǒng)包括的網(wǎng)關(guān)服務(wù)器，所述分布式存儲(chǔ)系統(tǒng)還包括存儲(chǔ)服務(wù)器和內(nèi)存模塊，所述內(nèi)存模塊用于緩存預(yù)先從所述存儲(chǔ)服務(wù)器加載的小文件，所述方法包括：

接收客戶端設(shè)備發(fā)送的讀請(qǐng)求，所述讀請(qǐng)求包括待讀取小文件的標(biāo)識(shí)；

根據(jù)所述待讀取小文件的標(biāo)識(shí)，從所述內(nèi)存模塊中讀取所述待讀取小文件；

向所述客戶端設(shè)備發(fā)送讀響應(yīng)，所述讀響應(yīng)包括所述待讀取小文件。

可選的，所述接收客戶端設(shè)備發(fā)送的讀請(qǐng)求之前，所述方法還包括：

接收所述客戶端設(shè)備發(fā)送的緩存指令，所述緩存指令包括待渲染對(duì)象的標(biāo)識(shí)；

基于所述待渲染對(duì)象的標(biāo)識(shí)，確定渲染所述待渲染對(duì)象需要用到的待緩存小文件；

將存儲(chǔ)于所述存儲(chǔ)服務(wù)器中的所述待緩存小文件加載到所述內(nèi)存模塊中。

可選的，所述將存儲(chǔ)于所述存儲(chǔ)服務(wù)器中的所述待緩存小文件加載到所述內(nèi)存模塊中，包括：

確定所述待緩存小文件對(duì)應(yīng)的至少一個(gè)對(duì)象在所述存儲(chǔ)服務(wù)器中的存儲(chǔ)位置；

基于確定出的各存儲(chǔ)位置，從存儲(chǔ)服務(wù)器中讀取所述待緩存小文件對(duì)應(yīng)的至少一個(gè)對(duì)象；

將所述待緩存小文件對(duì)應(yīng)的至少一個(gè)對(duì)象存儲(chǔ)到所述內(nèi)存模塊中。

可選的，所述接收客戶端設(shè)備發(fā)送的讀請(qǐng)求之前，所述方法還包括：

接收多個(gè)客戶端設(shè)備的連接請(qǐng)求，與所述多個(gè)客戶端設(shè)備建立連接；

從已建立的多個(gè)連接中，確定活躍連接；

所述接收客戶端設(shè)備發(fā)送的讀請(qǐng)求，包括：

接收客戶端設(shè)備通過(guò)所述活躍連接傳輸?shù)淖x請(qǐng)求。

可選的，所述從已建立的多個(gè)連接中，確定活躍連接，包括：

利用epoll IO模型，從已建立的多個(gè)連接中，確定活躍連接。

第二方面，本發(fā)明提供一種小文件讀取裝置，應(yīng)用于分布式存儲(chǔ)系統(tǒng)包括的網(wǎng)關(guān)服務(wù)器，所述分布式存儲(chǔ)系統(tǒng)還包括存儲(chǔ)服務(wù)器和內(nèi)存模塊，所述內(nèi)存模塊用于緩存預(yù)先從所述存儲(chǔ)服務(wù)器加載的小文件，所述裝置包括：