[發(fā)明專利]對(duì)象存儲(chǔ)批量讀取及寫入方法、客戶端、存儲(chǔ)網(wǎng)關(guān)及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110361851.9
• 申請(qǐng)日: 2021-04-02
• 公開(kāi)（公告）號(hào): CN113126920A
• 公開(kāi)（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 陳堅(jiān);匡浩;馬四;文劉飛
• 申請(qǐng)（專利權(quán)）人: 深圳市杉巖數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 深圳市六加知識(shí)產(chǎn)權(quán)代理有限公司 44372
• 代理人: 孟麗平

本發(fā)明實(shí)施例涉及一種對(duì)象存儲(chǔ)批量讀取及寫入方法、客戶端和存儲(chǔ)網(wǎng)關(guān)，所述讀取方法應(yīng)用于客戶端、存儲(chǔ)網(wǎng)關(guān)，所述讀取方法使得客戶端可以從存儲(chǔ)網(wǎng)關(guān)讀取至少一個(gè)指定對(duì)象的指定范圍的分片數(shù)據(jù)，實(shí)現(xiàn)批量讀取，避免客戶端與存儲(chǔ)網(wǎng)關(guān)的多次交互；所述寫入方法應(yīng)用于客戶端、存儲(chǔ)網(wǎng)關(guān)，所述寫入方法能夠?qū)崿F(xiàn)至少一個(gè)對(duì)象及分片數(shù)據(jù)的全部寫入或部分寫入，實(shí)現(xiàn)海量對(duì)象的寫入，能有效降低客戶端與存儲(chǔ)網(wǎng)關(guān)的交互次數(shù)。本發(fā)明實(shí)施例，通過(guò)提供基于POST請(qǐng)求的批量讀寫接口，減少客戶端與存儲(chǔ)網(wǎng)關(guān)間的請(qǐng)求交互次數(shù)，提高讀寫效率，降低客戶端資源消耗。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及對(duì)象存儲(chǔ)領(lǐng)域，尤其涉及一種對(duì)象存儲(chǔ)批量讀取及寫入方法、客戶端、存儲(chǔ)網(wǎng)關(guān)及介質(zhì)。

背景技術(shù)

對(duì)象存儲(chǔ)(Object Storage)最早是亞馬遜2006年推出的S3(Simple StorageService)。對(duì)象存儲(chǔ)是面向?qū)ο?文件的、海量的互聯(lián)網(wǎng)存儲(chǔ)，它也可以直接被稱為“云存儲(chǔ)”。對(duì)象盡管是文件，它是已被封裝的文件(編程中的對(duì)象就有封裝性的特點(diǎn))，也就是說(shuō)，在對(duì)象存儲(chǔ)系統(tǒng)里，不能直接打開(kāi)/修改文件，但可以像ftp一樣上傳文件，下載文件等。

以分布式對(duì)象存儲(chǔ)為例，在實(shí)現(xiàn)http類型應(yīng)用客戶端在讀寫時(shí)是基于S3 RESTAPI標(biāo)準(zhǔn)。然而，現(xiàn)有的S3類型存儲(chǔ)接口，不管是AWS還是公有云等產(chǎn)品，如果要寫多個(gè)文件，一次請(qǐng)求只能寫一個(gè)文件，客戶端需要分別封裝多個(gè)文件的PUT寫入請(qǐng)求，然后以一定并發(fā)發(fā)送請(qǐng)求，交互非常耗用客戶端資源和網(wǎng)絡(luò)資源。讀取文件時(shí)，有時(shí)只需要讀取文件的部分分片，即部分范圍數(shù)據(jù)，通常的做法是使用GET讀取請(qǐng)求來(lái)指定多個(gè)不同的范圍，而且可能需要單獨(dú)封裝不同分片的GET讀取請(qǐng)求，然后以一定并發(fā)發(fā)送請(qǐng)求。特別是對(duì)不同文件的分片進(jìn)行GET讀取時(shí)，如果文件數(shù)很多，就得構(gòu)造很多請(qǐng)求，交互很多次，同樣很耗費(fèi)系統(tǒng)整體資源，并且效率低。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的是提供一種對(duì)象存儲(chǔ)批量讀取及寫入方法、客戶端、存儲(chǔ)網(wǎng)關(guān)及存儲(chǔ)介質(zhì)，通過(guò)提供基于POST請(qǐng)求的批量讀寫接口，減少客戶端與存儲(chǔ)網(wǎng)關(guān)間的請(qǐng)求交互次數(shù)，提高讀寫效率，降低客戶端資源消耗。

第一方面，本發(fā)明實(shí)施例提供了一種對(duì)象存儲(chǔ)批量讀取方法，應(yīng)用于客戶端；所述方法包括：

在接收到針對(duì)目標(biāo)桶信息對(duì)應(yīng)的至少一個(gè)指定對(duì)象的讀取操作指令時(shí)，封裝讀取POST請(qǐng)求；所述讀取PSOT請(qǐng)求包括讀取請(qǐng)求頭、位于讀取請(qǐng)求頭或讀取請(qǐng)求行的目標(biāo)桶信息、位于讀取請(qǐng)求體的待讀取分片范圍；

將所述讀取POST請(qǐng)求發(fā)送給所述存儲(chǔ)網(wǎng)關(guān)，以供所述存儲(chǔ)網(wǎng)關(guān)在接收到所述讀取POST請(qǐng)求后，根據(jù)所述讀取POST請(qǐng)求進(jìn)行回應(yīng)；

根據(jù)所述存儲(chǔ)網(wǎng)關(guān)的回應(yīng)讀取所述指定對(duì)象的待讀取分片范圍的多個(gè)分片數(shù)據(jù)。

在一些實(shí)施例中，所述封裝讀取POST請(qǐng)求，包括：

在讀取請(qǐng)求行中確定請(qǐng)求方法為讀取；

將所述目標(biāo)桶信息放入讀取請(qǐng)求頭中；

在讀取請(qǐng)求體的正文中添加多級(jí)標(biāo)簽，以標(biāo)識(shí)所述指定對(duì)象及所述指定對(duì)象的指定范圍的分片數(shù)據(jù)，其中，所述指定對(duì)象的數(shù)量為1。

在一些實(shí)施例中，所述封裝讀取POST請(qǐng)求，還包括：

按照存儲(chǔ)定義的API接口規(guī)范封裝讀取POST請(qǐng)求，其中，所述API接口基于S3 RESTAPI協(xié)議標(biāo)準(zhǔn)。

在一些實(shí)施例中，若所述指定對(duì)象的數(shù)量大于1，則所述在請(qǐng)求體的正文中添加多級(jí)標(biāo)簽，以標(biāo)識(shí)所述指定對(duì)象及所述指定對(duì)象的指定范圍的分片數(shù)據(jù)，包括：

在讀取請(qǐng)求體的正文中添加多級(jí)標(biāo)簽，且對(duì)不同的指定對(duì)象增加不同的標(biāo)識(shí)，以標(biāo)識(shí)所述指定對(duì)象及所述指定對(duì)象的指定范圍的分片數(shù)據(jù)。

在一些實(shí)施例中，所述方法還包括：