[發(fā)明專(zhuān)利]用于分布式對(duì)象存儲(chǔ)系統(tǒng)的數(shù)據(jù)獲取方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710118848.8
• 申請(qǐng)日: 2017-03-01
• 公開(kāi)（公告）號(hào): CN107070987B
• 公開(kāi)（公告）日: 2020-02-14
• 發(fā)明（設(shè)計(jì)）人: 朱志偉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 網(wǎng)宿科技股份有限公司
• 主分類(lèi)號(hào): H04L29/08
• 分類(lèi)號(hào): H04L29/08
• 代理公司: 11240 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司
• 代理人: 韓建偉;張永明

本發(fā)明公開(kāi)了一種用于分布式對(duì)象存儲(chǔ)系統(tǒng)的數(shù)據(jù)獲取方法及系統(tǒng)。其中，該方法包括：按照預(yù)設(shè)規(guī)則，向服務(wù)器發(fā)送第一請(qǐng)求，其中，第一請(qǐng)求用于請(qǐng)求獲取分布式對(duì)象存儲(chǔ)系統(tǒng)中第一元數(shù)據(jù)子表的數(shù)據(jù)；接收服務(wù)器返回的第一元數(shù)據(jù)子表的數(shù)據(jù)；依序發(fā)送用于請(qǐng)求其他元數(shù)據(jù)子表的數(shù)據(jù)的第二請(qǐng)求，并接收服務(wù)器返回的數(shù)據(jù)，直到服務(wù)器返回結(jié)束標(biāo)記。本發(fā)明解決了在獲取大量數(shù)據(jù)時(shí)，資源利用率低的技術(shù)問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體而言，涉及一種用于分布式對(duì)象存儲(chǔ)系統(tǒng)的數(shù)據(jù)獲取方法及系統(tǒng)。

背景技術(shù)

分布式對(duì)象存儲(chǔ)是目前解決海量數(shù)據(jù)存儲(chǔ)問(wèn)題的主要方案,為了滿(mǎn)足數(shù)據(jù)管理的需求，分布式對(duì)象存儲(chǔ)系統(tǒng)一般都會(huì)提供遍歷功能給用戶(hù)，通過(guò)該遍歷功能可以獲取系統(tǒng)中所存儲(chǔ)的文件或?qū)ο蟮脑獢?shù)據(jù)。一個(gè)典型的實(shí)現(xiàn)方法就是：預(yù)先建立大量元數(shù)據(jù)子表，這些元數(shù)據(jù)子表被存儲(chǔ)在系統(tǒng)中的不同節(jié)點(diǎn)(如存儲(chǔ)設(shè)備)上，以免單個(gè)節(jié)點(diǎn)上存儲(chǔ)的數(shù)據(jù)量超過(guò)系統(tǒng)中單個(gè)存儲(chǔ)設(shè)備的上限；根據(jù)特定的規(guī)則將元數(shù)據(jù)分散到不同的元數(shù)據(jù)子表中去，其中，元數(shù)據(jù)子表內(nèi)部的數(shù)據(jù)是有序的，元數(shù)據(jù)子表之間是無(wú)序的。在該方案中，完全被屏蔽了客戶(hù)端對(duì)元數(shù)據(jù)子表的感知，當(dāng)進(jìn)行列表List操作時(shí)，系統(tǒng)將從所有元數(shù)據(jù)子表中拉取數(shù)據(jù)，并進(jìn)行歸并排序，將拉取結(jié)果發(fā)送給客戶(hù)端。在上述方案中，因?yàn)閿?shù)據(jù)量龐大，在拉取數(shù)據(jù)之后，對(duì)其進(jìn)行排序，而不是在單個(gè)查詢(xún)內(nèi)就返回給客戶(hù)端全量的數(shù)據(jù)，在該有序的條件下，客戶(hù)端可以根據(jù)上次查詢(xún)的最后一個(gè)數(shù)據(jù)來(lái)確定一個(gè)標(biāo)記，然后讓系統(tǒng)從那個(gè)標(biāo)記之后繼續(xù)返回?cái)?shù)據(jù)。

但是，上述方法在全量遍歷的時(shí)候，為了存儲(chǔ)海量數(shù)據(jù)的元數(shù)據(jù)，會(huì)需要大量的元數(shù)據(jù)子表，對(duì)大量的元數(shù)據(jù)子表進(jìn)行查詢(xún)并歸并排序相當(dāng)耗時(shí)，而且可能需要重復(fù)大量的無(wú)用排序。比如，系統(tǒng)中有N個(gè)元數(shù)據(jù)子表，用戶(hù)客戶(hù)端一次只能接收Y條記錄。當(dāng)客戶(hù)端需要遍歷所有記錄時(shí)，過(guò)程就會(huì)是這樣：客戶(hù)端先向系統(tǒng)發(fā)出一次List操作(限定返回Y條記錄)，系統(tǒng)是向N個(gè)元數(shù)據(jù)子表中的每一個(gè)元數(shù)據(jù)子表查詢(xún)前Y條記錄，對(duì)這N*Y條記錄排序，返回Y條記錄，然后把剩下的(N-1)*Y條記錄丟棄，即浪費(fèi)比例高達(dá)(N-1)/N。客戶(hù)端會(huì)用這樣的方式遍歷所有記錄。對(duì)元數(shù)據(jù)進(jìn)行遍歷，是日常運(yùn)維過(guò)程中常用的操作(如主備文件比對(duì)、文件清理等)，所以這樣的低效操作方案對(duì)集群的規(guī)模擴(kuò)展產(chǎn)生很大限制。在進(jìn)行遍歷操作時(shí)，可選的，使用排序的方案，通過(guò)該方案可以保證返回的數(shù)據(jù)列表的全局順序，但是，該方案極大地消耗了內(nèi)部帶寬、內(nèi)存或CPU，獲取數(shù)據(jù)的效率低。

針對(duì)上述在獲取大量數(shù)據(jù)時(shí)，資源利用率低的問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種用于分布式對(duì)象存儲(chǔ)系統(tǒng)的數(shù)據(jù)獲取方法及系統(tǒng)，以至少解決在獲取大量數(shù)據(jù)時(shí)，資源利用率低的技術(shù)問(wèn)題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種用于分布式對(duì)象存儲(chǔ)系統(tǒng)的數(shù)據(jù)獲取方法，包括：按照預(yù)設(shè)規(guī)則，向服務(wù)器發(fā)送第一請(qǐng)求，其中，所述第一請(qǐng)求用于請(qǐng)求獲取分布式對(duì)象存儲(chǔ)系統(tǒng)中第一元數(shù)據(jù)子表的數(shù)據(jù)；接收所述服務(wù)器返回的所述第一元數(shù)據(jù)子表的數(shù)據(jù)；依序發(fā)送用于請(qǐng)求其他元數(shù)據(jù)子表的數(shù)據(jù)的第二請(qǐng)求，并接收所述服務(wù)器返回的數(shù)據(jù)，直到服務(wù)器返回結(jié)束標(biāo)記。

進(jìn)一步地,所述預(yù)設(shè)規(guī)則包括：當(dāng)向服務(wù)器發(fā)送的第一請(qǐng)求中不包含元數(shù)據(jù)子表編號(hào)時(shí)，則表示所述第一請(qǐng)求需要對(duì)元數(shù)據(jù)子表數(shù)據(jù)進(jìn)行跨子表排序；當(dāng)向服務(wù)器發(fā)送的第一請(qǐng)求中包含元數(shù)據(jù)子表編號(hào)時(shí)，則表示所述第一請(qǐng)求無(wú)需對(duì)元數(shù)據(jù)子表數(shù)據(jù)進(jìn)行跨子表排序。

進(jìn)一步地,依序發(fā)送用于請(qǐng)求其他元數(shù)據(jù)子表的數(shù)據(jù)的第二請(qǐng)求，并接收所述服務(wù)器返回的數(shù)據(jù)，直到服務(wù)器返回結(jié)束標(biāo)記包括：向所述服務(wù)器發(fā)送第P個(gè)第二請(qǐng)求，其中，所述P為大于1的自然數(shù)；接收所述服務(wù)器基于所述第P個(gè)第二請(qǐng)求返回的元數(shù)據(jù)子表的數(shù)據(jù)；在對(duì)所述元數(shù)據(jù)子表的數(shù)據(jù)執(zhí)行預(yù)定操作之后，向所述服務(wù)器發(fā)送第(P+1)個(gè)第二請(qǐng)求，直至獲取到全部元數(shù)據(jù)子表中的數(shù)據(jù)。