[發(fā)明專(zhuān)利]海量數(shù)據(jù)的處理方法、提取方法以及處理裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201710033485.8
• 申請(qǐng)日: 2017-01-18
• 公開(kāi)（公告）號(hào): CN106802952A
• 公開(kāi)（公告）日: 2017-06-06
• 發(fā)明（設(shè)計(jì)）人: 何健輝;楊燕清;張浚;李紹良
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣東睿江云計(jì)算股份有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30
• 代理公司: 北京品源專(zhuān)利代理有限公司11332
• 代理人: 孟金喆,胡彬

技術(shù)領(lǐng)域

本發(fā)明涉及互聯(lián)網(wǎng)云計(jì)算領(lǐng)域，特別涉及一種海量數(shù)據(jù)的處理方法、提取方法以及處理裝置。

背景技術(shù)

隨著計(jì)算機(jī)領(lǐng)域的飛速發(fā)展，信息量的增長(zhǎng)達(dá)到了驚人的程度。海量數(shù)據(jù)的存儲(chǔ)、提取、計(jì)算受到了廣泛的關(guān)注。由于海量數(shù)據(jù)中的數(shù)據(jù)量過(guò)大，數(shù)據(jù)中什么情況都可能存在。如果說(shuō)有10條數(shù)據(jù)，那么大不了每條去逐一檢查，人為處理，如果有上百條數(shù)據(jù)，也可以考慮，如果數(shù)據(jù)上到千萬(wàn)級(jí)別，甚至過(guò)億，那不是手工能解決的了，必須通過(guò)工具或者程序進(jìn)行處理，尤其海量的數(shù)據(jù)中，什么情況都可能存在，例如，數(shù)據(jù)中某處格式出了問(wèn)題，尤其在程序處理時(shí)，前面還能正常處理，突然到了某個(gè)地方問(wèn)題出現(xiàn)了，程序終止了。海量數(shù)據(jù)對(duì)于軟硬件要求高，系統(tǒng)資源占用率高。

在現(xiàn)有技術(shù)中，海量數(shù)據(jù)的提取可以采用直接提取的方法。但是這種提取速度較慢，不符合現(xiàn)在要求快速處理的慢了。海量數(shù)據(jù)還可以采用分頁(yè)提取，即每次提取一小部分，這種方法雖然是可以把提取速度提升上來(lái)。但是還不是十分理想的,每一次使用者提取數(shù)據(jù)時(shí)候都需要等待。

此外，在海量數(shù)據(jù)的提取過(guò)程中，對(duì)于數(shù)據(jù)的準(zhǔn)確性要求較高。

針對(duì)上述問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種海量數(shù)據(jù)的處理方法、提取方法以及處理裝置，以提高海量數(shù)據(jù)的提取速度以及提取準(zhǔn)確性，該方法包括：

響應(yīng)于提取請(qǐng)求，從數(shù)據(jù)庫(kù)中獲取與所述提取請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)需求總量；

根據(jù)單次需求量以及數(shù)據(jù)需求總量，對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行依序分組；

在提取出對(duì)應(yīng)于提取請(qǐng)求的第一組數(shù)據(jù)后，根據(jù)組序依序?qū)?shù)據(jù)庫(kù)中位于該組數(shù)據(jù)之后的數(shù)據(jù)進(jìn)行緩存。

進(jìn)一步的，在步驟“根據(jù)單次需求量以及數(shù)據(jù)需求總量，對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行依序分組”包括：

設(shè)置單次需求量的數(shù)據(jù)量。

進(jìn)一步的，在步驟“在提取出對(duì)應(yīng)于提取請(qǐng)求的第一組數(shù)據(jù)后，根據(jù)分組依序?qū)?shù)據(jù)庫(kù)中位于該組數(shù)據(jù)之后的數(shù)據(jù)進(jìn)行緩存”之后還包括：

響應(yīng)于需求請(qǐng)求，判斷與該需求請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)的數(shù)據(jù)位置。

進(jìn)一步的，在步驟“響應(yīng)于需求請(qǐng)求，判斷與該需求請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)的數(shù)據(jù)位置”包括：

如果與該需求請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)的數(shù)據(jù)位置位于完成的緩存的數(shù)據(jù)之內(nèi)，則從數(shù)據(jù)庫(kù)中提取與需求請(qǐng)求對(duì)應(yīng)的該組數(shù)據(jù)。

進(jìn)一步的，在步驟“如果與該需求請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)的數(shù)據(jù)位置位于完成的緩存的數(shù)據(jù)之內(nèi)，則從數(shù)據(jù)庫(kù)中提取與需求請(qǐng)求對(duì)應(yīng)的該組數(shù)據(jù)”包括：

根據(jù)組序依序?qū)?shù)據(jù)庫(kù)中位于對(duì)應(yīng)于所述需求請(qǐng)求的數(shù)據(jù)之后的該組數(shù)據(jù)進(jìn)行緩存。

進(jìn)一步的，在步驟“響應(yīng)于需求請(qǐng)求，判斷與該需求請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)的數(shù)據(jù)位置”包括：

如果與該需求請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)的數(shù)據(jù)位置位于與所述提取請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)之外，則響應(yīng)于需求請(qǐng)求，重新對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行分組。

本發(fā)明實(shí)施例公開(kāi)了一種海量數(shù)據(jù)的提取方法，包括：

判斷與提取請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)是否位于緩存服務(wù)器中；

如果與提取請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)位于緩存服務(wù)器中，則提取與該提取請(qǐng)求對(duì)應(yīng)的一組數(shù)據(jù)，并且在提取之后盡可能地依組序緩存位于該組數(shù)據(jù)之后的數(shù)據(jù)。

進(jìn)一步的，包括：

如果與提取請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)位于緩存服務(wù)器中，則對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行分組。

本發(fā)明實(shí)施例公開(kāi)了一種海量數(shù)據(jù)的處理裝置，包括：

獲取模塊，其用于響應(yīng)于提取請(qǐng)求，從數(shù)據(jù)庫(kù)中獲取與所述提取請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)需求總量；

分組模塊，其用于根據(jù)單次需求量以及數(shù)據(jù)需求總量，對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行依序分組；

緩存模塊，其用于在提取出對(duì)應(yīng)于提取請(qǐng)求的第一組數(shù)據(jù)后，根據(jù)組序依序?qū)?shù)據(jù)庫(kù)中位于該組數(shù)據(jù)之后的數(shù)據(jù)進(jìn)行緩存。

進(jìn)一步的，包括：

提取模塊，其用于提取出緩存模塊中的數(shù)據(jù)。

在本發(fā)明實(shí)施例中，通過(guò)根據(jù)提取請(qǐng)求對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行分組，并且基于組序在提取出一組數(shù)據(jù)后，對(duì)其后的數(shù)據(jù)進(jìn)行盡可能多地緩存，從而在提高提取速度的基礎(chǔ)上，保證提取的準(zhǔn)確性。

附圖說(shuō)明

圖1是根據(jù)本發(fā)明實(shí)施例的海量數(shù)據(jù)的處理方法的流程圖；

圖2是根據(jù)本發(fā)明實(shí)施例的海量數(shù)據(jù)的提取方法的流程圖；

圖3是根據(jù)本發(fā)明實(shí)施例的海量數(shù)據(jù)的處理裝置的結(jié)構(gòu)框圖。

具體實(shí)施方式

下面結(jié)合附圖并通過(guò)具體實(shí)施方式來(lái)進(jìn)一步說(shuō)明本發(fā)明的技術(shù)方案。

本發(fā)明實(shí)施例提供了一種海量數(shù)據(jù)的處理方法，如圖1所示，可以包括以下步驟：