[發(fā)明專利]一種大數(shù)據(jù)的管理方法

在審

• 申請?zhí)枺?/td>: 201710562911.7
• 申請日: 2017-07-11
• 公開（公告）號: CN107346341A
• 公開（公告）日: 2017-11-14
• 發(fā)明（設(shè)計(jì)）人: 王焱華
• 申請（專利權(quán)）人: 王焱華
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 佛山市智匯聚晨專利代理有限公司44409
• 代理人: 張艷梅

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別是涉及一種大數(shù)據(jù)的管理方法。

背景技術(shù)

隨著對技術(shù)的發(fā)展，在經(jīng)濟(jì)生活或者工業(yè)生產(chǎn)中產(chǎn)生的數(shù)據(jù)量也越來越大。為了充分利用這些數(shù)據(jù)，以進(jìn)一步加快技術(shù)的進(jìn)步或者更好的服務(wù)于人們的生活，催生了大數(shù)據(jù)系統(tǒng)。

目前，互聯(lián)網(wǎng)公司通常會(huì)將各條數(shù)據(jù)直接存儲到存儲服務(wù)器中，比如，將第一條數(shù)據(jù)存儲在存儲服務(wù)器A上，將第二條數(shù)據(jù)也存儲在存儲服務(wù)器A上，直至存儲服務(wù)器A存儲空間用完，然后再依次存儲在存儲服務(wù)器B、存儲服務(wù)器C上，在需要使用這些數(shù)據(jù)時(shí)，根據(jù)用戶需求，從各個(gè)存儲服務(wù)器中檢索對應(yīng)的數(shù)據(jù)，然后再使用這些數(shù)據(jù)。

但是，應(yīng)用現(xiàn)有技術(shù)存儲各條數(shù)據(jù)，在數(shù)據(jù)量及其龐大時(shí)，用戶搜索這些數(shù)據(jù)需要檢索所有的服務(wù)器，導(dǎo)致檢索數(shù)據(jù)的耗時(shí)較長。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種大數(shù)據(jù)的管理方法，以實(shí)現(xiàn)降低檢索耗時(shí)的目的。具體技術(shù)方案如下：

一種大數(shù)據(jù)的管理方法，應(yīng)用于大數(shù)據(jù)平臺的控制中心，所述方法包括：

針對所述大數(shù)據(jù)平臺中各個(gè)存儲服務(wù)器存儲的每一條數(shù)據(jù)，讀取所述數(shù)據(jù)中的所有預(yù)設(shè)內(nèi)容，其中，所述預(yù)設(shè)內(nèi)容包括：用戶ID、時(shí)間戳、對應(yīng)的文件ID；

針對所述所有預(yù)設(shè)內(nèi)容中的每一預(yù)設(shè)內(nèi)容，建立該預(yù)設(shè)內(nèi)容對應(yīng)的索引文件，其中，所述索引文件包括：該預(yù)設(shè)內(nèi)容、包含該預(yù)設(shè)內(nèi)容的數(shù)據(jù)的存儲位置以及所述該預(yù)設(shè)內(nèi)容與所述包含該預(yù)設(shè)內(nèi)容的數(shù)據(jù)的存儲位置的對應(yīng)關(guān)系；

接收數(shù)據(jù)讀取請求，其中所述數(shù)據(jù)讀取請求至少包括所述所有預(yù)設(shè)內(nèi)容中的一種；

根據(jù)所述數(shù)據(jù)讀取請求，查找與該數(shù)據(jù)讀取請求對應(yīng)的索引文件，根據(jù)該索引文件查找目標(biāo)數(shù)據(jù)。

可選的，所述針對所述大數(shù)據(jù)平臺中各個(gè)存儲服務(wù)器存儲的每一條數(shù)據(jù)，讀取所述數(shù)據(jù)中的所有預(yù)設(shè)內(nèi)容，包括：

針對所有大數(shù)據(jù)平臺中各個(gè)存儲服務(wù)器存儲的每一條數(shù)據(jù)，讀取所述數(shù)據(jù)中的所有預(yù)設(shè)內(nèi)容；

所述索引文件包括：該預(yù)設(shè)內(nèi)容、該預(yù)設(shè)內(nèi)容存儲的大數(shù)據(jù)平臺的標(biāo)識信息、包含該預(yù)設(shè)內(nèi)容的數(shù)據(jù)的存儲位置以及所述該預(yù)設(shè)內(nèi)容與所述包含該預(yù)設(shè)內(nèi)容的數(shù)據(jù)的存儲位置的對應(yīng)關(guān)系。

可選的，所述針對所述所有預(yù)設(shè)內(nèi)容中的每一預(yù)設(shè)內(nèi)容，建立該預(yù)設(shè)內(nèi)容對應(yīng)的索引文件，包括：

針對所述所有預(yù)設(shè)內(nèi)容中的每一預(yù)設(shè)內(nèi)容，建立該預(yù)設(shè)內(nèi)容對應(yīng)的索引文件，并將所有索引文件存儲在專用的索引存儲服務(wù)器中。

可選的，在針對所述所有預(yù)設(shè)內(nèi)容中的每一預(yù)設(shè)內(nèi)容，建立該預(yù)設(shè)內(nèi)容對應(yīng)的索引文件之前，所述方法還包括：

對讀取的數(shù)據(jù)進(jìn)行去重處理以及去除所述讀取的數(shù)據(jù)中的非法數(shù)據(jù)。

可選的，所述方法還包括：

將所有存儲服務(wù)器中存儲的、被訪問頻率低于第一預(yù)設(shè)閾值的索引文件刪除，并刪除該索引文件對應(yīng)的數(shù)據(jù)。

可選的，所述方法還包括：

將所有存儲服務(wù)器中存儲的、被訪問頻率低于第二預(yù)設(shè)閾值的索引文件對應(yīng)的數(shù)據(jù)進(jìn)行壓縮處理。

本發(fā)明實(shí)施例提供了一種大數(shù)據(jù)的管理方法，應(yīng)用于大數(shù)據(jù)平臺的控制中心，所述方法包括：針對所述大數(shù)據(jù)平臺中各個(gè)存儲服務(wù)器存儲的每一條數(shù)據(jù)，讀取所述數(shù)據(jù)中的所有預(yù)設(shè)內(nèi)容，其中，所述預(yù)設(shè)內(nèi)容包括：用戶ID、時(shí)間戳、對應(yīng)的文件ID；針對所述所有預(yù)設(shè)內(nèi)容中的每一預(yù)設(shè)內(nèi)容，建立該預(yù)設(shè)內(nèi)容對應(yīng)的索引文件，其中，所述索引文件包括：該預(yù)設(shè)內(nèi)容、包含該預(yù)設(shè)內(nèi)容的數(shù)據(jù)的存儲位置以及所述該預(yù)設(shè)內(nèi)容與所述包含該預(yù)設(shè)內(nèi)容的數(shù)據(jù)的存儲位置的對應(yīng)關(guān)系；接收數(shù)據(jù)讀取請求，其中所述數(shù)據(jù)讀取請求至少包括所述所有預(yù)設(shè)內(nèi)容中的一種；根據(jù)所述數(shù)據(jù)讀取請求，查找與該數(shù)據(jù)讀取請求對應(yīng)的索引文件，根據(jù)該索引文件查找目標(biāo)數(shù)據(jù)。

本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)的管理方法，用戶的數(shù)據(jù)讀取請求被接收時(shí)，服務(wù)器可以根據(jù)該數(shù)據(jù)讀取請求先找到與該數(shù)據(jù)請求對應(yīng)的索引文件，然后，再根據(jù)該索引文件找到目標(biāo)數(shù)據(jù)，相對于現(xiàn)有技術(shù)需要檢索所有的存儲服務(wù)器，本發(fā)明實(shí)施例可以減少檢索數(shù)據(jù)的時(shí)間。當(dāng)然，實(shí)施本發(fā)明的任一產(chǎn)品或方法必不一定需要同時(shí)達(dá)到以上所述的所有優(yōu)點(diǎn)。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的第一種大數(shù)據(jù)的管理方法。