[發(fā)明專利]一種大數(shù)據(jù)的管理方法

在審

• 申請?zhí)枺?/td>: 201710562911.7
• 申請日: 2017-07-11
• 公開（公告）號: CN107346341A
• 公開（公告）日: 2017-11-14
• 發(fā)明（設(shè)計）人: 王焱華
• 申請（專利權(quán)）人: 王焱華
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 佛山市智匯聚晨專利代理有限公司44409
• 代理人: 張艷梅

1.一種大數(shù)據(jù)的管理方法，其特征在于，應(yīng)用于大數(shù)據(jù)平臺的控制中心，所述方法包括：

針對所述大數(shù)據(jù)平臺中各個存儲服務(wù)器存儲的每一條數(shù)據(jù)，讀取所述數(shù)據(jù)中的所有預(yù)設(shè)內(nèi)容，其中，所述預(yù)設(shè)內(nèi)容包括：用戶ID、時間戳、對應(yīng)的文件ID；

針對所述所有預(yù)設(shè)內(nèi)容中的每一預(yù)設(shè)內(nèi)容，建立該預(yù)設(shè)內(nèi)容對應(yīng)的索引文件，其中，所述索引文件包括：該預(yù)設(shè)內(nèi)容、包含該預(yù)設(shè)內(nèi)容的數(shù)據(jù)的存儲位置以及所述該預(yù)設(shè)內(nèi)容與所述包含該預(yù)設(shè)內(nèi)容的數(shù)據(jù)的存儲位置的對應(yīng)關(guān)系；

接收數(shù)據(jù)讀取請求，其中所述數(shù)據(jù)讀取請求至少包括所述所有預(yù)設(shè)內(nèi)容中的一種；

根據(jù)所述數(shù)據(jù)讀取請求，查找與該數(shù)據(jù)讀取請求對應(yīng)的索引文件，根據(jù)該索引文件查找目標(biāo)數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述針對所述大數(shù)據(jù)平臺中各個存儲服務(wù)器存儲的每一條數(shù)據(jù)，讀取所述數(shù)據(jù)中的所有預(yù)設(shè)內(nèi)容，包括：

針對所有大數(shù)據(jù)平臺中各個存儲服務(wù)器存儲的每一條數(shù)據(jù)，讀取所述數(shù)據(jù)中的所有預(yù)設(shè)內(nèi)容；

所述索引文件包括：該預(yù)設(shè)內(nèi)容、該預(yù)設(shè)內(nèi)容存儲的大數(shù)據(jù)平臺的標(biāo)識信息、包含該預(yù)設(shè)內(nèi)容的數(shù)據(jù)的存儲位置以及所述該預(yù)設(shè)內(nèi)容與所述包含該預(yù)設(shè)內(nèi)容的數(shù)據(jù)的存儲位置的對應(yīng)關(guān)系。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述針對所述所有預(yù)設(shè)內(nèi)容中的每一預(yù)設(shè)內(nèi)容，建立該預(yù)設(shè)內(nèi)容對應(yīng)的索引文件，包括：

針對所述所有預(yù)設(shè)內(nèi)容中的每一預(yù)設(shè)內(nèi)容，建立該預(yù)設(shè)內(nèi)容對應(yīng)的索引文件，并將所有索引文件存儲在專用的索引存儲服務(wù)器中。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在針對所述所有預(yù)設(shè)內(nèi)容中的每一預(yù)設(shè)內(nèi)容，建立該預(yù)設(shè)內(nèi)容對應(yīng)的索引文件之前，所述方法還包括：

對讀取的數(shù)據(jù)進(jìn)行去重處理以及去除所述讀取的數(shù)據(jù)中的非法數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

將所有存儲服務(wù)器中存儲的、被訪問頻率低于第一預(yù)設(shè)閾值的索引文件刪除，并刪除該索引文件對應(yīng)的數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

將所有存儲服務(wù)器中存儲的、被訪問頻率低于第二預(yù)設(shè)閾值的索引文件對應(yīng)的數(shù)據(jù)進(jìn)行壓縮處理。