[發(fā)明專利]一種大數(shù)據(jù)的分布式存儲方法

有效

• 申請?zhí)枺?/td>: 201811099754.1
• 申請日: 2018-09-20
• 公開（公告）號: CN109408599B
• 公開（公告）日: 2021-09-28
• 發(fā)明（設(shè)計）人: 張彩霞;郭靜;王向東;王新東;胡紹林
• 申請（專利權(quán)）人: 佛山科學(xué)技術(shù)學(xué)院
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/22
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 王國標(biāo)

1.一種大數(shù)據(jù)的分布式存儲方法，其特征在于，包括：

步驟1、獲取組數(shù)據(jù)和標(biāo)記列表；

步驟2、將獲取得到的組數(shù)據(jù)和標(biāo)記列表存儲在暫存空間中；

步驟3、根據(jù)標(biāo)記列表中的標(biāo)記符劃分出若干個儲存空間；

步驟4、復(fù)制標(biāo)記列表中的標(biāo)記符；

步驟5、在所述儲存空間中分成三個儲存?zhèn)}，分別為第一儲存?zhèn)}、第二儲存?zhèn)}和第三儲存?zhèn)}；

步驟6、將復(fù)制得到的標(biāo)記符存儲到第一儲存?zhèn)}中；

步驟7、根據(jù)所述第一儲存?zhèn)}中的標(biāo)記符，從所述暫存空間中尋找具有相同標(biāo)記符的組數(shù)據(jù)，將尋找得到的組數(shù)據(jù)存儲到第二儲存?zhèn)}中；

步驟8、建立存儲地址與組數(shù)據(jù)編號之間的映射關(guān)系，并將所述映射關(guān)系制成映射表存儲在第三儲存?zhèn)}中。

2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)的分布式存儲方法，其特征在于，在步驟1中，所述組數(shù)據(jù)和標(biāo)記列表的獲取方法包括：

步驟1.1、從工業(yè)場景中采集數(shù)據(jù)，并對采集得到的數(shù)據(jù)按照采集源頭進(jìn)行分類，分類后的數(shù)據(jù)記為準(zhǔn)類數(shù)據(jù)；

步驟1.2、設(shè)立描述不同采集源頭的標(biāo)記符；

步驟1.3、將標(biāo)記符對應(yīng)的加載到所述準(zhǔn)類數(shù)據(jù)中，加載標(biāo)記符后的準(zhǔn)類數(shù)據(jù)記為類數(shù)據(jù)；

步驟1.4、將類數(shù)據(jù)中的標(biāo)記符分離出來；

步驟1.5、將類數(shù)據(jù)按照順序劃分出若干個等數(shù)據(jù)量大小的子數(shù)據(jù)；

步驟1.6、給所述子數(shù)據(jù)分配描述子數(shù)據(jù)之間順序關(guān)系的編號；

步驟1.7、復(fù)制兩次所述標(biāo)記符；

步驟1.8、將所述編號與第一次復(fù)制得到的標(biāo)記符對應(yīng)地附著在子數(shù)據(jù)中，附著標(biāo)記符和編號的子數(shù)據(jù)記為組數(shù)據(jù)；

步驟1.9、將第二次復(fù)制得到的標(biāo)記符匯集在表格文件中，得到標(biāo)記列表；

步驟1.10、將所述組數(shù)據(jù)和標(biāo)記列表上傳至互聯(lián)網(wǎng)；

步驟1.11、從互聯(lián)網(wǎng)中獲取得到組數(shù)據(jù)和標(biāo)記列表。

3.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)的分布式存儲方法，其特征在于，所述儲存空間包括數(shù)據(jù)庫。

4.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)的分布式存儲方法，其特征在于，在步驟8后面還包括：

步驟9、刪除所述暫存空間中的組數(shù)據(jù)和標(biāo)記列表。