[發明專利]一種大數據的分布式存儲方法

有效

• 申請號: 201811099754.1
• 申請日: 2018-09-20
• 公開（公告）號: CN109408599B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 張彩霞;郭靜;王向東;王新東;胡紹林
• 申請（專利權）人: 佛山科學技術學院
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/22
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 王國標

本發明公開了一種大數據的分布式存儲方法，包括：獲取組數據和標記列表；將獲取得到的組數據和標記列表存儲在暫存空間中；根據標記列表中的標記符劃分出若干個儲存空間；復制標記列表中的標記符；在所述儲存空間中分成三個儲存倉，分別為第一儲存倉、第二儲存倉和第三儲存倉；將復制得到的標記符存儲到第一儲存倉中；根據所述第一儲存倉中的標記符，從所述暫存空間中尋找具有相同標記符的組數據，將尋找得到的組數據存儲到第二儲存倉中；建立存儲地址與組數據編號之間的映射關系，并將所述映射關系制成映射表存儲在第三儲存倉中。本發明存儲有序，避免了現有技術中存儲混亂的情況。可用于大數據存儲領域。

技術領域

本發明創造涉及數據存儲技術領域，特別涉及一種大數據的分布式存儲方法。

背景技術

隨著行業應用系統的發展，各種信息系統應用數據快速增長，企業的信息化建設已逐步進入了大數據時代。

大數據的存儲一般會將數據上傳至互聯網，通過互聯網的儲存空間對數據進行存儲，現有的存儲方法一般會直接將大數據存儲在儲存空間中，容易造成存儲混亂，不利于后續整理。

發明內容

本發明的目的是提供一種有序的大數據存儲方法。

本發明解決其技術問題的解決方案是：一種大數據的分布式存儲方法，包括：

步驟1、獲取組數據和標記列表；

步驟2、將獲取得到的組數據和標記列表存儲在暫存空間中；

步驟3、根據標記列表中的標記符劃分出若干個儲存空間；

步驟4、復制標記列表中的標記符；

步驟5、在所述儲存空間中分成三個儲存倉，分別為第一儲存倉、第二儲存倉和第三儲存倉；

步驟6、將復制得到的標記符存儲到第一儲存倉中；

步驟7、根據所述第一儲存倉中的標記符，從所述暫存空間中尋找具有相同標記符的組數據，將尋找得到的組數據存儲到第二儲存倉中；

步驟8、建立存儲地址與組數據編號之間的映射關系，并將所述映射關系制成映射表存儲在第三儲存倉中。

進一步，在步驟1中，所述組數據和標記列表的獲取方法包括：

步驟1.1、從工業場景中采集數據，并對采集得到的數據按照采集源頭進行分類，分類后的數據記為準類數據；

步驟1.2、設立描述不同采集源頭的標記符；

步驟1.3、將標記符對應的加載到所述準類數據中，加載標記符后的準類數據記為類數據；

步驟1.4、將類數據中的標記符分離出來；

步驟1.5、將類數據按照順序劃分出若干個等數據量大小的子數據；

步驟1.6、給所述子數據分配描述子數據之間順序關系的編號；

步驟1.7、復制兩次所述標記符；

步驟1.8、將所述編號與第一次復制得到的標記符對應地附著在子數據中，附著標記符和編號的子數據記為組數據；

步驟1.9、將第二次復制得到的標記符匯集在表格文件中，得到標記列表；

步驟1.10、將所述組數據和標記列表上傳至互聯網；

步驟1.11、從互聯網中獲取得到組數據和標記列表。

進一步，所述儲存空間包括數據庫。

進一步，在步驟8后面還包括：

步驟9、刪除所述暫存空間中的組數據和標記列表。