[發(fā)明專利]一種大數據塊結構化存儲方法

在審

• 申請?zhí)枺?/td>: 201911010903.7
• 申請日: 2019-10-23
• 公開（公告）號: CN110727686A
• 公開（公告）日: 2020-01-24
• 發(fā)明（設計）人: 楊秋鴻;趙鐵柱;袁華強
• 申請（專利權）人: 東莞理工學院城市學院;東莞理工學院
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/27;G06F16/25
• 代理公司: 32398 蘇州九方專利代理事務所(特殊普通合伙)
• 代理人: 張文婷

本發(fā)明公開了結構化存儲技術領域的一種大數據塊結構化存儲方法，包括數據接收模塊、中央處理器、自主分類處理單元，通過數據接收端口的數據接收模塊統(tǒng)一接收多種數據類型的原始數據，數據接收模塊將接收到的原始數據傳輸到中央處理器，利用多個自主分類處理單元進行分類，將經過分類的數據按照分類一一單獨存儲；本發(fā)明通過將經過自主分類處理單元處理分類后的數據分門別類存儲到分布式數據庫中，所有分布式數據庫中的所有數據信息再次統(tǒng)一存儲到主數據庫，形成備份，通過多組分布式數據庫分別分擔存儲任務，擴展存儲容量，通過直接訪問經過分類的分布式數據庫中的分類數據信息，訪問調用數據快速，訪問效率高。

技術領域

本發(fā)明涉及結構化存儲技術領域，具體涉及一種大數據塊結構化存儲方法。

背景技術

任何應用系統(tǒng)都離不開對數據的處理，數據也是驅動業(yè)務創(chuàng)新以及向智能化發(fā)展最核心的東西。這也是為何目前大多數企業(yè)都在構建數據中臺的原因，數據處理的技術已經是核心競爭力。在一個完備的技術架構中，通常也會由應用系統(tǒng)以及數據系統(tǒng)構成。應用系統(tǒng)負責處理業(yè)務邏輯，而數據系統(tǒng)負責處理數據。傳統(tǒng)的數據系統(tǒng)就是所謂的“大數據”技術，這是一個被創(chuàng)造出來的名詞，代表著新的技術門檻。

“大數據”通常指的是那些數量巨大、難于收集、處理、分析的數據集，亦指那些在傳統(tǒng)基礎設施中長期保存的數據。這里的“大”有幾層含義，它可以形容組織的大小，而更重要的是，它界定了企業(yè)中IT基礎設施的規(guī)模。隨著大數據應用的爆發(fā)性增長，它已經衍生出了自己獨特的架構，而且也直接推動了存儲、網絡以及計算技術的發(fā)展。隨著結構化數據和非結構化數據量的持續(xù)增長，以及分析數據來源的多樣化，此前存儲系統(tǒng)的設計已經無法滿足大數據應用的需要。

但大數據的存儲方法是通過部署運維監(jiān)控軟件收集大數據運行日志數據以純文本格式存儲到本地文件系統(tǒng)或者關系型數據庫系統(tǒng)，難以解決大數據存儲數據量龐大的問題，海量數據的訪問效率極慢。基于此，本發(fā)明設計了一種大數據塊結構化存儲方法，以解決上述問題。

發(fā)明內容

本發(fā)明的目的在于提供一種大數據塊結構化存儲方法，以解決上述背景技術中提出的問題。

為實現上述目的，本發(fā)明提供如下技術方案：一種大數據塊結構化存儲方法，包括數據接收模塊、中央處理器、自主分類處理單元，具體步驟如下：

第一步，數據接收

通過數據接收端口的所述數據接收模塊統(tǒng)一接收多種數據類型的原始數據；

第二步，數據分類

所述數據接收模塊將接收到的原始數據傳輸到中央處理器，利用多個所述自主分類處理單元進行分類；

第三步，數據存儲

將經過分類的數據按照分類一一單獨存儲。

優(yōu)選的，所述第一步數據接收模塊的信號輸出端將原始數據經過信號轉換輸送至中央處理器的信號輸入端。

優(yōu)選的，所述第二步中通過中央處理器對接收到的原始數據進行數據清洗過濾，以對原始數據進行審查校驗、刪除重復數據、糾正錯誤數據。

優(yōu)選的，所述第二步中多個所述自主分類處理單元通過計算機網絡互連來協(xié)作完成分配的任務。

優(yōu)選的，所述第三步中數據存儲到大數據庫，所述大數據庫包括主數據庫和多個分布式數據庫，多個所述分布式數據庫的數據信號輸出端口與所述主數據庫的數據信號輸入端口之間連接。

優(yōu)選的，所述分布式數據庫的數據輸出端口電性連接有數據訪問模塊。