[發明專利]一種計算機大數據存儲方法及裝置

在審

• 申請號: 202111107982.0
• 申請日: 2021-09-22
• 公開（公告）號: CN113779610A
• 公開（公告）日: 2021-12-10
• 發明（設計）人: 馬楠
• 申請（專利權）人: 北京本地通科技有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/62;G06F21/64
• 代理公司: 成都魚爪智云知識產權代理有限公司 51308
• 代理人: 梁悅敏

本發明公開了一種計算機大數據存儲方法，包括以下步驟：獲取并根據樣本大數據提取數據類別信息；根據數據類別信息建立對應數據類別的存儲庫；根據預置的數據抓取量設定數據抓取節點，并建立抓取節點與存儲庫之間的數據傳輸通道；通過抓取節點按照預設的抓取周期對大數據進行抓取，并對抓取的大數據進行分類，以得到數據分類信息；根據數據分類信息對各個類別的大數據分別進行加密，以得到多個類別加密數據；根據數據分類信息通過抓取節點將各個類別加密數據上傳至對應的存儲庫中。本發明還公開了一種計算機大數據存儲裝置。本發明涉及大數據存儲技術領域。本發明具有可對大數據進行快速有效的安全存儲的優點。

技術領域

本發明涉及大數據存儲技術領域，具體而言，涉及一種計算機大數據存儲裝置。

背景技術

隨著移動互聯網、物聯網等應用的飛速發展，全球數據量出現了爆炸式增長，數據量的飛速增長預示著現在已經進入了大數據時代。“大數據”通常指的是那些數量巨大、難于收集、處理、分析的數據集，亦指那些在傳統基礎設施中長期保存的數據，大數據存儲是將這些數據集持久化到計算機中。現有技術中僅僅是將大數據存儲在存儲器中，受到存儲器容量大小的限制，且無法保證數據存儲的安全性問題。面對越來越龐大的數據量，如何做到數據的快速接收有效安全的存儲成為亟待解決的技術問題。

發明內容

為了克服上述問題或者至少部分地解決上述問題，本發明實施例提供一種計算機大數據存儲方法及裝置，可對大數據進行快速有效的安全存儲。

本發明的實施例是這樣實現的：

第一方面，本發明實施例提供一種計算機大數據存儲方法，包括以下步驟：

獲取并根據樣本大數據提取數據類別信息；

根據數據類別信息建立對應數據類別的存儲庫；

根據預置的數據抓取量設定數據抓取節點，并建立抓取節點與存儲庫之間的數據傳輸通道；

通過抓取節點按照預設的抓取周期對大數據進行抓取，并對抓取的大數據進行分類，以得到數據分類信息；

根據數據分類信息對各個類別的大數據分別進行加密，以得到多個類別加密數據；

根據數據分類信息通過抓取節點將各個類別加密數據上傳至對應的存儲庫中。

為了方便后續可以針對性的對數據進行存儲，首先，獲取大量的樣本大數據，然后對樣本大數據進行分析，提取出多個不同的數據類別信息，方便后續進行分類管理。基于提取的多個不同的數據類別信息建立對應數據類別的存儲庫，以便后續通過不同類別的存儲庫對各個類別的大數據進行分類存儲，提高存儲管理效率，也方便后續分類查看數據。為了進一步提高數據抓取傳輸的效率，在進行數據抓取之前參考歷史的數據抓取最大量設定一個每次的數據抓取量，然后根據設定的數據抓取量建立多個數據抓取節點，保證可以快速的抓取到全部數據，然后，建立各個抓取節點與各個類別的存儲庫之間的數據傳輸通道，以便后續快速有效的傳輸數據。當各個抓取節點按照預設的抓取周期對計算機大數據進行抓取后，對抓取到的大數據進行分類，以便后續根據不同類別將數據上傳至對應的存儲庫中。為了保證數據傳輸的安全性，對數據進行加密，針對不同類別的數據采用不同加密算法對其進行加密，得到多個類別的加密數據，然后將加密后的數據通過各個抓取節點將數據上傳至對應類別的存儲庫中進行存儲。

本方法可根據不同的數據類型以及數據抓取量設定合理的存儲庫和數據抓取節點，通過各個數據抓取節點快速的抓取目標數據，并對數據進行分類后分別加密，然后上傳至對應類別的存儲庫中對數據進行有效存儲。

基于第一方面，在本發明的一些實施例中，該計算機大數據存儲方法還包括以下步驟：

根據預設的重要等級信息在各個存儲庫中建立多個不同重要等級的數據鏈表；

根據類別加密數據的加密信息將存儲庫中的數據存儲至存儲庫中對應的數據鏈表中。