[發明專利]一種基于大數據的數據采集與存儲系統

在審

• 申請號: 202011624296.6
• 申請日: 2020-12-30
• 公開（公告）號: CN114691675A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 劉翔;蒙根
• 申請（專利權）人: 貴州藍夢工場科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25;G06F16/27;G06F3/06
• 代理公司: 成都玖和知識產權代理事務所(普通合伙) 51238
• 代理人: 胡琳梅

本發明公開了一種基于大數據的數據采集與存儲系統，包括數據采集單元、第一存儲單元、第二存儲單元、第一轉換單元、第二轉換單元和云存儲單元，通過分布式文件系統對轉換后的數據文件進行管理、存儲和獲取。本發明針對大數據文件和小數據文件，通過采用兩個不同的存儲單元進行數據存儲和處理，有效解決了不同量級數據文件的處理問題，加快了文件的處理速度，提升了整體系統的效率；本發明通過設置云存儲器和本地存儲器，有效保障數據存儲的完整性，避免數據遺失，也方便了使用者利用終端設備對數據進行訪問，提升了便利性。

技術領域

本發明涉及大數據技術領域，特別涉及一種基于大數據的數據采集與存儲系統。

背景技術

大數據的五個特性包括：一是數據量大、二是處理速度快、三是數據類型多、四是價值大、五是精確性高。

現有的大數據分析基于數據的存儲管理，數據存儲的完整性和有效性極大影響了大數據的數據分析結果，如果某個數據文件自身體積較為龐大，其處理時間較長，會影響到整個系統對于同時涌入的其他小數據文件的處理進程。

因此，針對以上現狀，迫切需要開發一種信息大數據的采集和存儲系統，以克服當前實際應用中的不足。

發明內容

有鑒于此，本發明的目的是提供一種基于大數據的數據采集與存儲系統。能夠克服背景技術中存在的問題。

本發明的目的是通過以下技術方案實現的：

一種基于大數據的數據采集與存儲系統，系統包括

數據采集單元，用于接收數據接口上傳的采集數據，并對采集數據的大小進行測算，根據采集數據的大小送入不同的存儲單元；

第一存儲單元，用于存儲大小小于設定閾值的小數據文件；

第二存儲單元，用于存儲大小大于設定閾值的大數據文件；

第一轉換單元，用于將第一存儲單元的小數據文件根據設定的數據格式進行轉換后寫入分布式文件系統；

第二轉換單元，用于將第二存儲單元的大數據文件根據設定的數據格式進行轉換后寫入分布式文件系統；

通過分布式文件系統對轉換后的數據文件進行管理、存儲和獲取。

進一步，所述分布式文件系統建立SQL查詢，并利用分布式列存儲數據庫對數據文件進行存儲。

進一步，還包括所述云存儲單元，所述分布式文件系統的本地存儲模塊單元將轉換后的數據文件傳輸至云存儲單元進行云存儲，所述云存儲單元包括數據存儲模塊、數據查看模塊、數據調用單元模塊、數據修改模塊、數據恢復單元模塊和和登錄單元模塊，所述數據存儲模塊、數據查看模塊、數據調用模塊、數據修改模塊、數據恢復模塊與登錄模塊依次電聯接。

進一步，包括應用終端，所述應用終端通過分布式文件系統或云存儲單元進行數據訪問。。

進一步，所述應用終端為智能手機、平板或PC。

本發明的有益效果是：

1.本發明針對大數據文件和小數據文件，通過采用兩個不同的存儲單元進行數據存儲和處理，有效解決了不同量級數據文件的處理問題，加快了文件的處理速度，提升了整體系統的效率；

2.本發明通過設置云存儲器和本地存儲器，通過雙重存儲有效保障數據存儲的完整性，避免數據遺失，也方便了使用者利用終端設備對數據進行訪問，提升了便利性。

本發明的其他優點、目標和特征在某種程度上將在隨后的說明書中進行闡述，并且在某種程度上，基于對下文的考察研究對本領域技術人員而言將是顯而易見的，或者可以從本發明的實踐中得到教導。本發明的目標和其他優點可以通過下面的說明書和前述的權利要求書來實現和獲得。

附圖說明