[發(fā)明專利]一種基于大數(shù)據(jù)的數(shù)據(jù)采集與存儲系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011624296.6
• 申請日: 2020-12-30
• 公開（公告）號: CN114691675A
• 公開（公告）日: 2022-07-01
• 發(fā)明（設(shè)計）人: 劉翔;蒙根
• 申請（專利權(quán)）人: 貴州藍(lán)夢工場科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25;G06F16/27;G06F3/06
• 代理公司: 成都玖和知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51238
• 代理人: 胡琳梅

1.一種基于大數(shù)據(jù)的數(shù)據(jù)采集與存儲系統(tǒng)，其特征在于：所述系統(tǒng)包括

數(shù)據(jù)采集單元，用于接收數(shù)據(jù)接口上傳的采集數(shù)據(jù)，并對采集數(shù)據(jù)的大小進(jìn)行測算，根據(jù)采集數(shù)據(jù)的大小送入不同的存儲單元；

第一存儲單元，用于存儲大小小于設(shè)定閾值的小數(shù)據(jù)文件；

第二存儲單元，用于存儲大小大于設(shè)定閾值的大數(shù)據(jù)文件；

第一轉(zhuǎn)換單元，用于將第一存儲單元的小數(shù)據(jù)文件根據(jù)設(shè)定的數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換后寫入分布式文件系統(tǒng)；

第二轉(zhuǎn)換單元，用于將第二存儲單元的大數(shù)據(jù)文件根據(jù)設(shè)定的數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換后寫入分布式文件系統(tǒng)；

通過分布式文件系統(tǒng)對轉(zhuǎn)換后的數(shù)據(jù)文件進(jìn)行管理、存儲和獲取。

2.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的數(shù)據(jù)采集與存儲系統(tǒng)，其特征在于：所述分布式文件系統(tǒng)建立SQL查詢，并利用分布式列存儲數(shù)據(jù)庫對數(shù)據(jù)文件進(jìn)行存儲。

3.根據(jù)權(quán)利要求1所述的一種基于大數(shù)據(jù)的數(shù)據(jù)采集與存儲系統(tǒng)，其特征在于：還包括所述云存儲單元，所述分布式文件系統(tǒng)的本地存儲模塊單元將轉(zhuǎn)換后的數(shù)據(jù)文件傳輸至云存儲單元進(jìn)行云存儲，所述云存儲單元包括數(shù)據(jù)存儲模塊、數(shù)據(jù)查看模塊、數(shù)據(jù)調(diào)用模塊、數(shù)據(jù)修改模塊、數(shù)據(jù)恢復(fù)模塊和登錄模塊，所述數(shù)據(jù)存儲模塊、數(shù)據(jù)查看模塊、數(shù)據(jù)調(diào)用模塊、數(shù)據(jù)修改模塊、數(shù)據(jù)恢復(fù)模塊與登錄模塊依次電聯(lián)接。

4.根據(jù)權(quán)利要求3所述的一種基于大數(shù)據(jù)的數(shù)據(jù)采集與存儲系統(tǒng)，其特征在于：還包括應(yīng)用終端，所述應(yīng)用終端通過分布式文件系統(tǒng)或云存儲單元進(jìn)行數(shù)據(jù)訪問。

5.根據(jù)權(quán)利要求4所述的一種基于大數(shù)據(jù)的數(shù)據(jù)采集與存儲系統(tǒng)，其特征在于：所述應(yīng)用終端為智能手機(jī)、平板或PC。