[發明專利]一種基于云計算的大數據處理系統

在審

• 申請號: 201910529175.4
• 申請日: 2019-06-19
• 公開（公告）號: CN110232136A
• 公開（公告）日: 2019-09-13
• 發明（設計）人: 徐顯暑;鄭玉潔;李上奏
• 申請（專利權）人: 浙江中普科技咨詢有限公司
• 主分類號: G06F16/71
• 分類號: G06F16/71;G06F16/787;G06F16/61;G06F16/687;G06F11/14;H04N7/18
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于云計算的大數據處理系統，包括終端設備，其特征在于，所述終端設備用于獲得需要進行安防地區內的監控視頻以及音頻信號，所述終端設備和數據采集模塊電性連接，所述數據采集模塊用于采集物聯網節點上的安防監控數據，且所述數據采集模塊上電性連接有音頻數據模塊，所述數據采集模塊上電性連接有視頻數據模塊，所述視頻數據模塊和位置信息模塊電性連接，即可獲取監控中的音頻數據、視頻數據以及位置信息，所述數據采集模塊上還電性連接有數據預處理模塊，所述數據預處理模塊可用于對采集的安防監控數據進行格式轉換、剔除壞點、去除線性趨勢項、零均值化處理以及數據平滑或擬合，所述數據預處理模塊上還連接有數據解析模塊，所述數據解析模塊包括拆分單元模塊，所述拆分單元模塊上電性連接有映射單元模塊，且所述映射單元模塊上電性連接有輸出單元模塊，所述輸出單元模塊上電性連接有合并存儲模塊，所述數據預處理模塊上電性連接有分布存儲模塊，所述分布存儲模塊是將各種不同的設備虛擬為存儲池，提高存儲空間的利用率，同時提供存儲擴展、存儲管理、存儲維護以及存儲升級空間，所述分布存儲模塊上還電性連接有管理調度模塊，所述管理調度模塊還和應用接口模塊電性連接。

2.根據權利要求1所述的一種基于云計算的大數據處理系統，其特征在于，所述數據預處理模塊上還連接有解碼處理模塊，所述解碼處理模塊上還電性連接有數據填充模塊，所述數據填充模塊上電性連接有噪音清洗模塊。

3.根據權利要求1所述的一種基于云計算的大數據處理系統，其特征在于，所述管理調度模塊包括訪問調度模塊，所述訪問調度模塊上電性連接有內容發布模塊，所述內容發布模塊上電性連接有存儲管理模塊，所述存儲管理模塊和數據備份模塊電性連接。

4.根據權利要求1所述的一種基于云計算的大數據處理系統，其特征在于，所述應用接口模塊包括數據存儲接口模塊，所述數據存儲接口模塊上電性連接有空間租賃接口模塊，且所述空間租賃接口模塊上電性連接有公共資源接口模塊，所述公共資源接口模塊上還連接有多用戶數據共享接口模塊，所述多用戶數據共享接口模塊上電性連接有數據備份查詢接口模塊。

5.根據權利要求1所述的一種基于云計算的大數據處理系統，其特征在于，所述拆分單元模塊對輸入文件大小進行輸入分片，建立關聯關系表，并將各個輸入文件的各個關系值的對應關系寫入關聯關系表中。

6.根據權利要求1所述的一種基于云計算的大數據處理系統，其特征在于，所述映射單元模塊通過預先編寫的映射函數將輸入分片按照映射任務進行映射，按照預先設置的數據格式將輸入分片內容進行列表對齊，如果各個關系值存在則直接保留，如果不存在某一項或某幾項關系值，則缺失的關系值為空。

7.根據權利要求1所述的一種基于云計算的大數據處理系統，其特征在于，所述合并存儲模塊是從關聯關系表中查詢各個映射輸出文件對應的所有索引信息，將各個映射輸出文件的每個對應一個段數據插入到段列表中。