[發明專利]一種基于云計算的大數據處理系統

在審

• 申請號: 201910529175.4
• 申請日: 2019-06-19
• 公開（公告）號: CN110232136A
• 公開（公告）日: 2019-09-13
• 發明（設計）人: 徐顯暑;鄭玉潔;李上奏
• 申請（專利權）人: 浙江中普科技咨詢有限公司
• 主分類號: G06F16/71
• 分類號: G06F16/71;G06F16/787;G06F16/61;G06F16/687;G06F11/14;H04N7/18
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及大數據處理技術領域，尤其是一種基于云計算的大數據處理系統，終端設備和數據采集模塊電性連接，且數據采集模塊上電性連接有音頻數據模塊，數據采集模塊上電性連接有視頻數據模塊，視頻數據模塊和位置信息模塊電性連接，數據預處理模塊上還連接有數據解析模塊，數據解析模塊包括拆分單元模塊，拆分單元模塊上電性連接有映射單元模塊，且映射單元模塊上電性連接有輸出單元模塊，輸出單元模塊上電性連接有合并存儲模塊，數據預處理模塊上電性連接有分布存儲模塊，分布存儲模塊上還電性連接有管理調度模塊。本發明通過把海量的大數據按照預先設置的規則分割成了若干部分，可處理大量非結構化的數據，提高了數據處理速度。

技術領域

本發明涉及大數據處理技術領域，尤其涉及一種基于云計算的大數據處理系統。

背景技術

在安防領域，信息孤島技術十分突出。在一座城市內，既有公安部門安裝的攝像監控設備，也有各個單位安裝的攝像監控設備，這些設備或系統所產生的監控數據難以實現互聯互通，造成信息孤島現象，近年來，以云計算、物聯網為核心的智慧城市建設大安防概念，試圖將這些信息孤島現象消除，然而安防監控數量巨大，造成通信寬帶的巨大消耗，在安防監控領域，隨著全方位和多層次的監控時代到來，產生了越來越多的安防監控數據，隨著云時代的來臨，大數據也吸引了越來越多的關注，大數據通常用來表示大量非結構化數據和半結構化數據，這些數據在下載到關系型數據庫用于用途分析，大數據分析常與云計算聯系到一起，需要實現以較小的通信代價實現安防大數據的互聯互通，并具有較高的擴展彈性和易于實施的特點。為此，我們提出了一種基于云計算的大數據處理系統。

發明內容

本發明的目的是為了解決現有技術中存在的缺點，而提出的一種基于云計算的大數據處理系統。

為了實現上述目的，本發明采用了如下技術方案：

設計一種基于云計算的大數據處理系統，包括終端設備，所述終端設備用于獲得需要進行安防地區內的監控視頻以及音頻信號，所述終端設備和數據采集模塊電性連接，所述數據采集模塊用于采集物聯網節點上的安防監控數據，且所述數據采集模塊上電性連接有音頻數據模塊，所述數據采集模塊上電性連接有視頻數據模塊，所述視頻數據模塊和位置信息模塊電性連接，即可獲取監控中的音頻數據、視頻數據以及位置信息，所述數據采集模塊上還電性連接有數據預處理模塊，所述數據預處理模塊可用于對采集的安防監控數據進行格式轉換、剔除壞點、去除線性趨勢項、零均值化處理以及數據平滑或擬合，所述數據預處理模塊上還連接有數據解析模塊，所述數據解析模塊包括拆分單元模塊，所述拆分單元模塊上電性連接有映射單元模塊，且所述映射單元模塊上電性連接有輸出單元模塊，所述輸出單元模塊上電性連接有合并存儲模塊，所述數據預處理模塊上電性連接有分布存儲模塊，所述分布存儲模塊是將各種不同的設備虛擬為存儲池，提高存儲空間的利用率，同時提供存儲擴展、存儲管理、存儲維護以及存儲升級空間，所述分布存儲模塊上還電性連接有管理調度模塊，所述管理調度模塊還和應用接口模塊電性連接。

優選的，所述數據預處理模塊上還連接有解碼處理模塊，所述解碼處理模塊上還電性連接有數據填充模塊，所述數據填充模塊上電性連接有噪音清洗模塊。

優選的，所述管理調度模塊包括訪問調度模塊，所述訪問調度模塊上電性連接有內容發布模塊，所述內容發布模塊上電性連接有存儲管理模塊，所述存儲管理模塊和數據備份模塊電性連接。

優選的，所述應用接口模塊包括數據存儲接口模塊，所述數據存儲接口模塊上電性連接有空間租賃接口模塊，且所述空間租賃接口模塊上電性連接有公共資源接口模塊，所述公共資源接口模塊上還連接有多用戶數據共享接口模塊，所述多用戶數據共享接口模塊上電性連接有數據備份查詢接口模塊。

優選的，所述拆分單元模塊對輸入文件大小進行輸入分片，建立關聯關系表，并將各個輸入文件的各個關系值的對應關系寫入關聯關系表中。