[實用新型]超大規模數據動態粒度切分裝置

有效

• 申請號: 201720241516.4
• 申請日: 2017-03-13
• 公開（公告）號: CN206532279U
• 公開（公告）日: 2017-09-29
• 發明（設計）人: 羅光春;殷光強;田玲;張栗粽
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F1/20;G06F11/30;G06F11/32
• 代理公司: 成都希盛知識產權代理有限公司51226
• 代理人: 濮云杉,楊冬

技術領域

本實用新型涉及數據處理裝置，具體的講是適用于超大規模數據動態粒度切分的裝置。

背景技術

隨著云計算和大數據技術的發展，需要處理的數據量越來越龐大，如何在業務處理中高效處理和訪問相關數據成為數據分析技術的研究熱點。在此形勢下，對計算機信息處理技術也有了更高的要求。因此，加強對大數據背景下的計算機信息處理技術的研究，具有重要的現實意義。

近些年來，我國公安信息化建設發展迅猛，公安行業的大規模信息化裝備部署運行，產生了海量的數據，既有傳統的結構化數據，也有大量文檔、圖片、視頻、柵格、矢量、文本等非結構化數據。據不完全統計，截至2015年底，全國公安機關掌握的數據資源已達數百類、上萬億條、EB級規模。目前，公安數據的年增長率超過50％，并且數據產生匯集的速度越來越快，數據呈階梯式增長。公安數據中蘊藏著人、事、物、組織和案件等豐富的信息，充分利用這些信息，挖掘海量數據背后隱藏的關聯關系，對于維護社會大局穩定、預防和打擊犯罪、輔助指揮決策都具有重要的價值。因此，警務數據處理模型也越來越復雜，時效性要求越來越高。

然而，現有的計算架構無法針對如此規模龐大的數據資源，進行快速復雜處理，其關鍵瓶頸之一是現有技術對大數據的處理采用的是自然粒度全數據加載的方法，存在大量數據冗余，因此難以實現對實時數據資源的快速處理。

實用新型內容

本實用新型提供了一種超大規模數據動態粒度切分裝置，可對實時數據邊處理邊存儲，以及對數據進行動態粒度切分和數據預測加載，更高效率的對原始數據進行動態粒度切分。

本實用新型的超大規模數據動態粒度切分裝置，具有包括裝置外殼的本體，在本體上設有實時數據接入接口和存量數據接入接口，在本體內設有系統配置主機，以及與所述系統配置主機相連、且與實時數據接入接口和存量數據接入接口連接的數據接入接口，數據接入接口通過數據處理器與存儲裝置連接，存儲裝置還與用于對數據粒度處理的決策單元連接，并與所述決策單元一同連接至系統配置主機，在決策單元中包含有對數據粒度進行計算處理的粒度處理器和與所述粒度處理器配合的粒度緩存裝置。其中系統配置主機可以是單片機或是CPU類型的數據處理設備，實時數據接入接口和存量數據接入接口可以根據實際需要設置為串口結構或其他現有的接口結構。

通過實時數據接入接口和存量數據接入接口兩種類型的接口分別接收對應的數據，并經數據處理器可以對兩種數據進行清理，包括對數據進行校驗等，目的在于刪除重復信息、糾正數據中存在的錯誤，并提供數據的一致性。其中實時數據接入接口對接收到的實時數據通過數據處理器存入存儲裝置中。存儲裝置可以根據需要進行緩存存儲裝置和/或永久存儲裝置的設置。所示的存量數據接入接口對接收到的存量數據通過數據處理器的在線重刪技術處理后可節約出數據存儲空間，在線重刪技術是在數據存儲到存儲裝置上的同時進行重復數據刪除的操作，在數據存儲到永久存儲裝置之前重復的數據便已經被去除掉了。

進一步的，本體上還設有與本體內的日志采集器對應的日志傳輸接口，所述日志采集器與所述系統配置主機連接。日志采集器可按照設定格式或自定義格式自動采集日志數據，并可通過日志傳輸接口導出到外接設備中進行查看。

進一步的，本體內設有溫度監測器和濕度監測器，所述的溫度監測器和濕度監測器通過系統配置主機將監測信號傳遞給設于本體上的溫/濕度顯示屏，以對本體內的溫度和適度進行監測，保證良好的運行環境。溫度監測器和濕度監測器均可采用現有的檢測設備。

進一步的，本體內設有通過一體機管理主機連接至所述系統配置主機的狀態監測服務器，狀態監測服務器通過系統配置主機將監測信號傳遞給設于本體上的狀態顯示屏。狀態監測服務器用于對各種裝置的運行狀態進行監測，例如內存使用率、存儲裝置剩余空間、數據處理器的使用率等。

進一步的，系統配置主機還連接有可與外接設備連接的外部數據接入接口，通過外部數據接入接口可以連接其他主機等設備，將外接數據導入到系統配置主機中。

在此基礎上，本體上設有散熱進風口和散熱出風口，有利于對本體內進行通風散熱。

可選的，本體上設有指示燈，用于對電源、運行狀態等進行提示。

本實用新型中涉及到的各種處理程序均是基于對應的現有硬件設備的常規數據處理方式，均可由本領域技術人員按照常規手段得以實現。