[發明專利]一種數據管理監控裝置

在審

• 申請號: 201811283386.6
• 申請日: 2018-10-31
• 公開（公告）號: CN109408579A
• 公開（公告）日: 2019-03-01
• 發明（設計）人: 魯大軍
• 申請（專利權）人: 武漢光谷聯眾大數據技術有限責任公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/2455;G06F16/2453;G06F16/28;G06F9/50;G06F9/52
• 代理公司: 北京天盾知識產權代理有限公司 11421
• 代理人: 楊本官

本發明數據網絡數據管理技術領域，尤其涉及一種數據管理監控裝置。本發明的數據管理監控裝置，有效提高了數據管理以及監控的效率，通過狀態信息的處置與緩存標志的處理方式降低了數據管理和監控的執行難度，便于實施；本發明的數據管理監控裝置特別適用于高速網絡環境中的數據抽取和監控，由于本發明的數據管理監控裝置數據抽取過程基于優先級控制方式，且僅進行簡單的過濾涮選，保證了數據抽取時不會占用過多的系統資源，降低其數據抽取的耗時，同時為后序數據解析與存儲作業的提供更多系統資源。

技術領域

本發明數據網絡數據管理技術領域，尤其涉及一種數據管理監控裝置。

背景技術

在數據抽取、監控以及存儲過程中，為便于數據的傳輸，降低降低網絡資源的負擔，原始數據在進行傳遞、運用和存儲之前均會經過前置或者后置處理以實現壓縮體積、提高傳輸效率等各種目的，由于數據種類多種多樣，處理方式相異，且數據容量各不相同，在數據的抽取以及存儲等各項作業流程中，各數據所需要的系統資源以及消耗的時間長短將在數據管理處理流程產生很大影響，因此有必要對數據抽取和管理作業流程中數據資源的占用以及分配等進行合理控制和管理，以提高系統資源的利用率，保證作業任務的順利完成的進行。

發明內容

基于上述需求本，發明創造的目的在于，提供一種數據管理監控裝置，其能夠適應于高速數據管理及監控的需要，降低系統資源的消耗。

為實現上述目的，本發明創造采用如下技術方案。

本發明的一種數據管理監控裝置，包括，數據處理模塊、數據監控模塊；

數據處理模塊包括抽取組件、解析組件以及存儲組件，其主要用于在網絡中抽取和定位所需要的數據資源，并將相應的資源進行分類處理；

數據抽取組件用于抽取網絡適配器接收到的數據內容，并對抽取得到的數據進行緩存，之后數據抽取組件將緩存儲據傳遞給數據解析模塊；數據解析模塊用于對緩存儲據進行解析，并將解析后結果發送至數據存儲模塊等待處理，數據存儲模塊根據不同解析結果將數據進行分類存儲和/或備份；

數據抽取組件根據優先級程度對并發的主權去抽取任務進行依序抽取，高優先級的抽取流程優先執行后，同時該抽取流程在更高優先級的服務到達或者收到放棄指令之前持續占用CPU資源；數據抽取組件對數據包進行過濾和篩選以定位和精簡數據容量，并將到來的數據包進行緩存，同時在緩存數據中加入數據包的抽取狀態及其數據信息；數據抽取組件優先將數據緩存至內存，并在內存負載達到某閾值后存入硬盤；

當某一個數據抽取任務被執行，在收到停止指令之前，裝置配置和啟動數據抽取流程以抽取數據并將數據寫入內存緩存之中，當內存緩存容量達到閾值后，則啟動硬盤緩存步驟，以提高數據相應速度與數據處理效率，提高裝置利用率。

解析組件和數據存儲組件連接，解析組件包括含有互斥鎖的多作業線程，各作業線程分別解析緩存的不同部分，同時記錄各作業線程數據處理的實時狀態，當某作業線程開始解析某緩存時抽取鎖，在確定要解析的內容之后釋放鎖；存儲組件使用存儲解析組件解析后的數據，并分別針對不同數據建立存儲表，存儲表中包括相應的解析數據、相應的數據條目以及其抽取的時間標記。

數據緩存組件從數據庫中抽取數據并判斷緩存中是否存在數據，當緩存中沒有數據時則根據緩存數據中抽取組件的工作狀態判斷后序是停止還是繼續解析作業，即當緩存中無數據且數據抽取組件停止作業則停止解析作業，否則繼續等待緩存數據并啟動解析作業，解析作業過程中，解析組件根據數據的不同協議類型進行分別處理，并將相應的數據發送至存儲系統。

在數據抽取組件抽取到可能存在危險的數據包時，該數據被送至解析組件特定部分進行解析并存儲至存儲組件中的特定位置，同時建立該特定位置的定位表；