[發(fā)明專利]一種數(shù)據(jù)管理監(jiān)控裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201811283386.6
• 申請(qǐng)日: 2018-10-31
• 公開(kāi)（公告）號(hào): CN109408579A
• 公開(kāi)（公告）日: 2019-03-01
• 發(fā)明（設(shè)計(jì)）人: 魯大軍
• 申請(qǐng)（專利權(quán)）人: 武漢光谷聯(lián)眾大數(shù)據(jù)技術(shù)有限責(zé)任公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25;G06F16/2455;G06F16/2453;G06F16/28;G06F9/50;G06F9/52
• 代理公司: 北京天盾知識(shí)產(chǎn)權(quán)代理有限公司 11421
• 代理人: 楊本官

1.一種數(shù)據(jù)管理監(jiān)控裝置，其特征在于，包括，數(shù)據(jù)處理模塊、數(shù)據(jù)監(jiān)控模塊；

數(shù)據(jù)抽取組件用于抽取網(wǎng)絡(luò)適配器接收到的數(shù)據(jù)內(nèi)容，并對(duì)抽取得到的數(shù)據(jù)進(jìn)行緩存，之后數(shù)據(jù)抽取組件將緩存儲(chǔ)據(jù)傳遞給數(shù)據(jù)解析模塊；數(shù)據(jù)解析模塊用于對(duì)緩存儲(chǔ)據(jù)進(jìn)行解析，并將解析后結(jié)果發(fā)送至數(shù)據(jù)存儲(chǔ)模塊等待處理，數(shù)據(jù)存儲(chǔ)模塊根據(jù)不同解析結(jié)果將數(shù)據(jù)進(jìn)行分類存儲(chǔ)和/或備份；

數(shù)據(jù)抽取組件根據(jù)優(yōu)先級(jí)程度對(duì)并發(fā)的主權(quán)去抽取任務(wù)進(jìn)行依序抽取，高優(yōu)先級(jí)的抽取流程優(yōu)先執(zhí)行后，同時(shí)該抽取流程在更高優(yōu)先級(jí)的服務(wù)到達(dá)或者收到放棄指令之前持續(xù)占用CPU資源；數(shù)據(jù)抽取組件對(duì)數(shù)據(jù)包進(jìn)行過(guò)濾和篩選以定位和精簡(jiǎn)數(shù)據(jù)容量，并將到來(lái)的數(shù)據(jù)包進(jìn)行緩存，同時(shí)在緩存數(shù)據(jù)中加入數(shù)據(jù)包的抽取狀態(tài)及其數(shù)據(jù)信息；數(shù)據(jù)抽取組件優(yōu)先將數(shù)據(jù)緩存至內(nèi)存，并在內(nèi)存負(fù)載達(dá)到某閾值后存入硬盤(pán)；

數(shù)據(jù)緩存組件從數(shù)據(jù)庫(kù)中抽取數(shù)據(jù)并判斷緩存中是否存在數(shù)據(jù)，當(dāng)緩存中沒(méi)有數(shù)據(jù)時(shí)則根據(jù)緩存數(shù)據(jù)中抽取組件的工作狀態(tài)判斷后序是停止還是繼續(xù)解析作業(yè)，即當(dāng)緩存中無(wú)數(shù)據(jù)且數(shù)據(jù)抽取組件停止作業(yè)則停止解析作業(yè)，否則繼續(xù)等待緩存數(shù)據(jù)并啟動(dòng)解析作業(yè)，解析作業(yè)過(guò)程中，解析組件根據(jù)數(shù)據(jù)的不同協(xié)議類型進(jìn)行分別處理，并將相應(yīng)的數(shù)據(jù)發(fā)送至存儲(chǔ)系統(tǒng)；

數(shù)據(jù)監(jiān)控模塊包括數(shù)據(jù)監(jiān)控組件及查詢組件；

監(jiān)控組件監(jiān)控網(wǎng)絡(luò)中主機(jī)的流量信息，控制組件管理和控制數(shù)據(jù)抽取組件的工作狀態(tài)，查詢組件提供查詢控制接口，包括對(duì)數(shù)據(jù)抽取組件的控制、數(shù)據(jù)的查詢；

監(jiān)控組件記錄被監(jiān)控設(shè)備數(shù)據(jù)的上下行、實(shí)時(shí)收發(fā)以及區(qū)間內(nèi)平均收發(fā)量，定時(shí)對(duì)流量數(shù)據(jù)進(jìn)行保存和清零。

2.根據(jù)權(quán)利要求1所述一種數(shù)據(jù)管理監(jiān)控裝置，其特征在于，當(dāng)某一個(gè)數(shù)據(jù)抽取任務(wù)被執(zhí)行，在收到停止指令之前，裝置配置和啟動(dòng)數(shù)據(jù)抽取流程以抽取數(shù)據(jù)并將數(shù)據(jù)寫(xiě)入內(nèi)存緩存之中，當(dāng)內(nèi)存緩存容量達(dá)到閾值后，則啟動(dòng)硬盤(pán)緩存步驟，以提高數(shù)據(jù)相應(yīng)速度與數(shù)據(jù)處理效率，提高裝置利用率。

3.根據(jù)權(quán)利要求1所述一種數(shù)據(jù)管理監(jiān)控裝置，其特征在于，當(dāng)主線程建各作業(yè)線程之后，數(shù)據(jù)抽取作業(yè)線程加入主線程保持作業(yè)持續(xù)運(yùn)行，在數(shù)據(jù)抽取結(jié)束之后，數(shù)據(jù)分析以及數(shù)據(jù)存儲(chǔ)線程加入至線程直至最終，以保證數(shù)據(jù)解析和存儲(chǔ)作業(yè)全部完成。

4.根據(jù)權(quán)利要求1所述一種數(shù)據(jù)管理監(jiān)控裝置，其特征在于，解析組件和數(shù)據(jù)存儲(chǔ)組件連接，解析組件包括含有互斥鎖的多作業(yè)線程，各作業(yè)線程分別解析緩存的不同部分，同時(shí)記錄各作業(yè)線程數(shù)據(jù)處理的實(shí)時(shí)狀態(tài)，當(dāng)某作業(yè)線程開(kāi)始解析某緩存時(shí)抽取鎖，在確定要解析的內(nèi)容之后釋放鎖；存儲(chǔ)組件使用存儲(chǔ)解析組件解析后的數(shù)據(jù)，并分別針對(duì)不同數(shù)據(jù)建立存儲(chǔ)表，存儲(chǔ)表中包括相應(yīng)的解析數(shù)據(jù)、相應(yīng)的數(shù)據(jù)條目以及其抽取的時(shí)間標(biāo)記。

5.根據(jù)權(quán)利要求1所述一種數(shù)據(jù)管理監(jiān)控裝置，其特征在于，在數(shù)據(jù)抽取組件抽取到可能存在危險(xiǎn)的數(shù)據(jù)包時(shí)，該數(shù)據(jù)被送至解析組件特定部分進(jìn)行解析并存儲(chǔ)至存儲(chǔ)組件中的特定位置，同時(shí)建立該特定位置的定位表。