[發(fā)明專利]智能化局域網(wǎng)數(shù)據(jù)采集方法

有效

• 申請?zhí)枺?/td>: 201210276361.X
• 申請日: 2012-08-03
• 公開（公告）號: CN102801559A
• 公開（公告）日: 2012-11-28
• 發(fā)明（設(shè)計(jì)）人: 王宏亮;邱國金;王河生;任軒;其他發(fā)明人請求不公開姓名
• 申請（專利權(quán)）人: 南京富士通南大軟件技術(shù)有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L1/00;H04L29/06
• 代理公司: 南京知識律師事務(wù)所 32207
• 代理人: 蔣海軍

1.智能化局域網(wǎng)數(shù)據(jù)采集方法，其步驟為：

步驟一：環(huán)境準(zhǔn)備

一臺中心數(shù)據(jù)匯總單元，至少一臺以上數(shù)據(jù)采集單元，所述中心數(shù)據(jù)匯總單元運(yùn)行數(shù)據(jù)收集程序與數(shù)據(jù)采集單元建立SSH連接并可以在數(shù)據(jù)采集單元上遠(yuǎn)程執(zhí)行方法命令，利用XML文件存儲各個(gè)數(shù)據(jù)采集單元的IP、機(jī)器名、數(shù)據(jù)采集路徑，按照動態(tài)輪詢優(yōu)化算法從各個(gè)數(shù)據(jù)采集單元匯總數(shù)據(jù)，所述收集程序根據(jù)腳本模板文件和XML文件中的采集信息動態(tài)生成采集腳本，中心數(shù)據(jù)匯總單元通過收集程序獲得各個(gè)數(shù)據(jù)采集單元的運(yùn)行狀況；

所述數(shù)據(jù)采集單元，通過運(yùn)行采集腳本對定義文件的更新數(shù)據(jù)進(jìn)行采集并把更新數(shù)據(jù)發(fā)送到中心數(shù)據(jù)匯總單元，同時(shí)接受中心數(shù)據(jù)匯總單元發(fā)送過來的方法命令；

所述步驟1中的方法命令為發(fā)送腳本、刪除腳本、執(zhí)行腳本、停止腳本和執(zhí)行Shell命令；

步驟二：采集流程

環(huán)境準(zhǔn)備好后，中心數(shù)據(jù)匯總單元會按設(shè)定的時(shí)間間隔和順序輪詢所有數(shù)據(jù)采集單元，中心數(shù)據(jù)匯總單元第一次和數(shù)據(jù)采集單元建立連接時(shí)，會自動把采集腳本發(fā)送到數(shù)據(jù)采集單元并執(zhí)行采集腳本，保證所有數(shù)據(jù)采集單元都正常運(yùn)行著采集腳本：

(1)當(dāng)中心數(shù)據(jù)匯總單元輪詢到數(shù)據(jù)采集單元時(shí)，先發(fā)送一個(gè)確認(rèn)文件到數(shù)據(jù)采集單元的“數(shù)據(jù)傳送臨時(shí)文件夾”中；

(2)從中心數(shù)據(jù)匯總單元發(fā)送到數(shù)據(jù)采集單元的采集腳本一方面會通過定時(shí)比較定義文件中現(xiàn)在的行數(shù)與上一次記錄的行數(shù)的差值來監(jiān)控采集腳本中規(guī)定的采集路徑下的定義文件是否有更新，有更新數(shù)據(jù)就把更新數(shù)據(jù)送到“數(shù)據(jù)傳送臨時(shí)文件夾”；另一方面會通過文件檢索命令定時(shí)檢測“數(shù)據(jù)傳送臨時(shí)文件夾”中是否有中心數(shù)據(jù)匯總單元發(fā)送來的確認(rèn)文件，一旦檢測到則進(jìn)行下一步；

(3)數(shù)據(jù)采集單元會判斷“數(shù)據(jù)傳送臨時(shí)文件夾”中的更新數(shù)據(jù)是否達(dá)到了可以傳送的量，超過就傳送更新數(shù)據(jù)到中心數(shù)據(jù)匯總單元的“數(shù)據(jù)收集臨時(shí)文件夾”中，傳送完后自動刪除，否則發(fā)送拒絕文件到中心數(shù)據(jù)匯總單元的“數(shù)據(jù)收集臨時(shí)文件夾”中；

(4)中心數(shù)據(jù)匯總單元的收集程序一方面會通過文件檢索方法定時(shí)檢測“數(shù)據(jù)收集臨時(shí)文件夾”中的臨時(shí)文件，若臨時(shí)文件存在則把臨時(shí)文件中的數(shù)據(jù)備份到歷史數(shù)據(jù)文件中，然后自動刪除臨時(shí)文件；另一方面會通過文件檢索方法定時(shí)檢測“數(shù)據(jù)收集臨時(shí)文件夾”中是否有數(shù)據(jù)采集單元發(fā)送來的拒絕文件，檢測到則輪詢下一臺數(shù)據(jù)采集單元；

步驟三：動態(tài)輪詢優(yōu)化算法的采用

有m臺數(shù)據(jù)采集單元

（a）統(tǒng)計(jì)一次輪詢遍歷后各數(shù)據(jù)采集單元的傳輸量p_i（i=1，…m）；

（b）對各數(shù)據(jù)采集單元的傳輸量p_i進(jìn)行標(biāo)準(zhǔn)化，先計(jì)算出總的壓縮份額5m和所有數(shù)據(jù)采集單元的總傳輸量將各個(gè)數(shù)據(jù)采集單元的傳輸量按照的比例進(jìn)行壓縮，得到各數(shù)據(jù)采集單元非整數(shù)化的壓縮份額n′_i，

再使用Q值算法將各數(shù)據(jù)采集單元非整數(shù)化的壓縮份額n′_i整數(shù)化為n_i；

（c）計(jì)算所有數(shù)據(jù)采集單元壓縮份額n_i的最小公倍數(shù)N，并算出各數(shù)據(jù)采集單元的輪詢次數(shù)

（d）根據(jù)計(jì)算出的各數(shù)據(jù)采集單元的輪詢次數(shù)k_i，利用均散算法來設(shè)計(jì)下一個(gè)輪詢周期的輪詢隊(duì)列。

（e）回到（1）統(tǒng)計(jì)上一次輪詢遍歷后各數(shù)據(jù)采集單元的傳輸量p_i。

2.根據(jù)權(quán)利要求1所述的智能化局域網(wǎng)數(shù)據(jù)采集方法，其特征在于所述定義文件為在中心數(shù)據(jù)匯總單元上運(yùn)行的收集程序中定義好的數(shù)據(jù)采集單元中的指定采集文件。

3.根據(jù)權(quán)利要求1所述的智能化局域網(wǎng)數(shù)據(jù)采集方法，其特征在于所述中心數(shù)據(jù)匯總單元的操作系統(tǒng)采用Windows系統(tǒng)或Linux系統(tǒng)，數(shù)據(jù)采集單元的操作系統(tǒng)采用Windows系統(tǒng)或Linux系統(tǒng)。