[發(fā)明專利]數(shù)據(jù)獲取方法、數(shù)據(jù)獲取設(shè)備和計算機可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201610365867.6
• 申請日: 2016-05-27
• 公開（公告）號: CN107436904B
• 公開（公告）日: 2020-06-30
• 發(fā)明（設(shè)計）人: 都海峰
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 倪斌

本發(fā)明提供了一種數(shù)據(jù)獲取方法及其設(shè)備。在該方法中，主控模塊確定與當(dāng)前進程相關(guān)的目標(biāo)網(wǎng)絡(luò)設(shè)備列表；所述主控模塊根據(jù)預(yù)設(shè)配置向一個或多個數(shù)據(jù)抓取模塊定期通知所述目標(biāo)網(wǎng)絡(luò)設(shè)備列表中的目標(biāo)網(wǎng)絡(luò)設(shè)備；所述一個或多個數(shù)據(jù)抓取模塊根據(jù)所述目標(biāo)網(wǎng)絡(luò)設(shè)備的地址向所述目標(biāo)網(wǎng)絡(luò)設(shè)備發(fā)送數(shù)據(jù)抓取請求；所述一個或多個數(shù)據(jù)抓取模塊接收所述目標(biāo)網(wǎng)絡(luò)設(shè)備發(fā)回的數(shù)據(jù)抓取響應(yīng)，所述數(shù)據(jù)抓取響應(yīng)包括所要獲取的原始數(shù)據(jù)；以及所述一個或多個數(shù)據(jù)抓取模塊向一個或多個數(shù)據(jù)處理模塊發(fā)送所獲取的原始數(shù)據(jù)，以由所述一個或多個數(shù)據(jù)處理模塊進行處理。上述方案通過輕量級并發(fā)方式大大提升服務(wù)器的抓取效率，利用數(shù)量較少的服務(wù)器資源，實現(xiàn)最大化數(shù)量網(wǎng)絡(luò)設(shè)備的監(jiān)控數(shù)據(jù)抓取和存儲。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)獲取領(lǐng)域，具體地，涉及監(jiān)控設(shè)備的數(shù)據(jù)獲取方法及其設(shè)備。

背景技術(shù)

互聯(lián)網(wǎng)、云計算等IT產(chǎn)業(yè)在飛速發(fā)展的同時，也帶動計算機和網(wǎng)絡(luò)基礎(chǔ)設(shè)置的快速建設(shè)。對于中大型互聯(lián)網(wǎng)公司，每個機房都部署了成百上千臺各種各樣的網(wǎng)絡(luò)設(shè)備：光纖、集線器、交換機、防火墻等。其中各種各樣的交換機(TOR交換機、核心交換機、邊界交換機等)構(gòu)成了互聯(lián)網(wǎng)公司機房的主體網(wǎng)絡(luò)設(shè)備。

對于數(shù)量如此眾多的網(wǎng)絡(luò)設(shè)備，運維人員需要能夠隨時隨地把握每個設(shè)備端口狀態(tài)、流量等監(jiān)控信息，以確保既能監(jiān)控各網(wǎng)絡(luò)設(shè)備的運行狀態(tài)，又能做到對攻擊和帶寬不足及時預(yù)警。

然而，雖然各廠商都提供了豐富的管理和監(jiān)控工具，但是這些工具都只是針對各廠商自己的產(chǎn)品。運維人員無法有效監(jiān)控和查看全網(wǎng)設(shè)備數(shù)據(jù)。

此外，各網(wǎng)絡(luò)廠商的自有監(jiān)控工具數(shù)據(jù)儲存粒度低，格式私有，并且大多不對外開放，導(dǎo)致無法基于這些數(shù)據(jù)進行深度分析和挖掘。

因此需要一種數(shù)據(jù)獲取方法，其能夠利用數(shù)量較少的服務(wù)器資源，實現(xiàn)最大化數(shù)量網(wǎng)絡(luò)設(shè)備的監(jiān)控數(shù)據(jù)抓取和存儲。

發(fā)明內(nèi)容

為了解決上述問題中的至少一些，本發(fā)明實施例提供了一種數(shù)據(jù)獲取方法和一種數(shù)據(jù)獲取設(shè)備。

根據(jù)本發(fā)明的一個方案，提供了一種數(shù)據(jù)獲取方法，包括：主控模塊確定與當(dāng)前進程相關(guān)的目標(biāo)網(wǎng)絡(luò)設(shè)備列表；所述主控模塊根據(jù)預(yù)設(shè)配置向一個或多個數(shù)據(jù)抓取模塊定期通知所述目標(biāo)網(wǎng)絡(luò)設(shè)備列表中的目標(biāo)網(wǎng)絡(luò)設(shè)備；所述一個或多個數(shù)據(jù)抓取模塊根據(jù)所述目標(biāo)網(wǎng)絡(luò)設(shè)備的地址向所述目標(biāo)網(wǎng)絡(luò)設(shè)備發(fā)送數(shù)據(jù)抓取請求；所述一個或多個數(shù)據(jù)抓取模塊接收所述目標(biāo)網(wǎng)絡(luò)設(shè)備發(fā)回的數(shù)據(jù)抓取響應(yīng)，所述數(shù)據(jù)抓取響應(yīng)包括所要獲取的原始數(shù)據(jù)；以及所述一個或多個數(shù)據(jù)抓取模塊向一個或多個數(shù)據(jù)處理模塊發(fā)送所獲取的原始數(shù)據(jù)，以由所述一個或多個數(shù)據(jù)處理模塊進行處理。

根據(jù)本發(fā)明的另一方案，提供了一種數(shù)據(jù)獲取設(shè)備，包括主控模塊、一個或多個數(shù)據(jù)抓取模塊以及一個或多個數(shù)據(jù)處理模塊，其中，所述主控模塊用于確定與當(dāng)前進程相關(guān)的目標(biāo)網(wǎng)絡(luò)設(shè)備列表，以及根據(jù)預(yù)設(shè)配置向所述一個或多個數(shù)據(jù)抓取模塊定期通知所述目標(biāo)網(wǎng)絡(luò)設(shè)備列表中的目標(biāo)網(wǎng)絡(luò)設(shè)備；所述一個或多個數(shù)據(jù)抓取模塊用于根據(jù)所述目標(biāo)網(wǎng)絡(luò)設(shè)備的地址向所述目標(biāo)網(wǎng)絡(luò)設(shè)備發(fā)送數(shù)據(jù)抓取請求，并接收所述目標(biāo)網(wǎng)絡(luò)設(shè)備發(fā)回的數(shù)據(jù)抓取響應(yīng)，所述數(shù)據(jù)抓取響應(yīng)包括所要獲取的原始數(shù)據(jù)，以及向所述一個或多個數(shù)據(jù)處理模塊發(fā)送所獲取的原始數(shù)據(jù)；以及所述一個或多個數(shù)據(jù)處理模塊用于對從所述一個或多個數(shù)據(jù)抓取模塊接收到的數(shù)據(jù)進行處理。

根據(jù)本發(fā)明的另一方案，提供了一種數(shù)據(jù)獲取設(shè)備，包括：存儲器；以及耦接至所述存儲器的處理器，所述處理器被配置為基于存儲在所述存儲器中的指令，執(zhí)行如上所述的數(shù)據(jù)獲取方法。

根據(jù)本發(fā)明的另一方案，提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機指令，所述指令被處理器執(zhí)行時實現(xiàn)如上所述的數(shù)據(jù)獲取方法。

上述方案通過輕量級并發(fā)方式大大提升服務(wù)器的抓取效率，利用數(shù)量較少的服務(wù)器資源，實現(xiàn)最大化數(shù)量網(wǎng)絡(luò)設(shè)備的監(jiān)控數(shù)據(jù)抓取和存儲。

附圖說明