[發(fā)明專利]一種數(shù)據(jù)采集方法及相關(guān)設(shè)備

在審

• 申請?zhí)枺?/td>: 201711325963.9
• 申請日: 2017-12-13
• 公開（公告）號: CN109918190A
• 公開（公告）日: 2019-06-21
• 發(fā)明（設(shè)計）人: 周正茂;阮超
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本申請實施例公開了一種數(shù)據(jù)采集方法及相關(guān)設(shè)備，包括：當(dāng)檢測到插件運行時，獲取所述插件的第一運行狀態(tài)以及系統(tǒng)資源的第二運行狀態(tài)中的至少一種；根據(jù)所述第一運行狀態(tài)以及所述第二運行狀態(tài)中的至少一種，調(diào)整所述插件的采集頻率；根據(jù)調(diào)整后的所述采集頻率，控制所述插件采集業(yè)務(wù)數(shù)據(jù)。采用本申請實施例，在保障滿足采集業(yè)務(wù)數(shù)據(jù)要求的情況下，降低系統(tǒng)資源消耗，提高系統(tǒng)的運行效率。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)采集方法及相關(guān)設(shè)備。

背景技術(shù)

隨著云計算技術(shù)的快速發(fā)展，提供高可靠性的云服務(wù)尤為重要。云監(jiān)控作為保證云服務(wù)可靠性最有效的辦法，已經(jīng)成為數(shù)據(jù)中心運維的最重要依賴工具。當(dāng)前數(shù)據(jù)中心需要監(jiān)控的業(yè)務(wù)有很多，包括：基礎(chǔ)設(shè)施即服務(wù)層(Infrastructure as a Service，IaaS)的虛擬化服務(wù)，如：基于內(nèi)核的虛擬機(Kernel-based Virtual Machine，KVM)和虛擬機(Virtual Machine，VM)等、平臺即服務(wù)(Platform as a Service，PaaS)層的業(yè)務(wù)，如：容器、數(shù)據(jù)庫、中間件等業(yè)務(wù)、以及軟件即服務(wù)(Software as a Service，SaaS)層上運行的客戶業(yè)務(wù)。如何高效的監(jiān)控數(shù)據(jù)中心的各種業(yè)務(wù)、以及提高運維效率和質(zhì)量，成為數(shù)據(jù)中心運維面臨的一個重要問題。

為了解決上述問題，現(xiàn)有技術(shù)提供了如下解決方案，包括：第一，企業(yè)級的數(shù)據(jù)中心監(jiān)控解決方案(Zabbix)，提供信息采集、告警以及存儲分析等功能，由于采集代理(Agent)端與服務(wù)(Server)端耦合度太高，導(dǎo)致擴展新的采集功能極不方便，并且，信息采集控制以監(jiān)控項為單位，導(dǎo)致信息采集的資源消耗大。第二，開源集群監(jiān)視解決方案(Ganglia)，如圖1所示，可以在Ganglia數(shù)據(jù)采集框架上擴展Ganglia數(shù)據(jù)采集插件，靈活設(shè)置配置文件，但是，該種方案只能根據(jù)配置文件來運行插件，無法對插件進行管控，因此當(dāng)插件較多或插件執(zhí)行時間較長時，可能導(dǎo)致資源開銷較大，影響正常業(yè)務(wù)運行。第三，監(jiān)控信息采集工具，采用c語言編寫，并且插件也是用c語言編寫，效率非常高。并且擁有大量線程來擴展插件，但是也存在采集系統(tǒng)資源開銷過大的問題。

發(fā)明內(nèi)容

本申請實施例提供一種數(shù)據(jù)采集方法及相關(guān)設(shè)備，降低了系統(tǒng)資源消耗，提高了系統(tǒng)運行效率。

第一方面，本申請實施例提供了一種數(shù)據(jù)采集方法，包括：

首先當(dāng)檢測到插件運行時，獲取插件的第一運行狀態(tài)以及系統(tǒng)資源的第二運行狀態(tài)中的至少一種；然后根據(jù)第一運行狀態(tài)以及第二運行狀態(tài)中的至少一種，調(diào)整插件的采集頻率；最后根據(jù)調(diào)整后的采集頻率，控制插件采集業(yè)務(wù)數(shù)據(jù)。通過實時監(jiān)控各插件的運行狀態(tài)和系統(tǒng)資源的消耗，動態(tài)調(diào)整插件的采集頻率來控制插件采集業(yè)務(wù)數(shù)據(jù)，從而在保障滿足采集業(yè)務(wù)數(shù)據(jù)要求的情況下，降低系統(tǒng)資源消耗，提高系統(tǒng)運行效率。

在一種可能的設(shè)計中，在獲取插件的第一運行狀態(tài)以及系統(tǒng)資源的第二運行狀態(tài)之前，可以獲取插件的插件類型；當(dāng)插件為服務(wù)類型的插件時，則將一個線程綁定到該插件上，使得插件獨占一個線程，運行該插件的接口函數(shù)來完成采集業(yè)務(wù)數(shù)據(jù)的功能；或當(dāng)插件為周期性采集的插件時，將插件加入到插件執(zhí)行隊列中，從插件執(zhí)行隊列中周期性調(diào)用插件，運行該插件的接口函數(shù)來完成采集業(yè)務(wù)數(shù)據(jù)的功能。

在另一種可能的設(shè)計中，第一運行狀態(tài)可以包括插件每次采集業(yè)務(wù)數(shù)據(jù)的執(zhí)行時長、插件的穩(wěn)定性大小等等。第二運行狀態(tài)包括中央處理器(Central Processing Unit，CPU)資源的消耗大小、內(nèi)存資源的消耗大小、當(dāng)前主機的網(wǎng)絡(luò)流量和CPU使用率中的至少一種。

在另一種可能的設(shè)計中，按照預(yù)設(shè)周期獲取插件的第一運行狀態(tài)以及系統(tǒng)資源的第二運行狀態(tài)中的至少一種。

在另一種可能的設(shè)計中，在運行插件之前，可以獲取插件的編程語言類型；根據(jù)插件的編程語言類型，加載插件，從而完成插件執(zhí)行業(yè)務(wù)數(shù)據(jù)采集功能之前的環(huán)境準(zhǔn)備。