[發(fā)明專利]一種IAAS指標(biāo)與PAAS指標(biāo)分拆采集的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810798966.2
• 申請(qǐng)日: 2018-07-19
• 公開（公告）號(hào): CN108874527B
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 周晉;甘潤(rùn)東;盧仁猛;王皓然;袁捷;王瑋;羅念華;鐘腋;湯杰
• 申請(qǐng)（專利權(quán)）人: 貴州電網(wǎng)有限責(zé)任公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F16/25
• 代理公司: 貴陽(yáng)中新專利商標(biāo)事務(wù)所 52100
• 代理人: 商小川

本發(fā)明公開了一種IAAS指標(biāo)與PAAS指標(biāo)分拆采集的方法，它包括：IAAS指標(biāo)采集的方法和PAAS指標(biāo)的采集方法；IAAS指標(biāo)采集的方法包括：設(shè)置計(jì)劃時(shí)間為整點(diǎn)提前2秒；到達(dá)計(jì)劃時(shí)間后，設(shè)置虛擬機(jī)所需要采集指標(biāo)屬性鍵；采用For循環(huán)排列虛擬機(jī)指標(biāo)采集多線程執(zhí)行隊(duì)列；在提交至vSphere API之前設(shè)置開始時(shí)間戳；并發(fā)執(zhí)行vSphere API查詢方法；獲取到查詢結(jié)果之后設(shè)置結(jié)束時(shí)間戳；獲得采集執(zhí)行時(shí)刻時(shí)間戳；以虛擬機(jī)查詢對(duì)象為單位排列hash數(shù)組，寫入數(shù)據(jù)倉(cāng)庫(kù)，完成IAAS指標(biāo)的采集；解決了采用IAAS指標(biāo)與PAAS指標(biāo)分拆采集的方法存在的IAAS指標(biāo)與PAAS指標(biāo)的采集一致性差的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明屬于云平臺(tái)系統(tǒng)數(shù)據(jù)采集技術(shù)，尤其涉及一種IAAS指標(biāo)與PAAS指標(biāo)分拆采集的方法。

背景技術(shù)

傳統(tǒng)數(shù)據(jù)采集平臺(tái)數(shù)據(jù)采集通過(guò)統(tǒng)一vSphere的SDK接口進(jìn)行數(shù)據(jù)抽取，好處是可以統(tǒng)一管理，而弊端也相當(dāng)明顯：隨著云平臺(tái)虛擬機(jī)和業(yè)務(wù)系統(tǒng)復(fù)雜度的增加，數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取服務(wù)能力急需提升。以Vmware平臺(tái)性能數(shù)據(jù)倉(cāng)庫(kù)的抽取需求為例：電網(wǎng)數(shù)據(jù)采集接口服務(wù)器需要為多達(dá)八百多臺(tái)虛擬主機(jī)進(jìn)行數(shù)據(jù)抽取，其中包括基礎(chǔ)架構(gòu)虛擬機(jī)性能指標(biāo)、告警指標(biāo)、任務(wù)指標(biāo)、主機(jī)性能指標(biāo)、告警指標(biāo)以及PAAS層比如數(shù)據(jù)庫(kù)、中間件的指標(biāo)，采集時(shí)間間隔不能低于60秒,經(jīng)測(cè)試,需要完成的日加載數(shù)據(jù)流量達(dá)到400多萬(wàn)條數(shù)據(jù)，而且隨著業(yè)務(wù)系統(tǒng)的增多,支撐業(yè)務(wù)系統(tǒng)的基礎(chǔ)架構(gòu)也會(huì)日漸趨多,因此接口服務(wù)器的壓力越來(lái)越大，CPU、內(nèi)存的使用率在實(shí)際運(yùn)維過(guò)程中,單點(diǎn)執(zhí)行都趨近100％，已經(jīng)無(wú)法承載越來(lái)越多的業(yè)務(wù)系統(tǒng)虛擬機(jī)和云平臺(tái)的并行采集需求。基于這個(gè)背景之下，提出了一種IAAS指標(biāo)與PAAS指標(biāo)分拆采集的方法，同時(shí)，將采集執(zhí)行端轉(zhuǎn)化為分布式架構(gòu)，以應(yīng)對(duì)高并發(fā)量的采集，這種采集方法，能夠解決數(shù)據(jù)采集中心的采集壓力，然而，衍生了一個(gè)新的問(wèn)題，即是IAAS指標(biāo)與PAAS指標(biāo)的采集一致性差等問(wèn)題。

發(fā)明內(nèi)容：

本發(fā)明要解決的技術(shù)問(wèn)題：提供一種IAAS指標(biāo)與PAAS指標(biāo)分拆采集的方法，以解決現(xiàn)有技術(shù)采用IAAS指標(biāo)與PAAS指標(biāo)分拆采集的方法存在的IAAS指標(biāo)與PAAS指標(biāo)的采集一致性差的問(wèn)題。

本發(fā)明技術(shù)方案：

一種IAAS指標(biāo)與PAAS指標(biāo)分拆采集的方法，它包括：IAAS指標(biāo)采集的方法和PAAS指標(biāo)的采集方法；其特征在于：

所述IAAS指標(biāo)采集的方法包括：

步驟1.1：設(shè)置計(jì)劃時(shí)間為整點(diǎn)提前2秒；

步驟1.2：到達(dá)計(jì)劃時(shí)間后，設(shè)置虛擬機(jī)所需要的采集指標(biāo)屬性鍵；

步驟1.3：采用For循環(huán)排列虛擬機(jī)指標(biāo)采集多線程執(zhí)行隊(duì)列；

步驟1.4：在提交至vSphere API之前設(shè)置開始時(shí)間戳；

步驟1.5：并發(fā)執(zhí)行vSphere API查詢方法；

步驟1.6：獲取到查詢結(jié)果之后設(shè)置結(jié)束時(shí)間戳；

步驟1.7：按Math.int((End-Start)/2)，獲得采集執(zhí)行時(shí)刻時(shí)間戳；

步驟1.8：以虛擬機(jī)查詢對(duì)象為單位，排列hash數(shù)組，寫入數(shù)據(jù)倉(cāng)庫(kù)，完成IAAS指標(biāo)的采集；

所述PAAS指標(biāo)的采集方法包括：

步驟2.1：設(shè)置計(jì)劃時(shí)間為整點(diǎn)提前3秒；

步驟2.2：到達(dá)計(jì)劃時(shí)間后，Mina服務(wù)端設(shè)置PAAS所需要的采集指標(biāo)屬性鍵；

步驟2.3：獲取需要采集的客戶端，采用For循環(huán)排列虛擬機(jī)指標(biāo)采集多線程執(zhí)行隊(duì)列，將采集消息推送至客戶端；