[發明專利]一種面向實時大數據平臺Storm的屬性抽取系統

有效

• 申請號: 201610040260.0
• 申請日: 2016-01-18
• 公開（公告）號: CN105681308B
• 公開（公告）日: 2019-05-17
• 發明（設計）人: 張衛山;段鵬程;宮文娟;盧清華;李忠偉
• 申請（專利權）人: 青島邃智信息科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

本發明提出了一種面向實時大數據平臺Storm的屬性抽取系統，包括：搭建Storm集群環境；開啟Storm集群環境；開發拓撲結構，上傳拓撲任務到Storm集群；開啟代碼注入器，動態注入監控代碼；啟動監控設備上的監控器，感知Storm集群自身對象以及拓撲結構中的對象；收集Storm環境屬性，存入存儲設備。本發明開發了感知Storm云平臺環境屬性的一套具有高使用性的API，使其能夠獲取集群環境的狀態，同時保證集群的可獲得、可靠性和性能；建立了Storm運行時狀態下的E?R模型，使其能夠為資源調度、包括從線程級別到虛擬機級別的瓶頸檢測、集群實時環境可視化等需求提供可靠的數據模型依據。

技術領域

本發明涉及云計算大數據計算、分布式計算、流式計算領域，具體涉及到一種面向實時大數據平臺Storm的環境屬性抽取系統。

背景技術

實時云計算要求集群環境能面對數據結構動態變化且實時的海量數據，這就要求集群環境具有高可用性、高可靠性和高使用性。而高可用性和高可靠性能夠得到有力保證需要實時監控集群的運行狀態，但是集群由于任務數量龐大、節點數量繁多以及網絡負載重等問題造成監控難于實施，加之監控本身需要消耗計算、存儲和網絡資源，使得海量實時集群環境更像是一種黑盒，難以對其進行學習認知。

Storm是一種面向海量實時流運算的計算平臺。如圖3所示，在一個拓撲結構中，噴口代表整個拓撲結構的數據入口，實時流數據被封裝在元組中，通過流再流向下一層螺栓，其負責進行相應的應用計算。當元組被最后一層螺栓處理之后，整個元組在整個拓撲中的流動完成。在一個Storm實時云平臺中，允許有多個拓撲結構的存在，并且能允許其同時進行流式計算，這也增加了監控的難度。

發明內容

為解決現有技術的不足，本發明提出了一種面向實時大數據平臺Storm的屬性抽取系統，在感知Storm計算集群中起到了基礎性的作用，能夠為以后的集群節點、任務以及虛擬機等對象的感知學習打下數據基礎。

本發明的技術方案是這樣實現的：

一種面向實時大數據平臺Storm的屬性抽取系統，包括：

搭建Storm集群環境；開啟Storm集群環境；開發拓撲結構，上傳拓撲任務到Storm集群；開啟代碼注入器，動態注入監控代碼；啟動監控設備上的監控器，感知Storm集群自身對象以及拓撲結構中的對象；收集Storm環境屬性，存入存儲設備。

可選地，在開發過程中的靜態屬性，包括遠程調用的實現、低耦合的屬性提取機制的實現以及與Storm的代碼+融合的實現。

可選地，面向實時大數據平臺Storm的屬性抽取系統的存儲結構，包括任務層面、拓撲層面以及集群層面。

可選地，為了獲取Storm某一個拓撲中所有任務的屬性，Storm的一個拓撲結構中的所有螺栓和噴口需要分別繼承框架中的BaseMetricBolt和BaseMetricSpout，同時需要在上傳拓撲之前開啟監控服務器，其開啟入口在TopoMetricProtocolImpl中。

可選地，BaseMetricBolt和BaseMetricSpout分別繼承于BaseRichBolt與BaseRichSpout，CpuMetric與TrafficMetric分別實現了IMetric。

可選地，對于一個Storm的拓撲結構，如果需要所述面向實時大數據平臺Storm的環境屬性抽取系統來進行對屬性的提取，需要在拓撲結構中另外新開一個計算任務，所述計算任務專門用來獲取Storm實時平臺中對應的拓撲結構中的每一個計算任務的屬性。

可選地，所述新的計算任務就是TopologyMetricsConsumer類的一個實例，其繼承于Storm實時框架內部的IMetricsConsumer。