[發明專利]一種面向實時大數據平臺Storm的屬性抽取系統

有效

• 申請號: 201610040260.0
• 申請日: 2016-01-18
• 公開（公告）號: CN105681308B
• 公開（公告）日: 2019-05-17
• 發明（設計）人: 張衛山;段鵬程;宮文娟;盧清華;李忠偉
• 申請（專利權）人: 青島邃智信息科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

1.一種面向實時大數據平臺Storm的屬性抽取系統，其特征在于，包括：

搭建Storm集群環境；開啟Storm集群環境；開發拓撲結構，上傳拓撲任務到Storm集群；開啟代碼注入器，動態注入監控代碼；啟動監控設備上的監控器，感知Storm集群自身對象以及拓撲結構中的對象；收集Storm環境屬性，存入存儲設備；

為了獲取Storm某一個拓撲中所有任務的屬性，Storm的一個拓撲結構中的所有螺栓和噴口需要分別繼承框架中的BaseMetricBolt和BaseMetricSpout，同時需要在上傳拓撲之前開啟監控服務器，其開啟入口在TopoMetricProtocolImpl中；BaseMetricBolt和BaseMetricSpout分別繼承于BaseRichBolt與BaseRichSpout，CpuMetric與TrafficMetric分別實現了IMetric。

2.如權利要求1所述的面向實時大數據平臺Storm的屬性抽取系統，其特征在于，在開發過程中的靜態屬性，包括遠程調用的實現、低耦合的屬性提取機制的實現以及與Storm的代碼+融合的實現。

3.如權利要求1所述的面向實時大數據平臺Storm的屬性抽取系統，其特征在于，面向實時大數據平臺Storm的屬性抽取系統的存儲結構，包括任務層面、拓撲層面以及集群層面。

4.如權利要求1所述的面向實時大數據平臺Storm的屬性抽取系統，其特征在于，對于一個Storm的拓撲結構，如果需要所述面向實時大數據平臺Storm的環境屬性抽取系統來進行對屬性的提取，需要在拓撲結構中另外新開一個計算任務，所述計算任務專門用來獲取Storm實時平臺中對應的拓撲結構中的每一個計算任務的屬性。

5.如權利要求4所述的面向實時大數據平臺Storm的屬性抽取系統，其特征在于，所述新的計算任務就是TopologyMetricsConsumer類的一個實例，其繼承于Storm實時框架內部的IMetricsConsumer。

6.如權利要求1所述的面向實時大數據平臺Storm的屬性抽取系統，其特征在于，除了基于Storm實時計算框架本身的API之外，其通信部分還依賴于遠程過程調用金和序列化機制的一個來有效實現HadoopRPC。

7.如權利要求1所述的面向實時大數據平臺Storm的屬性抽取系統，其特征在于，TopologyMetricsEvent組合了ComponentMetricsEvent，同時實現了HadoopRPC中的Writable接口；其遠程過程調用機制體現在TopoMetricProtocolImpl實現了MetricProtocol，而MetricProtocol同時也繼承了HadoopRPC的VersionedProtocol。

8.如權利要求7所述的面向實時大數據平臺Storm的屬性抽取系統，其特征在于，當監控服務器啟動之后，一旦TopologyMetricsConsumer的實例開始接受Storm中的對應的拓撲結構的屬性之后，通過HadoopRPC實現的遠程過程調用，監控服務器通過TopoMetricProtocolImpl來調用Storm集群中的拓撲結構的屬性數據。