[發明專利]Storm實時任務的配置方法及裝置

在審

• 申請號: 202011233324.1
• 申請日: 2020-11-06
• 公開（公告）號: CN112363774A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 陸罡;孫遷;王志敏;佘國俊
• 申請（專利權）人: 蘇寧云計算有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 盛安平

1.一種Storm實時任務的配置方法，其特征在于，包括：

新建數據源節點和業務處理節點，并定義數據源節點的數據源信息和業務處理節點的業務常量信息；

新建Storm實時任務并定義任務參數，結合新建的所述數據源節點和業務處理節點生成配置文件；

將所述配置文件發送至Storm客戶端系統解析，并基于獲取的所述任務參數構建拓撲節點列表；

根據所述拓撲節點列表構建并啟動Topology，啟動任務流；

其中，所述新建數據源節點和業務處理節點，并定義數據源節點的數據源信息和業務處理節點的業務常量信息還包括：

在任務管理系統上可視化地新建數據源節點和業務處理節點，定義的數據源信息包括數據源隊列名稱、消費隊列名稱、數據來源和數據類型，定義的業務常量信息包括任務并發數量和業務常量數據；

其中，所述新建Storm實時任務并定義任務參數，結合新建的所述數據源節點和業務處理節點生成配置文件還包括：

在任務管理系統上新建Storm實時任務，所述任務參數包括任務拓撲圖內容及名稱、啟動進程數、pending數、消息超時時間中值、數據來源和數據類型；

基于所述Storm實時任務、所述任務參數、新建的所述數據源節點和所述業務處理節點，以及對應的所述數據源信息和所述業務常量信息組裝任務流實例生成所述配置文件；

其中，所述將所述配置文件發送至Storm客戶端系統解析，并基于獲取的所述任務參數構建拓撲節點列表還包括：

Storm客戶端系統接收并加載所述配置文件，解析所述任務拓撲圖的內容構建任務拓撲圖，并獲取任務拓撲圖的名稱、啟動進程數、pending數和消息超時時間中值并設置，同時從配置文件獲取業務處理節點流向信息并對其中值按照分隔符切分存入緩存隊列中，最后以key為任務流id、value為緩存隊列存入流映射變量中；

加載每個業務處理節點并解析流映射變量，設置業務處理節點的上下游關系形成數據流，緩存入拓撲節點列表中；

其中，所述根據所述拓撲節點列表構建并啟動Topology，啟動任務流的方法還包括：Storm服務端系統接收所述拓撲節點列表，采用標準實時流api構建并啟動Topology，通過調用topologyManager的start方法啟動任務流。

2.根據權利要求1所述的方法，其特征在于，所述數據源節點為spout節點，所述業務處理節點為bolt節點。

3.根據權利要求1所述的方法，其特征在于，還包括：

通過任務監控系統監控Storm服務端系統的各業務處理節點的數據處理狀態信息。