[發明專利]基于流數據實時計算的方法、系統、設備及存儲介質

有效

• 申請號: 201711015853.2
• 申請日: 2017-10-26
• 公開（公告）號: CN107678852B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 何彬;高洪強;江志超;潘飛;許譯丹
• 申請（專利權）人: 攜程旅游網絡技術（上海）有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/445
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 臧云霄;鐘宗

1.一種基于流數據實時計算的方法，其特征在于，包括以下步驟：

S101、對目前已有的數據進行節點開發，將已有的數據處理邏輯封裝成Storm集群的源頭和節點，然后在數據庫中進行節點配置，所述節點包括輸入節點、關系節點、處理節點、輸出節點，提供給后臺管理系統使用；

S102、根據系統中已經配置的節點，設置每個節點的參數值，最后提交取數任務到數據庫中保存，根據業務需求設置每個節點的參數值包括設置處理節點參數和輸入節點參數，根據業務需求設置每個節點的參數值還包括取數任務基礎信息；

S103、提交取數任務，調度任務定時輪詢數據庫中新提交的取數任務；

S104、根據接收到的取數任務的配置參數，通過對所述輸入節點、關系節點、處理節點、輸出節點的組合生成網絡拓撲，完成網絡拓撲的封裝，所述根據接收到的取數任務的配置參數，使用模版引擎；

S105、將所述網絡拓撲提交到管理系統；

S106、根據所述管理系統的自定義回調函數觸發編譯系統進行網絡拓撲的編譯和打包；

S107、將打包后的網絡拓撲上傳到Storm集群；以及

S108、完成取數任務的網絡拓撲自動上線進行工作。

2.根據權利要求1所述的基于流數據實時計算的方法，其特征在于：所述步驟S107中，將網絡拓撲打包成jar包之后上傳到Storm集群，并發送啟動指令。

3.一種基于流數據實時計算的系統，用于實現權利要求1或2所述的基于流數據實時計算的方法，其特征在于，所述基于流數據實時計算的系統包括：

封裝模塊，對目前已有的數據進行節點開發，將已有的數據處理邏輯封裝成Storm集群節點，然后在數據庫中進行節點配置，提供給后臺管理系統使用；

參數設置模塊，根據系統中已經配置的節點，根據業務需求設置每個節點的參數值，最后提交取數任務到數據庫中保存；

任務提交模塊，提交取數任務；

網絡拓撲生成模塊，根據接收到的取數任務的配置參數生成網絡拓撲；

網絡拓撲提交模塊，將所述網絡拓撲提交到管理系統；

編譯打包模塊，根據所述管理系統的自定義回調函數觸發編譯系統進行網絡拓撲的編譯和打包；

網絡拓撲上傳模塊，將打包后的網絡拓撲上傳到Storm集群；以及

網絡拓撲運行模塊，完成取數任務的網絡拓撲自動上線進行工作。

4.一種基于流數據實時計算的設備，其特征在于，包括：

處理器；

存儲器，其中存儲有所述處理器的可執行指令；

其中，所述處理器配置為經由執行所述可執行指令來執行權利要求1或2所述基于流數據實時計算的方法的步驟。

5.一種計算機可讀存儲介質，用于存儲程序，其特征在于，所述程序被處理器執行時實現權利要求1或2所述基于流數據實時計算的方法的步驟。