[發明專利]一種Spark數據分析服務發布系統

有效

• 申請號: 201611248761.4
• 申請日: 2016-12-29
• 公開（公告）號: CN106657099B
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 王瑩;張立軍;孫丙聰
• 申請（專利權）人: 北京天元創新科技有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;G06F16/27
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王慶龍

1.一種數據分析服務分配系統，其特征在于，包括Spark數據分析模塊、服務調度模塊、服務標準制定模塊；所述服務標準制定模塊用于制定統一的服務發布標準；所述服務調度模塊用于接收服務請求并將服務請求發送到空閑服務；所述Spark數據分析模塊用于構建服務容器，根據服務發布標準對服務請求進行分析處理；

還包括B/S構架，用戶采用B/S架構通過瀏覽器查看服務信息、調整服務狀態，并設置服務執行形式、服務規模；

所述Spark數據分析模塊包括Spark數據分析單元和分布式集群；

所述Spark數據分析單元用于通過Spark分布式計算系統，對分配的服務請求進行分析計算；

所述分布式集群用于為Spark數據分析單元提供分布式計算的運行環境；

所述Spark數據分析單元還包括業務子單元和流程發布子單元；

所述業務子單元用于根據服務發布標準，將實現服務請求的算法隨機組合繪制成流程圖；

所述流程發布子單元用于將流程圖的各個節點進行組合，生成任務，并將任務制作成服務，對服務請求進行分析處理。

2.根據權利要求1所述的數據分析服務分配系統，其特征在于，所述服務標準制定模塊將不同的算法指定統一的服務標準，具體包括服務參數、服務結果組合方式、服務調用模式。

3.根據權利要求1所述的數據分析服務分配系統，其特征在于，所述服務調度模塊還用于將數據分析功能制成開放API的HTTP接口。

4.根據權利要求1所述的數據分析服務分配系統，其特征在于，所述分布式集群包括Spark集群和Hadoop集群。

5.根據權利要求1所述的數據分析服務分配系統，其特征在于，所述服務調度模塊用于通過分布式集群提供的集群資料數據，根據負載均衡-隨機算法將服務請求發送到空閑的服務。

6.根據權利要求1所述的數據分析服務分配系統，其特征在于，所述服務調度模塊通過socket與服務進行通信，通信內容包括服務請求數據、服務結果數據、服務狀態數據、服務計算進程數據。