[發明專利]一種數據分析方法和數據分析平臺以及服務器

在審

• 申請號: 201610634614.4
• 申請日: 2016-08-05
• 公開（公告）號: CN106649426A
• 公開（公告）日: 2017-05-10
• 發明（設計）人: 柳廷娜;王茂帥;高峰;甄教明;王明君
• 申請（專利權）人: 浪潮軟件股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司37100
• 代理人: 姜明

1.一種數據分析平臺，其特征在于，包括：數據源，與所述數據源連接的Elasticsearch索引模塊以及與所述Elasticsearch索引模塊連接的Spark SQL處理模塊和與所述Spark SQL處理模塊連接的數據呈現模塊，其中，

所述數據源，用于提供數據；

所述Elasticsearch索引模塊，用于通過數據搜索接口從所述數據源獲取搜索的數據，并對所述數據進行預處理，并將預處理后的數據發送至所述Spark SQL處理模塊；

所述Spark SQL處理模塊，用于對所述預處理后的數據進行數據分析，并將數據分析后的數據發送至所述數據呈現模塊；

所述數據呈現模塊，用于呈現所述數據分析后的數據。

2.根據權利要求1所述的數據分析平臺，其特征在于，所述Elasticsearch索引模塊與所述Spark SQL處理模塊通過JSON結構進行數據交互。

3.根據權利要求1或2所述的數據分析平臺，其特征在于，所述Elasticsearch索引模塊，用于生成倒排索引、進行中文分詞、完成自動分布式存儲和備份。

4.一種數據分析方法，其特征在于，應用于數據分析平臺，所述數據分析平臺包括數據源，與所述數據源連接的Elasticsearch索引模塊以及與所述Elasticsearch索引模塊連接的Spark SQL處理模塊和與所述Spark SQL處理模塊連接的數據呈現模塊，所述方法包括：

所述數據分析平臺中的所述Elasticsearch索引模塊通過數據搜索接口從所述數據源獲取搜索的數據，并對所述數據進行預處理，并將預處理后的數據發送至所述數據分析平臺中的Spark SQL處理模塊；

所述數據分析平臺中的Spark SQL處理模塊對所述預處理后的數據進行數據分析，并將數據分析后的數據發送至所述數據分析平臺中的數據呈現模塊；

所述數據分析平臺中的數據呈現模塊，用于呈現所述數據分析后的數據。

5.根據權利要求4所述的方法，其特征在于，所述數據分析平臺中的所述Elasticsearch索引模塊將預處理后的數據發送至所述數據分析平臺中的Spark SQL處理模塊包括：

所述數據分析平臺中的所述Elasticsearch索引模塊將預處理后的數據通過JSON結構發送至所述數據分析平臺中的Spark SQL處理模塊。

6.根據權利要求4或5所述的方法，其特征在于，所述數據分析平臺中的所述Elasticsearch索引模塊對所述數據進行預處理包括：

所述數據分析平臺中的所述Elasticsearch索引模塊對所述數據進行生成倒排索引、進行中文分詞、完成自動分布式存儲和備份。

7.一種服務器，其特征在于，包括上述權利要求1至3任一項所述的數據分析平臺。