[發明專利]一種流數據處理方法、系統、裝置及計算機可讀存儲介質

有效

• 申請號: 201811012942.6
• 申請日: 2018-08-31
• 公開（公告）號: CN109254982B
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 朱彥安;范淵;龍文潔
• 申請（專利權）人: 杭州安恒信息技術股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/242
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

1.一種流數據處理方法，其特征在于，應用于Flink框架，包括：

從消息型隊列中獲取流數據；

利用預設的數據解析規則解析所述流數據，得到各鍵值對事件，并為各所述鍵值對事件增加類型信息，得到各Schema信息；

接收輸入的SQL流指令，并利用數據分析引擎按所述SQL流指令對各所述Schema信息進行分析，得到分析結果；

通過第一預設路徑輸出所述分析結果；

其中，所述SQL流指令中的各指令基于類SQL語法編寫得到，所述類SQL語法為遵循ANSISQL標準的SQL語法；所述數據分析引擎包括統計分析引擎、正則匹配引擎、機器學習引擎、數據預處理引擎中的至少一項。

2.根據權利要求1所述的流數據處理方法，其特征在于，在從消息型隊列中獲取流數據之前，還包括：

利用Kafka以主題的方式處理初始流數據，得到所述流數據；

對應的，從消息型隊列中獲取流數據，具體為：

從所述Kafka中獲取所述流數據。

3.根據權利要求1所述的流數據處理方法，其特征在于，接收輸入的SQL流指令，包括：

利用QueryService通過Restful API接收用戶輸入的SQL流指令。

4.根據權利要求1所述的流數據處理方法，其特征在于，通過第一預設路徑輸出所述分析結果，包括：

將所述分析結果輸出至ElasticSearch，以利用所述ElasticSearch解析所述分析結果中包含的數據文檔，并通過第二預設路徑發送攜帶有所述數據文檔的分析報告或告警信息。

5.一種流數據處理系統，其特征在于，應用于Flink框架，包括：

流數據獲取單元，用于從消息型隊列中獲取流數據；

事件解析單元，用于利用預設的數據解析規則解析所述流數據，得到各鍵值對事件，并為各所述鍵值對事件增加類型信息，得到各Schema信息；

指令接收及分析單元，用于接收輸入的SQL流指令，并利用數據分析引擎按所述SQL流指令對各所述Schema信息進行分析，得到分析結果；

分析結果輸出單元，用于通過第一預設路徑輸出所述分析結果。

6.根據權利要求5所述的流數據處理系統，其特征在于，還包括：

Kafka處理單元，用于利用Kafka以主題的方式處理初始流數據，得到所述流數據；

對應的，所述流數據獲取單元具體為：從所述Kafka中獲取所述流數據。

7.根據權利要求6所述的流數據處理系統，其特征在于，所述分析結果輸出單元包括：

ElasticSearch子單元，用于將所述分析結果輸出至ElasticSearch，以利用所述ElasticSearch解析所述分析結果中包含的數據文檔，并通過第二預設路徑發送攜帶有所述數據文檔的分析報告或告警信息。

8.一種流數據處理裝置，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現如權利要求1至4任一項所述的流數據處理方法的步驟。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至4任一項所述的流數據處理方法的步驟。