[發明專利]一種流數據處理方法、系統、裝置及計算機可讀存儲介質

有效

• 申請號: 201811012942.6
• 申請日: 2018-08-31
• 公開（公告）號: CN109254982B
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 朱彥安;范淵;龍文潔
• 申請（專利權）人: 杭州安恒信息技術股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/242
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 羅滿

本申請公開了一種流數據處理方法，從消息型隊列中獲取流數據，即此時消息型隊列的輸出數據為Flink的輸入數據，借助消息型隊列對初始流數據進行了一次處理，接著利用預設的數據解析規則將接收到的流數據一一解析成鍵值對事件，以充分結合現今被廣泛使用的關系型數據庫實現對數據和其對應關系的保存，便于后續基于SQL實現對數據的處理，同時還利用數據分析引擎從多方面、多角度進行數據分析，提升分析結果的準確程度，在應用了本申請提供的數據流處理方法的Flink框架上，可實現對傳統流數據業務的快速展開，與現有工具結合更加緊密，效率更高。本申請還同時公開了一種流數據處理系統、裝置及計算機可讀存儲介質，具有上述有益效果。

技術領域

本申請涉及數據處理技術領域，特別涉及一種流數據處理方法、系統、裝置及計算機可讀存儲介質。

背景技術

在數據處理領域，數據在某種劃分方式下可被劃分內批數據和流數據兩類，相較于靜態的存儲于固定地點的、有界的批數據，流數據因其源源不斷的特性在處理的過程中明顯區別于批數據，且處理難度較大。

現存在多種可用于處理流數據的框架，例如僅用處理流數據的Storm和Samza流處理框架，以及不僅能夠處理流數據還能夠實現對小規模批數據進行處理的Flink框架，這是因為Flink能夠大規模執行，具有非常高的吞吐量，即使在無序或者數據延遲的情況下也能提供正確的結果，并且它是擁有狀態和容錯能力，可以從故障中恢復。

單純的Flink的功能較為單一，Flink SQL在實際應用中功能有限，Flink CEP使用較為復雜功能也不夠完備，不便于快速的對基于諸如系統日志、文件調動、設備狀態監控等流數據展開相關業務。

因此，如何克服現有僅單一的使用Flink來實現對流數據的處理和業務展開過程存在的缺陷，提供一種功能更豐富、業務展開速度更快、分析效率更高、與實際應用場景結合更緊密的流處理處理機制是本領域技術人員亟待解決的問題。

發明內容

本申請的目的是提供一種流數據處理方法，從消息型隊列中獲取流數據，即此時消息型隊列的輸出數據為Flink的輸入數據，借助消息型隊列對初始流數據進行了一次處理，接著利用預設的數據解析規則將接收到的流數據一一解析成鍵值對事件，以充分結合現今被廣泛使用的關系型數據庫實現對數據和其對應關系的保存，便于后續基于SQL實現對數據的處理，同時還利用數據分析引擎從多方面、多角度進行數據分析，提升分析結果的準確程度，在應用了本申請提供的數據流處理方法的Flink框架上，可實現對傳統流數據業務的快速展開，與現有工具結合更加緊密，效率更高。

本申請的另一目的在于提供了一種流數據處理系統、裝置及計算機可讀存儲介質。

為實現上述目的，本申請提供一種流數據處理方法，應用于Flink框架，該流數據處理方法包括：

從消息型隊列中獲取流數據；

利用預設的數據解析規則解析所述流數據，得到各鍵值對事件，并為各所述鍵值對事件增加類型信息，得到各Schema信息；

接收輸入的SQL流指令，并利用數據分析引擎按所述SQL流指令對各所述Schema信息進行分析，得到分析結果；

通過第一預設路徑輸出所述分析結果；

其中，所述SQL流指令中的各指令基于類SQL語法編寫得到，所述類SQL語法為遵循ANSI SQL標準的SQL語法。

可選的，在從消息型隊列中獲取流數據之前，還包括：

利用Kafka以主題的方式處理初始流數據，得到所述流數據；

對應的，從消息型隊列中獲取流數據，具體為：

從所述Kafka中獲取所述流數據。

可選的，接收輸入的SQL流指令，包括：